摩尔线程大模型智算加速卡MTTS4000发布-配备48GB显存

摩尔线程大模型智算加速卡MTTS4000发布，配备48GB显存。摩尔线程KUAE智算中心揭幕，发布KUAE全功能GPU集群解决方案。大模型智算加速卡MTT S4000可无缝迁移CUDA代码至MUSA平台，支持多卡互联加速、图像渲染和多媒体等应用，线性加速比可达91%。

摩尔线程新闻详情

摩尔线程今天宣布，首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京成功举办，标志着国内首个以国产全功能GPU为基础的大规模算力集群正式建成，同时也发布了大模型智算加速卡MTT S4000。

以下是MTT S4000的参数：

摩尔线程大模型智算加速卡MTT S4000采用第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽。基于摩尔线程自研MTLink1.0技术，MTT S4000可以支持多卡互联，提供千亿大模型的分布式计算加速。同时，MTT S4000还具备先进的图形渲染能力、视频编解码能力和超高清8K HDR显示能力，助力于AI计算、图形渲染、多媒体等综合应用场景。而通过摩尔线程自研MUSIFY开发工具，MTT S4000可以无缝迁移现有CUDA软件生态中的CUDA代码至MUSA平台，实现零成本迁移。

摩尔线程KUAE智算中心解决方案以全功能GPU为基础，是软硬一体化的全栈解决方案，包括以KUAE计算集群为核心的基础设施、KUAE Platform集群管理平台和KUAE ModelStudio模型服务。该解决方案旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案支持开箱即用，大大降低了传统算力建设、应用开发和运维平台搭建的时间成本，实现了快速商业化运营。

摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale等主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和ZeRO。此外，为了实现高效的通信计算并行和Flash Attention，还进行了额外的优化。目前，摩尔线程KUAE支持各类主流大模型的训练和微调，包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等。在摩尔线程KUAE千卡集群的支持下，70B到130B参数的大模型训练的线性加速比可达91%，算力利用率基本保持不变。以2000亿训练数据量为例，智源研究院的700亿参数模型Aquila2可以在33天内完成训练;1300亿参数规模的模型可在56天内完成训练。另外，摩尔线程KUAE千卡集群支持长时间连续稳定运行，支持断点续训，异步检查点时间少于2分钟。