摩尔线程官方宣布,将于2024年5月与SmartSpectrumAI进行新一轮GPU大模型适配和性能测试,包括基于KuaeKCAL智能计算集群的大模型推理和大模型预训练。
测试中使用的相关大模型来自智能AIBase模型及其开源版本。
测试结果表明,在推理方面,摩尔线程自主研发的全功能GPU明显优于基准比较产品RTX3090和RTX4090,其中在所有测试用例上都优于RTX3090,在多批次条件下也优于RTX4090。
在训练方面,与A100集群相比,摩尔线程考卡智能计算集群的训练准确率在1%以内,而集群性能扩展因子超过90%,模型计算能力利用率(Mfu)与A100集群相当。
这一结果对中国的大模型产品的技术生态具有重要意义:
一是技术自主实现新突破。
ChatGLM预训练在摩尔线程KCAL智能计算集群中的成功应用表明,摩尔线程有能力让大规模的模型训练和推理在国家生产和可控的计算能力基础上运行,可以增强技术自主性,确保信息安全。
第二是帮助打破计算能力的瓶颈。
根据比例定律,计算能力的有限供应可能成为制约大型模型发展的关键瓶颈。摩尔的线程全功能GPU可以提高大模型的迭代速度和自研水平,推动中国大模型更好的发展。
三是开拓创新空间。
摩尔线程与智能AI的卓有成效的适配和测试合作,有利于推动软硬件的深度融合和协同创新。
四是降低运营成本。
摩尔线程提出的AGI算力基础,不仅兼容全球主流AI软件生态圈,节省了移植成本,而且单位算力总体拥有成本优势明显,可有效降低大型机产品的开发成本。
值得一提的是,早在2022年8月,智能AI就开启了GLM-130B机型。2023年,推出千亿基本对话模型ChatGLM和开源版本ChatGLM-6B。
近期,摩尔·丝线先后宣布与国内AI公司在大模型训练和推理方面进行合作,主要包括:
-首家接入双核穹顶,适配双自由Infini-AI大模型开发和服务平台,完成大羊驼2700亿参数大模型培训测试,MT-infini-3B3B(30亿参数)大模型培训。
--以70亿元人民币和340亿元人民币完成汉厚集团。700亿参数大模型的分布式训练
-使用DIPP企业模型Deepexiv1.0完成培训和推理调整
-完成了雨人科技70亿参数大语言模型雨人-7b的训练测试
--完成教师AI70亿参数全学科教育模式的高强度培训测试