近日，全球权威测评MLPerf 公布最新推理测评结果，这是MLPerf首度引入GPT大模型推理测试，参与热度再创纪录，收到了来自英伟达、英特尔、谷歌、高通等企业提交的13500多项性能结果。
在MLPerf Inference 3.1中，墨芯人工智能（Moffet AI）S30计算卡在大模型GPT-J（60亿参数）上，单卡、4卡、8卡的算力均获得第一。

这是墨芯在MLPerf上连续第三次卫冕。
此前墨芯曾在MLPerf Inference 2.0与2.1上，连续两届获得第一。

墨芯S30计算卡
墨芯的成绩，为大模型算力方案带来了可行的创新方向。
事实证明：结合AI模型与计算平台的软硬协同创新，能够释放更大的算力潜力。这也再度印证：以稀疏计算为代表的创新技术，将是大模型时代算力发展的关键。
墨芯参加的是MLPerf开放分区，据主办方MLCommons介绍，该分区旨在鼓励创新。因此参赛者可以通过软硬协同等方式，探索对算力的提升。
在MLPerf中的GPT-J大模型上，与4nm制程的H100纯硬件加速方案相比，12nm制程的墨芯S30计算卡通过「原创的双稀疏算法+硬件协同」方式，取得了高达1.8倍的优势。
本次测评的GPT-J模型是生成式AI模型，墨芯S30计算卡在8卡、4卡、单卡模式下，性能分别为170.59，91.57，23.28 (Sample/s)，达到英伟达H100性能的1.6倍、1.8倍、1.8倍，展现出墨芯产品在AIGC类任务上的能力。