英伟达 GH200 超级芯片首秀 MLPerf v3.1，性能跃升 17%

【新智元导读】传说中的英伟达 GH200 在 MLPerf 3.1 中惊艳亮相，性能直接碾压 H100，领先了 17%。

继 4 月份加入 LLM 训练测试后，MLPerf 再次迎来重磅更新！

刚刚，MLCommons 发布了 MLPerf v3.1 版本更新，并加入了两个全新基准：LLM 推理测试 MLPerf Inference v3.1，以及存储性能测试 MLPerf Storage v0.5。

而这，这也是英伟达 GH200 测试成绩的首次亮相！

相比于单张 H100 配合英特尔 CPU，GH200 的 Grace CPU+H100 GPU 的组合，在各个项目上都有 15% 左右的提升。

英伟达 GH200 超级芯片首秀

毫无疑问，英伟达的 GPU 在 MLPerf Inference 3.1 基准测试中表现是最亮眼的。

其中，最新发布的 GH200 Grace Hopper 超级芯片，也是首次在 MLPerf Inference 3.1 上亮相。

Grace Hopper 超级芯片将英伟达的 Grace CPU 与 H100 GPU 集成在一起，通过超高的带宽连接，从而比单个 H100 配合其他的 CPU 能提供更强的性能表现。

「Grace Hopper 首次展示了非常强劲的性能，与我们的 H100 GPU 提交相比，性能提高了 17%，我们已经全面领先，」英伟达人工智能总监 Dave Salvator 在新闻发布会上表示。

性能大幅增长

具体来说，它将一个 H100 GPU 和 Grace CPU 集成在一起，通过 900GB/s的 NVLink-C2C 连接。

而 CPU 和 GPU 分别配备了 480GB 的 LPDDR5X 内存和 96GB 的 HBM3 或者 144GB 的 HBM3e 的内存，集成了高达 576GB 以上的高速访问内存。

英伟达 GH200 Grace Hopper 超级芯片专为计算密集型工作负载而设计，能够满足各种严苛的要求和各项功能。

比如训练和运行数万亿参数的大型 Transformer 模型，或者是运行具有数 TB 大小的嵌入表的推荐系统和向量数据库。

GH200 Grace Hopper 超级芯片还在 MLPerf Inference 测试中有着非常优异的表现，刷新了英伟达单个 H100 SXM 在每个项目中创下的最佳成绩。

▲ NVIDIA Grace Hopper MLPerf Inference 数据中心性能与 DGX H100 SXM 的对比结果，每个数值都是 GH200 的性能领先幅度

GH200 Grace Hopper 超级芯片集成了 96 GB 的 HBM3，并提供高达 4 TB / s 的 HBM3 内存带宽，而 H100 SXM 分别为 80 GB 和 3.35 TB / s。

与 H100 SXM 相比，更大的内存容量和更大的内存带宽使得在 NVIDIA GH200 Grace Hopper 超级芯片上使用更大的批处理大小来处理工作负载。

例如，在服务器场景中，RetinaNet 和 DLRMv2 的批处理大小都增加了一倍，在离线场景中，批处理大小增加了 50%。

GH200 Grace Hopper 超级芯片在 Hopper GPU 和 Grace CPU 之间的高带宽 NVLink-C2C 连接可以实现 CPU 和 GPU 之间的快速通信，从而有助于提高性能。

例如，在 MLPerf DLRMv2 中，在 H100 SXM 上通过 PCIe 传输一批张量（Tensor）大约需要 22% 的批处理推理时间。

使用了 NVLink-C2C 的 GH200 Grace Hopper 超级芯片仅使用 3% 的推理时间就完成了相同的传输。

由于具有更高的内存带宽和更大的内存容量，与 MLPerf Inference v3.1 的 H100 GPU 相比，Grace Hopper 超级芯片的单芯片性能优势高达 17%。

推理和训练全面领先

在 MLPerf 的首秀中，GH200 Grace Hopper Superchip 在封闭类别（Closed Division）的所有工作负载和场景上都表现出卓越的性能。

而在主流的服务器应用中，L4 GPU 能够提供一个低功耗，紧凑型的算力解决方案，与 CPU 解决方案相比的性能也有了大幅的提升。

Salvator 表示，「与测试中最好的 x86 CPU 相比，L4 的性能也非常强劲，提高了 6 倍」。

对于其他的 AI 应用和机器人应用，Jetson AGX Orin 和 Jetson Orin NX 模块实现了出色的性能。未来的软件优化有助于进一步释放强大的英伟达 Orin SoC 在这些模块中的潜力。

在目前非常流行的目标检测 AI 网络 ——RetinaNet 上，英伟达的产品的性能提高了高达 84%。

英伟达开放部分（Open Division）的结果，展示了通过模型优化可以在保持极高精度的同时大幅提高推理性能的潜力。

全新 MLPerf 3.1 基准测试

当然，这并不是 MLCommons 第一次尝试对大语言模型的性能进行基准测试。早在今年 6 月，MLPerf v3.0 就首次加入了 LLM 训练的基准测试。不过，LLM 的训练和推理任务，区别很大。

推理工作负载对计算要求高，而且种类繁多，这就要求平台能够快速处理各种类型的数据预测，并能在各种 AI 模型上进行推理。

对于希望部署 AI 系统的企业来说，需要一种方法来客观评估基础设施在各种工作负载、环境和部署场景中的性能。所以对于训练和推理的基准测试都是很重要的。

MLPerf Inference v3.1 包括了两项重要更新，来更好地反映现在 AI 实际的使用情况：

首先，增加了基于 GPT-J 的大型语言模型 (LLM) 推理的测试。GPT-J 是一个开源的 6B 参数 LLM，对 CNN / 每日邮报数据集进行文本总结。

除了 GPT-J 之外，这次还更新了 DLRM 测试。针对 MLPerf Training v3.0 中引入的 DLRM，采用了新的模型架构和更大的数据集，更好地反映了推荐系统的规模和复杂性。

MLCommons 创始人兼执行董事 David Kanter 表示，训练基准侧重于更大规模的基础模型，而推理基准执行的实际任务，则代表了更广泛的用例，大部分组织都可以进行部署。

在这方面，为了能够对各种推理平台和用例进行有代表性的测试，MLPerf 定义了四种不同的场景。

每个基准都由数据集和质量目标定义。

每个基准都需要以下场景：

在 MLPerf v3.1 基准测试中，有超过 13,500 个结果，其中不少提交者的性能比 3.0 基准提高了 20%，甚至更多。

其他提交者包括华硕，Azure，cTuning，Connect Tech，戴尔，富士通，Giga Computing，谷歌，H3C，HPE，IEI，英特尔，Intel Habana Labs，Krai，联想，墨芯，Neural Magic，Nutanix，甲骨文，高通，Quanta Cloud Technology，SiMA，Supermicro，TTA 和 xFusion 等。

详细数据：https://mlcommons.org/en/inference-datacenter-31/

参考资料：

• https://developer.nvidia.com/blog/leading-mlperf-inference-v3-1-results-gh200-grace-hopper-superchip-debut/?ncid=so-twit-408646&=&linkId=100000217826658

• https://mlcommons.org/en/inference-datacenter-31/

• https://venturebeat.com/ai/mlperf-3-1-adds-large-language-model-benchmarks-for-inference/