H100打破世界纪录性能比A100高4.5倍

北京时间9月9日，MLCommons社区发布了最新的MLPerf 2.1基准测试结果新一轮基准测试有近5300个性能结果和2400个功耗测量结果，分别是上一轮的1.37倍和1.09倍MLPerf的应用范围进一步扩大

阿里巴巴，华硕，Azure，Wall Tech，戴尔，富士通，技嘉，H3C，HPE，浪潮，英特尔，Krai，联想，Moffett，Nettrix，NeuroMagic，Nvidia，OctoML，高通，SAPEON和Supermicro都是此轮测试的参与者。

其中，Nvidia的表现依然亮眼，首次拿H100参加MLPerf测试，在所有工作负载中刷新世界纪录。

H100打破世界纪录，性能比A100高4.5倍。

Nvidia在今年3月发布了基于新架构NVIDIA Hopper的H100 GPU，相比两年前推出的NVIDIA Ampere架构实现了一个数量级的性能飞跃黄仁勋曾在GTC 2022上表示，20个H100 GPU可以支持相当于全球互联网的流量，可以帮助客户推出高级推荐系统和实时运行数据推理的大型语言模型

众多AI从业者期待的H100，原定于2022年第三季度正式交付，目前处于验收状态用户的实际使用情况和H100的实际性能还不得而知，可以通过最新一轮的MLPerf测试成绩提前感受一下H100的性能

在此轮测试中，与英特尔Sapphire Rapids，高通云AI 100，Biren BR104，SAPEON X220—enterprise相比，NVIDIA H100不仅提交了数据中心所有六个神经网络模型的测试结果，还在单服务器和离线场景下展现了吞吐量和速度方面的领先优势。

与NVIDIA A100相比，H100在自然语言处理的BERT模型中有4.5倍的性能提升，这是MLPerf最大的模型之一，也是性能要求最高的模型，它在其他五个模型中也有1—3倍的性能提升H100在BERT车型上的出色表现主要得益于其变压器发动机

在其他同样提交了成绩的产品中，只有Biren BR104在线下场景下，与ResNet50下的NVIDIA A100和BERT—Large机型相比，性能提升了一倍以上，其他提交成绩的产品在性能上均未超过A100。

不过在数据中心和边缘计算场景下，A100 GPU的测试结果还是不错的得益于NVIDIA AI软件的不断完善，相比2020年7月MLPerf的登场，A100 GPU的性能提升了6倍

追求AI通用性，测试结果覆盖所有AI模型。

因为在实际应用中，用户通常会使用许多不同类型的神经网络来协同工作，例如，一个AI应用程序可能需要理解用户的语音请求，对图像进行分类，提出建议，然后用语音做出响应，而每一步都需要使用不同的AI模型。

正因如此，MLPerf基准测试涵盖了热门的AI工作负载和场景，包括计算机视觉，自然语言处理，推荐系统，语音识别等，从而为用户确保可靠和灵活的部署性能这也意味着，提交的测试结果覆盖的模型越多，结果越好，其AI能力也就越通用

在这一轮测试中，NVIDIA AI仍然是唯一可以运行数据中心和边缘计算中所有MLPerf推理工作负载和场景的平台。

在数据中心方面，A100和H100都提交了六个模型测试分数。

在边缘计算方面，NVIDIA Orin已经运行了所有MLPerf基准测试，是所有低功耗片上系统中赢得测试最多的芯片。

Orin是将NVIDIA Ampere架构GPU和Arm CPU内核集成到一个芯片上，主要用于机器人，自主机，医疗机械等多种形式的边缘嵌入式计算。

目前，Orin已用于NVIDIA Jetson AGX Orin开发者套件和机器人及自主系统生成模型测试，支持完整的NVIDIA AI软件栈，包括自动驾驶汽车平台，医疗设备平台和机器人平台。

与4月份在MLPerf上首次亮相相比，Orin的能效提升了50%，运行速度和平均能效分别是上一代Jetson AGX Xavier模块的5倍和2倍。

对通用NVIDIA AI的追求正得到业内广泛的机器学习生态系统的支持在这一轮基准测试中，超过70个提交的结果正在NVIDIA平台上运行例如，微软Azure提交了在其云服务上运行NVIDIA AI的结果