雷鋒網(wǎng)消息，本周三，MLCommons 公布最新 MLPerf Inference V 1.1 基準(zhǔn)測(cè)試（Benchmark）結(jié)果。與 V 1.0 版本相比并無(wú)太大區(qū)別，只不過(guò)在邊緣推理的測(cè)試場(chǎng)景中，串流傳輸被棄用，不再作為基準(zhǔn)測(cè)試的一部分。

新一輪基準(zhǔn)測(cè)試中，在 AI 領(lǐng)域占優(yōu)勢(shì)的英偉達(dá)依然是唯一一家提交了從數(shù)據(jù)中心到邊緣所有 MLPerf 基準(zhǔn)測(cè)試類別數(shù)據(jù)的公司。不同的是，此次基準(zhǔn)測(cè)試中，英偉達(dá)第一次在 Arm 系統(tǒng)上進(jìn)行數(shù)據(jù)中心測(cè)試，并取得不錯(cuò)的成績(jī)。

Arm 服務(wù)器推理性能接近 x86

由于能效性能的不斷增長(zhǎng)和強(qiáng)大的軟件生態(tài)系統(tǒng)，Arm 架構(gòu)正在向全球各地的數(shù)據(jù)中心進(jìn)軍，而在此次MLPerf 基準(zhǔn)測(cè)試中，Arm 服務(wù)器也被納入其中。

英偉達(dá)展示的基準(zhǔn)測(cè)試結(jié)果表明，如果以 A30 GPU 為標(biāo)準(zhǔn)，基于 x86 服務(wù)器和 Arm 服務(wù)器的處理速度均有提升。離線（Offline）測(cè)試中，基于兩種服務(wù)器的 A100 處理速度差別不大，相比于 A30 的處理速度均有接近 2 倍的提升；服務(wù)器（Server）測(cè)試中，A100 相比于 A30 有 1 至 3 倍的提升，在語(yǔ)音識(shí)別 RNN-T 模型中，基于 x86 的 A100 處理速度與基于 Arm 服務(wù)器差別較大。

另外，本次基準(zhǔn)測(cè)試中，A100 也同時(shí)基于 Ampere Altra CPU 的 Arm 服務(wù)器和英特爾的 x86 服務(wù)器上進(jìn)行了測(cè)試。

作為 GPU 加速的平臺(tái)，在 AI 推理工作中，使用 Ampere Altra CPU 的 Arm 服務(wù)器的性能稍遜于具有類似配置的 x86 服務(wù)器，但在 3D-Unet 工作負(fù)載測(cè)試中，基于 Arm 服務(wù)器的 A100 性能得分超過(guò)了 x86 服務(wù)器。

一直以來(lái)支持所有 CPU 架構(gòu)的英偉達(dá)表示，十分高興能夠看到 Arm 在同行評(píng)審中的行業(yè)基準(zhǔn)測(cè)試中能夠證明其 AI 性能。

Arm 高性能計(jì)算和工具高級(jí)總監(jiān) David Lecomber 表示： “最新推理結(jié)果表明，Arm CPU 和 NVIDIA GPU 驅(qū)動(dòng)的 Arm 系統(tǒng)已能夠應(yīng)對(duì)數(shù)據(jù)中心中的各種 AI 工作負(fù)載?！?/p>

AI 推理性能四個(gè)月內(nèi)提升 20%

此次基準(zhǔn)測(cè)試中，英偉達(dá)一如既往地展示了其 AI 推理性能，英偉達(dá)憑借其架構(gòu)設(shè)計(jì)配合軟件再次取得突破。

與 MLPerf 0.7 版本相比，本次測(cè)試中英偉達(dá) A100 GPU 各類工作負(fù)載得分均有提升。其中，醫(yī)學(xué)圖像 3D U-Net 模型漲幅高達(dá) 150%，語(yǔ)音識(shí)別 RNN-T 模型測(cè)試漲幅高達(dá) 130%。

事實(shí)上，在今年 4 月份 MLPerf 1.0 版本中，A100 GPU 的推理能力就已經(jīng)在推薦系統(tǒng)模型 DLRM，語(yǔ)音識(shí)別模型 RNN-T 和醫(yī)療影像 3D U-Net 模型方面有一定提升，提升幅度最高達(dá) 45%，而此次又取得新突破，相比四個(gè)月前提升了 20%。

根據(jù)英偉達(dá)的介紹，其完整的 AI 軟件堆棧是提升其 GPU 性能的關(guān)鍵。

英偉達(dá) TAO Toolkit 可以簡(jiǎn)化遷移學(xué)習(xí)過(guò)程，用戶能夠在熟悉的環(huán)境中優(yōu)化模型；英偉達(dá) Tensor RT 軟件對(duì) AI 模型進(jìn)行了優(yōu)化，使其能夠最有效地運(yùn)用內(nèi)存并且實(shí)現(xiàn)更快的運(yùn)行速度。Trition 推理服務(wù)器能夠簡(jiǎn)化云端、本地?cái)?shù)據(jù)中心或邊緣的服務(wù)部署，支持不同應(yīng)用中的欺詐檢測(cè)、包裹分析、圖像分割等各類任務(wù)。

此外，在多實(shí)例 GPU（MIG）技術(shù)的支持下，英偉達(dá) A100 能夠提升將近 7 倍的 GPU 資源，即在一塊 GPU 上運(yùn)行 7 種工作負(fù)載，而 A30 只能支持 4 種工作負(fù)載。

英偉達(dá)的 AI 優(yōu)勢(shì)不僅僅體現(xiàn)在自家 GPU 的得分上，此次基準(zhǔn)測(cè)試中，共計(jì) 7 家 OEM 廠商提交了 22 個(gè) GPU 加速平臺(tái)，這些服務(wù)器中大多數(shù)都是英偉達(dá)認(rèn)證系統(tǒng)，很多型號(hào)都支持上個(gè)月正式發(fā)布的英偉達(dá) AI Enterprise 軟件。

英偉達(dá)的 AI 技術(shù)已經(jīng)得到廣大生態(tài)系統(tǒng)的支持，此次與 Arm 系統(tǒng)的合作，也從側(cè)面反映了英偉達(dá)進(jìn)軍 Arm 的決心。

文中圖片源自英偉達(dá)官方 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

相關(guān)文章：

IPU首度公開MLPerf成績(jī)，性價(jià)比收益勝過(guò)英偉達(dá)

AI基準(zhǔn)測(cè)試MLPerf模型少、更新慢，地平線提出的MAPS會(huì)更好嗎？ | CCF-GAIR 2020

為什么平頭哥和英偉達(dá)在MLPerf基準(zhǔn)測(cè)試中都獲得了第一？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。