雷鋒網(wǎng) AI 開(kāi)發(fā)者按：近日谷歌宣布，向非盈利性 LLVM 基金會(huì)提供今年 4 月開(kāi)源的 Multi-Level Intermediate Representation（MLIR）架構(gòu)，一個(gè)與 TensorFlow 緊密結(jié)合的表示格式和編譯器實(shí)用工具庫(kù)，該架構(gòu)介于模型表示和低級(jí)編譯器/執(zhí)行器（二者皆可生成硬件特定代碼）之間。谷歌希望通過(guò)向社會(huì)提供該架構(gòu)來(lái)激勵(lì)更多的創(chuàng)新，從而進(jìn)一步加速 AI 領(lǐng)域發(fā)展。雷鋒網(wǎng) AI 開(kāi)發(fā)者將 MLIR 的詳細(xì)內(nèi)容及谷歌相關(guān)報(bào)道整理編譯如下。

MLIR 與 TensorFlow 的淵源

在過(guò)去，若想解決多級(jí)別堆棧問(wèn)題，則需要我們構(gòu)建新的軟硬件堆棧生成器，這也意味著必須為每個(gè)新路徑重新構(gòu)建優(yōu)化與轉(zhuǎn)換傳遞。

TensorFlow 生態(tài)系統(tǒng)包含許多編譯器和優(yōu)化器，可在多個(gè)級(jí)別的軟硬件堆棧上運(yùn)行。作為 TensorFlow 的日常用戶，在使用不同種類的硬件（GPU、TPU、移動(dòng)設(shè)備）時(shí)，這種多級(jí)別堆?？赡軙?huì)表現(xiàn)出令人費(fèi)解的編譯器和運(yùn)行時(shí)錯(cuò)誤。

圖 1 TensorFlow  組件概述

TensorFlow 能夠以多種不同的方式運(yùn)行，如：

• 將其發(fā)送至調(diào)用手寫(xiě)運(yùn)算內(nèi)核的 TensorFlow 執(zhí)行器

• 將圖轉(zhuǎn)化為 XLA 高級(jí)優(yōu)化器（XLA HLO）表示，反之，這種表示亦可調(diào)用適合 CPU 或 GPU 的 LLVM 編輯器，或者繼續(xù)使用適合 TPU 的 XLA。（或者將二者結(jié)合）

• 將圖轉(zhuǎn)化為 TensorRT、nGraph 或另一種適合特定硬件指令集的編譯器格式

• 將圖轉(zhuǎn)化為 TensorFlow Lite 格式，然后在 TensorFlow Lite 運(yùn)行時(shí)內(nèi)部執(zhí)行此圖，或者通過(guò) Android 神經(jīng)網(wǎng)絡(luò) API（NNAPI）或相關(guān)技術(shù)將其進(jìn)一步轉(zhuǎn)化，以在 GPU 或 DSP 上運(yùn)行

但事實(shí)上，多級(jí)別堆棧的復(fù)雜性遠(yuǎn)遠(yuǎn)超過(guò)圖 1 所示。為了更好解決 TensorFlow 用戶在使用不同種類的硬件（GPU、TPU、移動(dòng)設(shè)備）時(shí)，由于多級(jí)別堆棧而導(dǎo)致的編譯器與運(yùn)行時(shí)錯(cuò)誤，我們開(kāi)源了一個(gè)全新的中介碼與編譯器框架 MLIR。

什么是 MLIR

MLIR（或稱為多級(jí)別中介碼）是一種表示格式和編譯器實(shí)用工具庫(kù)，介于模型表示和低級(jí)編譯器/執(zhí)行器（二者皆可生成硬件特定代碼）之間，在生產(chǎn)質(zhì)量組件的支持下，能夠?qū)?yōu)化編譯器設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行全新探索。

圖 2 谷歌 MLIR（相關(guān) ppt 見(jiàn)文末）

MLIR 深受 LLVM 的影響，并不折不扣地重用其許多優(yōu)秀理念，比如擁有靈活的類型系統(tǒng)，可在同一編譯單元中表示、分析和轉(zhuǎn)換結(jié)合多層抽象的圖等。這些抽象包括 TensorFlow 運(yùn)算、嵌套的多面循環(huán)區(qū)域乃至 LLVM 指令和固定的硬件操作及類型。

為區(qū)分不同的硬件與軟件受眾，MLIR 提供「方言」，其中包括：

• TensorFlow IR，代表 TensorFlow 圖中可能存在的一切

• XLA HLO IR，旨在利用 XLA 的編譯功能（輸出到 TPU 等）

• 實(shí)驗(yàn)性仿射方言，側(cè)重于多面表示與優(yōu)化

• LLVM IR，與 LLVM 自我表示之間存在 1:1 映射，可使 MLIR 通過(guò) LLVM 發(fā)出 GPU 與 CPU 代碼

• TensorFlow Lite，將會(huì)轉(zhuǎn)換以在移動(dòng)平臺(tái)上運(yùn)行代碼

每種方言均由一組存在不變性的已定義操作組成，如：「這是一個(gè)二進(jìn)制運(yùn)算符，輸入與輸出擁有相同類型?！?/p>

MLIR 沒(méi)有眾所周知的固定或內(nèi)置的操作列表（無(wú)「內(nèi)聯(lián)函數(shù)」），方言可完全定義自定義類型，即 MLIR 如何對(duì) LLVM IR 類型系統(tǒng)（擁有一流匯總）、域抽象（對(duì)量化類型等經(jīng)機(jī)器學(xué)習(xí) (ML) 優(yōu)化的加速器有著重要意義），乃至未來(lái)的 Swift 或 Clang 類型系統(tǒng)（圍繞 Swift 或 Clang 聲明節(jié)點(diǎn)而構(gòu)建）進(jìn)行建模。

另外值得一提的是，雖然 MLIR 充當(dāng) ML 的編譯器，但它同樣支持在編譯器內(nèi)部使用機(jī)器學(xué)習(xí)技術(shù)。MLIR 的擴(kuò)展性有助于探索代碼降階策略，并在抽象之間執(zhí)行逐步降階。

MLIR 開(kāi)放的意義

機(jī)器學(xué)習(xí)現(xiàn)在的使用范圍非常廣泛，它可以在從包含 GPU 和 TPU 的云基礎(chǔ)設(shè)施到移動(dòng)電話，甚至是最小的硬件（例如為智能設(shè)備供電的微控制器）上運(yùn)行。正是因?yàn)閷⒂布烷_(kāi)源軟件框架（如：TensorFlow）的優(yōu)勢(shì)相結(jié)合，今天我們才能看到所有令人難以置信的 AI 應(yīng)用成為可能。無(wú)論是預(yù)測(cè)極端天氣（https://www.youtube.com/watch?v=p45kQklIsd4）；幫助有語(yǔ)言障礙的人更好地溝通；還是協(xié)助農(nóng)民檢測(cè)農(nóng)作物疾病。 

圖 3 AI 協(xié)助農(nóng)民進(jìn)行檢測(cè)（https://www.blog.google/technology/ai/ai-takes-root-helping-farmers-identity-diseased-plants/）

但隨著所有這些進(jìn)展如此迅速，企業(yè)工廠方正在努力跟上不同的機(jī)器學(xué)習(xí)軟件框架與各種不斷增長(zhǎng)的硬件組合。機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)依賴于許多不同的技術(shù)，而這些技術(shù)通常具有不同的復(fù)雜程度，因而無(wú)法很好地協(xié)同工作。

管理這種復(fù)雜性的負(fù)擔(dān)最終落在了研究人員、企業(yè)和開(kāi)發(fā)人員身上。通過(guò)減緩新的機(jī)器學(xué)習(xí)驅(qū)動(dòng)產(chǎn)品從研究到實(shí)現(xiàn)的速度，這種復(fù)雜性將會(huì)影響我們解決具有挑戰(zhàn)性現(xiàn)實(shí)問(wèn)題的能力。 

今年早些時(shí)候，我們發(fā)布了 MLIR，這是一種開(kāi)源機(jī)器學(xué)習(xí)編譯器基礎(chǔ)架構(gòu)，可以解決因軟件和硬件碎片不斷增加而導(dǎo)致的復(fù)雜性，并且可以更輕松地構(gòu)建 AI 應(yīng)用程序。它提供了新的基礎(chǔ)設(shè)施和設(shè)計(jì)理念，使得機(jī)器學(xué)習(xí)模型能夠在任何類型的硬件上一致地表示和執(zhí)行。現(xiàn)在，我們宣布我們會(huì)向非營(yíng)利性 LLVM 基金會(huì)（http://llvm.org/foundation/）提供 MLIR ，這也將使整個(gè)行業(yè)更快地采用 MLIR。

圖 4 MLIR 生態(tài)聯(lián)盟

MLIR 旨在成為 ML 基礎(chǔ)架構(gòu)的新標(biāo)準(zhǔn)，并得到全球硬件和軟件合作伙伴的大力支持，包括 AMD，ARM，Cerebras，Graphcore，Habana，IBM，Intel，Mediatek，NVIDIA，Qualcomm Technologies，Inc，SambaNova Systems，Samsung，Xilinx 的小米——占全球數(shù)據(jù)中心加速器硬件的 95％以上，超過(guò) 40 億部手機(jī)和無(wú)數(shù)的物聯(lián)網(wǎng)設(shè)備。在谷歌，MLIR 正在整合并用于我們所有的服務(wù)器和移動(dòng)硬件工作。

機(jī)器學(xué)習(xí)已經(jīng)走過(guò)了漫長(zhǎng)的道路，但之后的路仍然很長(zhǎng)。通過(guò) MLIR，人工智能將通過(guò)賦予研究人員更大規(guī)模地訓(xùn)練和部署模型的能力，以及在不同硬件上具有更高的一致性、速度和簡(jiǎn)單性，從而更快地推進(jìn)該領(lǐng)域的發(fā)展。這些創(chuàng)新也可以迅速進(jìn)入你每天使用的產(chǎn)品中，并在你的所有設(shè)備上順利運(yùn)行。我們也希望通過(guò) MLIR 能夠最終實(shí)現(xiàn) AI 對(duì)地球上的每個(gè)人都更有幫助、更有用的愿望。

關(guān)于 MLIR 的 ppt：

http://llvm.org/devmtg/2019-04/slides/Keynote-ShpeismanLattner-MLIR.pdf 

文章相關(guān)鏈接：

https://medium.com/tensorflow/mlir-a-new-intermediate-representation-and-compiler-framework-beba999ed18d 

https://www.blog.google/technology/ai/mlir-accelerating-ai-open-source-infrastructure/ 

MLIR 開(kāi)源地址：

https://github.com/tensorflow/mlir    

雷鋒網(wǎng) AI 開(kāi)發(fā)者

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。