0
| 本文作者： 付靜 | 2020-05-20 18:21 |
2019 年 7 月，微軟宣布對總部位于舊金山的人工智能非營利組織 OpenAI 投資 10 億美元，將與 OpenAI 長期合作構(gòu)建新的 Azure AI 超級計算技術(shù)，進(jìn)一步擴(kuò)展大規(guī)模 AI 能力，兌現(xiàn)其通用人工智能（AGI）的承諾。
作為交換，OpenAI 同意將其部分知識產(chǎn)權(quán)授權(quán)給微軟，微軟隨后將把這些知識產(chǎn)權(quán)商業(yè)化并出售給合作伙伴，并在 OpenAI 開發(fā)下一代計算硬件的過程中，在 Azure 上訓(xùn)練運(yùn)行 AI 模型。
幾個月后，二者合作的第一個成果展示在世人面前。
當(dāng)?shù)貢r間 2020 年 5 月 19 日，微軟在 Build 2020 開發(fā)者大會上宣布了專為 OpenAI 的 AI 模型而設(shè)計的超級計算機(jī)。
超級計算機(jī)性能如何，國際上有個知名標(biāo)準(zhǔn)——TOP500。始于 1993 年的 TOP500 榜單，對全球 500 臺性能最佳的超級計算機(jī)進(jìn)行基準(zhǔn)測試與細(xì)化。
實際上，TOP500 每年 6 月和 10 月都會更新排名。最新的排名顯示，Top 5 分別為 IBM 研發(fā)的 Summit、IBM 研發(fā)的 Sierra、我國的“神威·太湖之光” 、我國的“天河二號”以及 Dell EMC 研發(fā)的 Frontera。
而微軟表示，最新與 OpenAI 和合作研發(fā)的這款超級計算機(jī)居于世界 Top 5 之列，這意味著它可在峰值時每秒執(zhí)行 38.7 到 100.7 萬億次浮點運(yùn)算。
雷鋒網(wǎng)了解到，這一超級計算機(jī)擁有 285,000 個 CPU 內(nèi)核、10,000 個 GPU 和 400Gbps 的網(wǎng)絡(luò)連接。其目的在于訓(xùn)練大規(guī)模人工智能模型，這些人工智能模型可從出版的書籍、教學(xué)手冊、歷史課、人力資源指南和其他公開來源中獲取數(shù)十億頁的文本。比如：
英偉達(dá)自然語言處理模型，該模型包含 83億參數(shù)或模型內(nèi)部可用于預(yù)測的可配置變量；
微軟圖靈模型，該模型包含 170 億參數(shù)，是世界上最大的公開可用的語言 AI 模型；
Facebook 最近開源的 Blender 聊天機(jī)器人框架，包含 94 億參數(shù)；
OpenAI 的 GPT-2 模型，包含 15 億參數(shù)，可在簡短的提示下生成令人印象深刻的人性化文本。
對此，OpenAI 首席執(zhí)行官 Sam Altman 評價道：
隨著我們越來越多地了解到我們需要什么，以及組成超級計算機(jī)的所有組件的不同限制，我們發(fā)現(xiàn)，一旦有人能設(shè)計出夢想中的系統(tǒng)，微軟就能將其研發(fā)出來。我們看到，更大型的系統(tǒng)是訓(xùn)練更強(qiáng)大模型的重要組成部分。
研究表明，這些大型模型之所以表現(xiàn)良好，是因為它們能夠精準(zhǔn)識別語言、語法、知識、概念和語境的細(xì)微差別，因此可勝任多項任務(wù)：總結(jié)冗長的演講，在現(xiàn)場游戲聊天中調(diào)節(jié)內(nèi)容，在數(shù)千個法律文件中查找相關(guān)段落，甚至通過瀏覽 GitHub 生成代碼。
微軟已經(jīng)開始用圖靈模型來加強(qiáng)對 Bing、Office、Dynamics 和其他生產(chǎn)力產(chǎn)品的語言理解了。微軟圖靈模型在過去一年里已被整個微軟公司用來提高工作效率：
必應(yīng)的字幕生成和問答功能顯著提升、一些領(lǐng)域?qū)λ阉鲉栴}的回答最高提高了 125%。
在 Office 中，智能查找功能進(jìn)步，比如：Word 中的搜索功能、提取重要的句子以便快速定位 Word 中關(guān)鍵信息的 Key Insights 功能、Outlook 中可自動生成回復(fù)的建議回復(fù)功能；
Dynamics 365 Sales Insights 利用該模型基于與客戶的交互可向賣方建議進(jìn)一步操作。
從技術(shù)角度來看，大型模型優(yōu)于以往的模型，就在于自我監(jiān)督。這是指，它們可以通過數(shù)據(jù)各部分之間的關(guān)系，從數(shù)據(jù)中生成標(biāo)簽，而這對于實現(xiàn)人類級別的人工智能至關(guān)重要。而有監(jiān)督的學(xué)習(xí)算法相反是以人工標(biāo)記的數(shù)據(jù)集為基礎(chǔ)進(jìn)行訓(xùn)練，可能難以對特定行業(yè)、公司或主題的任務(wù)微調(diào)。
正如微軟首席技術(shù)官 Kevin Scott 所說：
這些模型令人興奮的地方在于，它們所能實現(xiàn)的功能非常廣泛，其潛在優(yōu)勢遠(yuǎn)遠(yuǎn)超出了一種人工智能模型的微小進(jìn)步。這就像在自然語言處理和計算機(jī)視覺領(lǐng)域同時做了上百件令人興奮的事情。這些感知領(lǐng)域的組合會產(chǎn)生新的應(yīng)用，甚至是現(xiàn)在很難想象的一些應(yīng)用。
一直以來，OpenAI 都表示強(qiáng)大計算能力是邁向 AGI 的必經(jīng)之路，也是 AI 能夠?qū)W習(xí)人類所能完成的任何任務(wù)的必經(jīng)之路。不過，這臺超級計算機(jī)是否強(qiáng)大到足以實現(xiàn)任何接近 AGI 的功能，我們尚不清楚。
2018 年，OpenAI 發(fā)布的一項分析顯示，從 2012 年到 2018 年，用于最大人工智能培訓(xùn)的電腦數(shù)量增長了逾 30 萬倍，其中有 3 個半月翻了一番，遠(yuǎn)遠(yuǎn)超過摩爾定律的速度。
2019 年，Greg Brockman 曾在接受外媒 Financial Times 的采訪時表示，2025 年前后，OpenAI 將把微軟 10 億美元的全部投資用于構(gòu)建一個能夠運(yùn)行“人腦大小的 AI 模型”的系統(tǒng)。
雖然包括兩位人工智能先驅(qū) Yoshua Bengio 和 Yann LeCun 在內(nèi)的行業(yè)知名人士認(rèn)為 AGI 不可能存在，但 OpenAI 的聯(lián)合創(chuàng)始人和支持者們——Greg Brockman、首席科學(xué)家 Ilya Sutskever、Elon Musk、Reid Hoffman 和前 Y Combinator 總裁 Sam Altman——認(rèn)為，強(qiáng)大的計算機(jī)結(jié)合強(qiáng)化學(xué)習(xí)和其他技術(shù)，可以改變 AI 發(fā)展模式。
可以說，這臺超級計算機(jī)的發(fā)布代表了 OpenAI 在這一愿景上迄今為止最大的賭注。
圖靈模型與 AGI 相去甚遠(yuǎn)，但微軟表示將通過超級計算機(jī)探索大型模型，這些模型可以在文本、圖像和視頻數(shù)據(jù)中以一般化的方式學(xué)習(xí)。
實際上 OpenAI 也是如此。
此前外媒曾報道，OpenAI 的 Foresight 團(tuán)隊進(jìn)行了一項實驗，旨在測試他們通過訓(xùn)練具有越來越大量數(shù)據(jù)和計算的算法能在多大程度上推進(jìn) AI 能力。
另外，OpenAI 正在開發(fā)一個以圖像、文本等數(shù)據(jù)為基礎(chǔ)的系統(tǒng)，該系統(tǒng)使用了大量計算資源，被公司領(lǐng)導(dǎo)層認(rèn)為是極有希望實現(xiàn) AGI 的。
事實上，Greg Brockman 和 Sam Altman 尤其相信 AGI 將比任何人類都掌握更多的領(lǐng)域，主要是能識別人類無法發(fā)現(xiàn)的復(fù)雜的跨學(xué)科聯(lián)系。
同時，他們預(yù)測，AGI 與社會科學(xué)等相關(guān)領(lǐng)域的研究人員密切合作，可能有助于解決氣候變化、醫(yī)療和教育方面的長期挑戰(zhàn)。
與此同時，其他玩家發(fā)展勢頭不減。
前不久，IBM 詳細(xì)介紹了一款“神經(jīng)計算機(jī)”（Neural Computer），IBM 利用數(shù)百種定制設(shè)計的芯片，訓(xùn)練時間達(dá)到了每秒 120 萬幀，創(chuàng)下了最新記錄。
北京時間 2020 年 5 月 14 日，英偉達(dá)也發(fā)布了第八代安培 GPU A100，AI 算力提升 20 倍，號稱史上最大的性能飛躍。
證據(jù)表明，效率的提高可能會抵消不斷增長的計算需求。另一項最新的 OpenAI 調(diào)查發(fā)現(xiàn)，自 2012 年以來，將 AI 模型訓(xùn)練成與流行基準(zhǔn)（ImageNet）中的圖像分類性能相同所需的計算量每 16 個月減少兩倍。 但是與新的算法方法相比，計算對性能的貢獻(xiàn)程度仍然是一個懸而未決的問題。
此外，值得一提的是，OpenAI 在游戲和媒體合成方面已經(jīng)利用較少的資源取得了顯著的 AI 收益：
在谷歌云平臺上，為了自我提升，OpenAI Five 每天要在 256 張 Nvidia Tesla P100 顯卡和 128000 個處理器內(nèi)核上玩 180 年的游戲，以擊敗 Dota 2 的職業(yè)玩家（以及公開比賽中 99.4% 的玩家）。
OpenAI 在至少 64 個英偉達(dá) V100 顯卡和 920 個機(jī)器上訓(xùn)練了一個系統(tǒng)，每個機(jī)器有 32 個 CPU 內(nèi)核，以便用機(jī)械手操縱魔方。
OpenAI 的點唱機(jī)模型在 896 個 V100 顯卡上運(yùn)行模擬，學(xué)習(xí)從零開始生成任何風(fēng)格的音樂（包括歌詞）。
從另一個角度看，無論最新的超級計算機(jī)只是一個小小的墊腳石，還是向 AGI 的目標(biāo)邁出了一大步，實際上都有可能為微軟帶來新的市場機(jī)遇。
雷鋒網(wǎng)了解到，通過 AI at Scale 計劃，微軟正在提供資源，以優(yōu)化的方式在 Azure AI 加速器和網(wǎng)絡(luò)上訓(xùn)練大型模型。它將訓(xùn)練數(shù)據(jù)拆分成多個批次，用于跨集群訓(xùn)練模型的多個實例，并定期進(jìn)行平均以產(chǎn)生單個模型。
此外，在 Build 開發(fā)者大會上，微軟還發(fā)布了一個新版本 DeepSpeed，即一個 PyTorch 開源深度學(xué)習(xí)庫，它減少了大型分布式模型訓(xùn)練所需的計算能力，可在相同的架構(gòu)上訓(xùn)練超過大 15 倍以上、快 10 倍以上的模型，還支持 ONNX Runtime 分布式培訓(xùn)。
微軟表示，當(dāng)與 DeepSpeed 一起使用時，ONNX 上的分布式培訓(xùn)使跨硬件和操作系統(tǒng)的模型能夠?qū)崿F(xiàn)高達(dá) 17 倍的性能改進(jìn)。
正如微軟首席技術(shù)官 Kevin Scott 表示：
通過開發(fā)這種用于訓(xùn)練大型人工智能模型的前沿架構(gòu)，我們正在讓 Azure 變得更好。我們正在建設(shè)更好的計算機(jī)、更好的分布式系統(tǒng)、更好的網(wǎng)絡(luò)、更好的數(shù)據(jù)中心。這些都會推動整個 Azure 的性能、成本和靈活性變得更好。
引用來源：
[1]https://venturebeat.com/2020/05/19/openai-microsoft-azure-supercomputer-ai-model-training/
雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
