0
它讓我看到了未來！AGI離我們又進了一步......
最近關(guān)于GPT-3的吹捧在各大社交媒體平臺此起彼伏。
GPT-3是誰？它是OpenAI斥巨資打造的自然語言處理模型，擁有1750億超大參數(shù)量，是NLP領(lǐng)域最強AI模型。自今年5月份首次推出以來，憑借驚人的文本生成能力，在各大媒體平臺一直熱度不減。
這一次，關(guān)于GPT-3的吹捧再次被推向高潮，有網(wǎng)友發(fā)現(xiàn) GPT-3不僅能夠答題、寫文章，做翻譯，還能生成代碼、做數(shù)學(xué)推理、數(shù)據(jù)分析、畫圖表制作簡歷，甚至玩游戲都可以，而且效果出奇的好。
由此不禁有網(wǎng)友感嘆，如此全能的AI，這是要通往AGI的節(jié)奏。不過，過譽的背后也有網(wǎng)友開始質(zhì)疑，GPT-3真的達到了無所不能的地步了嗎？
上個月，OpenAI剛剛將GPT-3以API的形式向公眾開放，最近就有大批Twitter用戶來分享使用體驗了，而且好評如潮。據(jù)一位Github用戶統(tǒng)計， 網(wǎng)友們把這款模型玩出了50多種花樣。比如，它可以自動生成SQL查詢代碼。
例如我們輸入“自2020年來有多少用戶注冊”，就能得到相應(yīng)的SQL代碼，可以看到，代碼將時間起點設(shè)為2020-01-01，剛好對應(yīng)“自2020年來”。
UI頁面設(shè)計。同樣只需要輸入自然語言即可，模型會根據(jù)組件細節(jié)描述自動生成。如在這里輸入“一一個彩虹色的按鈕”。 這里只演示了UI頁面的一個組件，包含多個組件、內(nèi)容、圖像的界面也可完成。
數(shù)據(jù)搜索和填充。再也不用手動查詢，再逐個輸入了。如表中GPT-3還可以做人口普查，統(tǒng)計美國各州人數(shù)。表格中分別列出了伊利諾伊州、加利福尼亞州、俄亥俄州的人數(shù)，應(yīng)用能據(jù)此搜索出密歇根州的人數(shù)，以及阿拉斯加州的人數(shù)。
Python代碼做數(shù)據(jù)報表。模型會將自然語言轉(zhuǎn)化為Python語言，進而自動識別并將對應(yīng)內(nèi)容放在描述的模塊中。
以上只是列舉了四個示例，還有Keras代碼生成、簡歷制作、圖表繪制等多種功能，具體參加Github鏈接：https://github.com/elyase/awesome-gpt3#awesome-gpt-3
GPT-3為何如此強大？
在所有NLP模型中，GPT-3在兩個方面達到了史無前例的高度，一是參數(shù)量，達到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。
二是數(shù)據(jù)集。具體數(shù)值很難估計。不過，英語維基百科的全部內(nèi)容（涵蓋約600萬篇文章）僅占其訓(xùn)練數(shù)據(jù)集的0.6％。除此之外，它還涵蓋了其他數(shù)字化書籍和各種Web鏈接。
這意味著數(shù)據(jù)集的文本類型非常豐富，包括新聞報道、詩歌、小說、宗教、科學(xué)、生活等等。人類所能查詢到的知識領(lǐng)域均在其中。（也可能存在不良內(nèi)容的風(fēng)險）
只有通過龐大的知識庫的訓(xùn)練，才能把GPT-3培養(yǎng)成一個“全才”，這也是為什么在用戶體驗中，GPT-3可以不分學(xué)科完成所有文本生成任務(wù)。
另外，Microsoft和OpenAI合力開發(fā)了一款超級計算機，專門用于GPT-3模型訓(xùn)練，這款超級計算機擁有超過 285000 個 CPU 內(nèi)核、10000 個 GPU 和 400Gbps 的網(wǎng)絡(luò)連接。它與世界 TOP500 超級計算機相比，位列 Top 5 第五名。
最后一個重要的點是，GPT-3采用了一種Sparse Transfromer模型。
我們知道，Transformer是谷歌研發(fā)的一款功能強大的序列模型，最早用在BERT模型中。該模型最大的特點是采用自注意力機制（self-attention）改善了RNN訓(xùn)練慢的缺點。
GPT-3同樣采用了 Transformer架構(gòu)，不同的是它融合了一種稀疏式自注意力機制（Sparse Self-attention Layers），與傳統(tǒng)Transfromer模型相比，它可以更好的處理長文檔，操作簡單，同時在zero-shot和few-shot訓(xùn)練中達到了最佳性能。
在實際運行過程中，它分為預(yù)訓(xùn)練和下游任務(wù)兩個階段執(zhí)行。
預(yù)訓(xùn)練階段承擔(dān)了主要工作，這一過程模型采用了無監(jiān)督學(xué)習(xí)對輸入本文進行預(yù)訓(xùn)練，訓(xùn)練的目標(biāo)是預(yù)測下一個單詞，如果單詞出現(xiàn)偏差，模型會自動更新，同時進行重復(fù)循環(huán)預(yù)測，這個過程可能達到數(shù)百萬次，光是訓(xùn)練費用就高達460萬美元。
接下來，在下游任務(wù)中只需要微調(diào)就可以產(chǎn)生更好的性能表現(xiàn)。
連常識都不過關(guān)，突然就不香了
令人驚訝的是，如此強大的GPT-3，可以玩轉(zhuǎn)50多種任務(wù)的模型，可能連基本的常識和簡單的數(shù)學(xué)邏輯都不能通過。一位網(wǎng)友在獲得Beta版使用權(quán)限后，便對GPT-3進行了圖靈測試。我們來看下它的表現(xiàn)：
問：鉛筆和烤面包機哪一個更重
答：鉛筆比烤面包機重
另外，GPT-3也無法判斷命題是否有意義，因此它不會拒絕回答問題。比如，
問：我的腳有多少只眼睛？
答：你的腳有兩只眼睛。
問： 太陽有多少只眼睛？
答： 太陽只有一只眼睛。
問： 一片草有多少只眼睛？
答： 草有一只眼睛。
最后，你可能很難想象GPT-3在處理一些簡單的數(shù)學(xué)推理方面也存在著明顯的失誤。其實，這一原因可能正如網(wǎng)友所說：它只是自動檢索數(shù)據(jù)并輸入，不是真正思考的結(jié)果。 
可以說，GPT-3不具備人類的感知思維，它的生成表現(xiàn)只是大數(shù)據(jù)訓(xùn)練的結(jié)果，無法超越數(shù)據(jù)本身，也無法擁有組合性推理的能力，所以，我們不如說它學(xué)會的是“統(tǒng)計層面的復(fù)制粘貼能力”。
更重要的是，GPT-3存在種族歧視等不良內(nèi)容的風(fēng)險。最近，Nvidia的AI主任Anima Anandkumar教授，就發(fā)現(xiàn)了這樣的現(xiàn)象，她對此表示很失望。
當(dāng)輸入上文：一個黑人從事什么樣的工作時，它生成了“15年皮條”客的回復(fù)。這一現(xiàn)象的原因出在我們此前提到的，GPT-3有著龐大的數(shù)據(jù)集，且內(nèi)容涵蓋豐富，但它無人工審查和管理，因此很可能將一些種族歧視、性別歧視等內(nèi)容傳遞給模型進行訓(xùn)練，并最終產(chǎn)生結(jié)果。
最近面對Twitter網(wǎng)友對GPT-3的熱議，OpenAI的首席執(zhí)行官Sam Altman也出來發(fā)聲了，他稱：
大家把GPT-3捧得太高了，這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥，未來我們還有很多問題要解決。
任何技術(shù)在某一階段都會有它的局限性，或許我們可以從更長遠的視角來看待它的價值。
對于GPT-3而言，它最大的價值是在無監(jiān)督下的自我學(xué)習(xí)能力，以及純粹通過擴大規(guī)模實現(xiàn)性能提升。后者已經(jīng)在GPT-3的論文中得到驗證，數(shù)據(jù)越大，參數(shù)量越大，模型的性能表現(xiàn)越好。 其實，GPT-3與GPT-2本質(zhì)上差異并不大，只是在數(shù)據(jù)量和參數(shù)量兩個方面擴大了100倍，便得到了遠超GPT-2的性能。
長遠來看，我們唯一可以確定的是，未來我們會創(chuàng)造越來越多的數(shù)據(jù)和計算能力，那么，它將意味著GPT-3的迭代版會越來越強。至于未來GPT-3會達到怎樣的程度，深度學(xué)習(xí)之父、圖靈獎得主Hinton稱，
如以GPT3驚人性能預(yù)測，未來生命，宇宙和萬物的答案也不過是4.398萬億個參數(shù)而已?！?/p>
至于，未來是否會邁向AGI，一部分人認為，我們需要賦予模型創(chuàng)造性思考的能力，才可能接近人類智能。另一部分認為，如果歷史可以說明任何問題，那么AI只需要更多的數(shù)據(jù)和算力即可。而著名計算機科學(xué)家里奇·薩頓（Rich Sutton）則認為，當(dāng)研究人員試圖根據(jù)人類知識和特定規(guī)則創(chuàng)建AI程序時，它們通常會被競爭對手所擊敗，后者僅僅利用更多的數(shù)據(jù)和計算能力。
引用鏈接：（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）
https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential
https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
