0
雷鋒網(wǎng)AI科技評(píng)論按：那個(gè)能從短句續(xù)寫(xiě)出成篇文章、續(xù)寫(xiě)故事水平達(dá)到人類(lèi)水準(zhǔn)的 AI - OpenAI GPT-2 最近又有新動(dòng)作了！8月21日，OpenAI 公開(kāi)發(fā)布了大規(guī)模的含有 774M 參數(shù)的預(yù)訓(xùn)練模型、發(fā)布了一份針對(duì)這個(gè)大小的模型的技術(shù)報(bào)告，也公布了一些合作進(jìn)展。GPT-2從今年年初的初次見(jiàn)面到現(xiàn)在，OpenAI都做了些什么呢？
先來(lái)回顧一下它創(chuàng)造的輝煌歷史
OpenAI 的 GPT-2 是 GPT 的直接技術(shù)升級(jí)版，擁有多達(dá) 1558M模型參數(shù)，并在多 10 倍的數(shù)據(jù)上進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)是來(lái)自互聯(lián)網(wǎng)的 40GB 高質(zhì)量語(yǔ)料。
該模型不僅可以根據(jù)給定的文本流暢地續(xù)寫(xiě)句子，甚至可以形成成篇的文章，就像人類(lèi)的續(xù)寫(xiě)文章一樣。雖然還存在一定的問(wèn)題，例如文字重復(fù)，錯(cuò)誤的世界觀不自然的切換話題等。但在成功的例子中模型生成的文本多樣、全面，對(duì)事件的介紹也完全符合邏輯標(biāo)準(zhǔn)， 接近人類(lèi)的表達(dá)質(zhì)量，這已經(jīng)可以說(shuō)是非常驚人了。拋出一個(gè)例子先隨(雷鋒網(wǎng))隨意感受一下。 
由于OpenAI認(rèn)為這個(gè)模型的文本生成能力太強(qiáng)，所以他們做了一件與學(xué)術(shù)慣例不同的事情：當(dāng)今的NLP研究人員們公開(kāi)新模型的時(shí)候，除了開(kāi)源模型的代碼（可以制作一個(gè)空白模型），還會(huì)同步公開(kāi)一個(gè)預(yù)訓(xùn)練模型，可以直接用在任務(wù)中或者為別的任務(wù)做進(jìn)一步的微調(diào)；OpenAI訓(xùn)練了多個(gè)不同大小的模型，最大的模型含有1558M個(gè)參數(shù)，但OpenAI只公布了最小的、含有124M個(gè)參數(shù)的預(yù)訓(xùn)練模型，因?yàn)樗麄兟暦Q(chēng)更大、文本生成能力更強(qiáng)的模型“有遭到惡意濫用的風(fēng)險(xiǎn)”。
OpenAI的語(yǔ)言模型GPT-2一經(jīng)面世就引發(fā)了社會(huì)各界的強(qiáng)烈討論，討論的內(nèi)容包括：這項(xiàng)研究的正面價(jià)值大嗎、人類(lèi)水準(zhǔn)的虛假文本會(huì)帶來(lái)怎樣的社會(huì)影響、AI熱潮以及OpenAI未來(lái)的科研目標(biāo)到底如何，甚至還有人質(zhì)疑OpenAI此舉是夸張炒作（故意把模型吹得很厲害的樣子）。
針對(duì)OpenAI的語(yǔ)言模型本身還存在不足，它所帶來(lái)的社會(huì)效益以及可能引起的惡意使用者濫用的問(wèn)題方面，其實(shí)研究人員也有自己的考慮，幾個(gè)月來(lái)也從沒(méi)停下腳步，接下來(lái)就讓我們來(lái)看看他們的工作進(jìn)展。
協(xié)調(diào)是很困難的，但也并不是沒(méi)有可能。到目前為止， 1558M個(gè)參數(shù)的語(yǔ)言模型還沒(méi)有被公開(kāi)發(fā)布，盡管多個(gè)組織已經(jīng)開(kāi)發(fā)了系統(tǒng)來(lái)訓(xùn)練這些模型，或者公開(kāi)討論了如何訓(xùn)練更大的模型。自2月以來(lái)，工作人員已經(jīng)與超過(guò)五組復(fù)現(xiàn)GPT-2的團(tuán)隊(duì)進(jìn)行了交流。
合成文本具有信服力 研究人員的合作伙伴Sarah Kreps和Miles McCain在康奈爾大學(xué)的“外交事務(wù)”雜志上發(fā)表了研究報(bào)告：人們覺(jué)得GPT-2生成的文本樣本的說(shuō)服力幾乎和紐約時(shí)報(bào)上的真實(shí)文章相當(dāng)(72%的人認(rèn)為GPT-2生成的文章是可信的，紐約時(shí)報(bào)文章則為83%)。除此之外，華盛頓大學(xué)AI2研究院的研究也表明，一個(gè)名為“GROVER”的系統(tǒng)生成的宣傳文章比人類(lèi)寫(xiě)的還要受歡迎。這都讓OpenAI的研究人員們?cè)诳紤]發(fā)布語(yǔ)言模型時(shí)更為謹(jǐn)慎。
檢測(cè)也并不是一項(xiàng)簡(jiǎn)單的工作 實(shí)踐中，研究人員更希望檢測(cè)器能檢測(cè)出絕大部分的生成文本，減少濫用，同時(shí)也避免錯(cuò)誤地檢測(cè)出確實(shí)由人類(lèi)撰寫(xiě)的文章。模型的惡意使用者可能使用各種采樣技術(shù)(包括拒絕采樣)或微調(diào)模型來(lái)逃避檢測(cè)。一個(gè)理想的系統(tǒng)應(yīng)當(dāng)在各種不同的生成文本上達(dá)到非常高（99.9%到99.99%）的準(zhǔn)確率。研究表明，目前基于ML的方法的準(zhǔn)確率只能達(dá)到90%到95%之間而已，而對(duì)語(yǔ)言模型進(jìn)行微調(diào)將會(huì)進(jìn)一步降低精準(zhǔn)確率；雖然有一些值得嘗試的方案但這仍然是一個(gè)非常困難的研究問(wèn)題。研究人員認(rèn)為，文本的統(tǒng)計(jì)檢測(cè)需要與人工判斷和元數(shù)據(jù)相補(bǔ)充，以便有效地制止濫用語(yǔ)言模型的狀況。
OpenAI目前已經(jīng)與四家領(lǐng)先的研究機(jī)構(gòu)合作，共同分析GPT-2模型，包括此次新發(fā)布的774M參數(shù)GPT-2模型和尚未公開(kāi)發(fā)布的全尺寸GPT-2模型。在此次同步公開(kāi)的技術(shù)報(bào)告中涉及了一些初步的結(jié)果，其中一些分析結(jié)果也會(huì)影響是否公開(kāi)發(fā)布1558M參數(shù)模型的考慮。OpenAI還制定了一項(xiàng)非商業(yè)法律協(xié)議，以促進(jìn)組織之間的模式共享，為了幫助其他人啟動(dòng)此類(lèi)共享計(jì)劃。
具體的合作內(nèi)容：
l Cornell大學(xué)正在研究人類(lèi)對(duì)語(yǔ)言模型產(chǎn)生的數(shù)字信息的敏感性。
l 關(guān)于恐怖主義、極端主義和反恐的Middlebury Institute 國(guó)際研究中心(CTEC)正在探索GPT-2是如何被恐怖分子和網(wǎng)絡(luò)極端分子利用的。
l Oregon大學(xué)正在開(kāi)發(fā)一系列的“偏差調(diào)查”來(lái)分析GPT-2中的偏差。
l Texas大學(xué)Texas分校正在研究在對(duì)特定領(lǐng)域數(shù)據(jù)集上的模型進(jìn)行微調(diào)后， GPT-2輸出的統(tǒng)計(jì)可檢測(cè)性，以及不同語(yǔ)言模型之間檢測(cè)傳遞程度。
這些合作伙伴的研究將適應(yīng)OpenAI未來(lái)的發(fā)布決策，通過(guò)觀察774M參數(shù)模型的使用情況，以了解大型模型的還需要考慮哪些因素。作為分階段發(fā)布策略的一部分，OpenAI目前的計(jì)劃是在幾個(gè)月內(nèi)發(fā)布1558M參數(shù)模型。但根據(jù)合作伙伴調(diào)查結(jié)果，或者如果有惡意使用的774M模型的情況發(fā)生，那么可能會(huì)適當(dāng)?shù)淖龀稣{(diào)整。隨著時(shí)間的推移，大型模型固有的問(wèn)題將會(huì)有所增加，而不是減少。
2019年2月
OpenAI首次公布GPT-2論文以及發(fā)布小型124M參數(shù)的GPT-2模型。雷鋒網(wǎng) AI 科技評(píng)論報(bào)道見(jiàn) http://m.ozgbdpf.cn/news/201902/A0LIv4qeizhuABLF.html
2019年3月
The Partnership on AI與OpenAI共同舉辦了晚宴，討論出版規(guī)范。
2019年5月
分階段發(fā)布中型335M參數(shù)模型以及大型模型的輸出數(shù)據(jù)集,發(fā)布檢測(cè)基線，幫助人們了解如何檢測(cè)像GPT-2這樣的模型的輸出。
2019年6月
OpenAI出席美國(guó)國(guó)會(huì)聽(tīng)證會(huì)，解釋合成媒體的含義，包括對(duì)合成文本的討論。開(kāi)始與人工智能合作伙伴開(kāi)展研究合作，以發(fā)布人工智能研究規(guī)范，嘗試與不同的研究機(jī)構(gòu)展開(kāi)合作。
2019年7月
DeepTabNine基于GPT-2開(kāi)發(fā)代碼自動(dòng)補(bǔ)全應(yīng)用；用自回歸Transformer模型生成多圈對(duì)話響應(yīng)；生成文本的統(tǒng)計(jì)檢測(cè)和可視化。
2019年8月
Thoughtful Technology Project的研究人員和劍橋大學(xué)一同發(fā)表了一篇論文，主題是“減少合成惡意濫用的工作文件媒體研究：機(jī)器學(xué)習(xí)的注意事項(xiàng)和潛在發(fā)布實(shí)踐”。
小結(jié)：
雷鋒網(wǎng)認(rèn)為：AI智能作為現(xiàn)代科技的風(fēng)向標(biāo)，所面臨的機(jī)遇和挑戰(zhàn)前所未有。OpenAI作為其中的一個(gè)代表，發(fā)表驚人的研究成果的同時(shí)也引發(fā)了人們對(duì)許多問(wèn)題的注意，比如除了研究機(jī)理和參照的數(shù)據(jù)集，還需要關(guān)心強(qiáng)大的模型是否會(huì)被惡意濫用等相關(guān)的社會(huì)道德問(wèn)題，幾個(gè)月來(lái)OpenAI的研究人員也一直在努力繼續(xù)研究和協(xié)調(diào)，相信他們最終能找到完善的答案。
拓展閱讀：
1、 OpenAI博客鏈接：https://openai.com/blog/gpt-2-6-month-follow-up/
2、故事達(dá)到人類(lèi)水平的AI，OpenAI大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2
http://m.ozgbdpf.cn/news/201902/wuK3G9qDcrf5dX0r.html
3、OpenAI不公開(kāi)發(fā)布GPT-2，應(yīng)該反對(duì)還是贊同？
http://m.ozgbdpf.cn/news/201902/A0LIv4qeizhuABLF.html
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
