一張賀年卡里，能有多少尖端AI技術(shù)？

本文作者：我在思考中

2023-01-29 11:44

導(dǎo)語：寫詩、作詞、繪畫，AIGC大包大攬，給你送上新年祝福。

作者 | 董子博???

編輯 | 岑峰???

農(nóng)歷新春將近，新一屆“拜年文學(xué)大賽”又要開始了。

一到此時(shí)，各路拜年祝福就爭奇斗艷，層出不窮。想要文義優(yōu)美、辭藻生動(dòng)，本就讓不少人想破腦袋；如果再想配上一幅優(yōu)美的圖片，原創(chuàng)且有新意，更是成了每一年的大難題。

往年“卷”得不行的拜年消息，在今天只需輸入簡單幾句話，就能輕松搞定。而這背后，自然是AIGC技術(shù)的重大賦能。

這張由智譜AI生成的賀年卡，不僅不花什么功夫，還包含了一段年味十足的祝福語，和一張精美的圖片，如果有心，還能附上一首賀年的詩詞。一眼看上去平平無奇，但實(shí)際上，卻是尖端AIGC技術(shù)的集中體現(xiàn)。

先說說每年最讓人頭疼的祝福語：在這張祝?？ㄉ希瑑H憑寥寥幾句引導(dǎo)語，由清華大學(xué)KEG實(shí)驗(yàn)室和智譜AI研發(fā)的開放問答機(jī)器人小呆（XDAI）就能夠完成一段相當(dāng)高質(zhì)量的祝福，甚至還能實(shí)現(xiàn)押韻。

但這還并不是XDAI最強(qiáng)大的功能，短短一段祝福語背后，小呆還有著能夠完成有邏輯、有內(nèi)容的對(duì)話實(shí)力。

大規(guī)模預(yù)訓(xùn)練語言模型（PLM）在近年來的進(jìn)展有目共睹，尤其是ChatGPT橫空出世，更是給PLM圈粉無數(shù)，吸引了大量關(guān)注。但也有學(xué)者看到，在大模型下構(gòu)建基于知識(shí)的對(duì)話系統(tǒng)，實(shí)現(xiàn)知識(shí)資源的收集，并根據(jù)任務(wù)調(diào)優(yōu)，對(duì)于個(gè)人開發(fā)者來說成本太高。這也就讓這項(xiàng)技術(shù)在落地上門檻太高，擋住了一大批有興趣的開發(fā)者。

XDAI的提出，就是針對(duì)上面的情況，旨在讓開發(fā)人員無需微調(diào)，即可利用PLM，快速創(chuàng)建開放域?qū)υ捪到y(tǒng)，并可以用Prompt（引導(dǎo)語）定制自己的特定域系統(tǒng)。

這也是XDAI最強(qiáng)大的能力，它不僅能借此完成頗具年味的文字生成，還能通過設(shè)計(jì)不同的Prompt，達(dá)成對(duì)XDAI“人設(shè)”、甚至“性格”的調(diào)整，來設(shè)計(jì)一個(gè)憤怒版、抑郁版、暖心版等不同版本的“小呆”。

說回賀年卡，如果你覺得“小呆”為你生成的文字不夠詩意，你可以呼叫“悟能”，讓它來幫你寫作一首詩。

“悟能作詩”是智譜AI開發(fā)的，一個(gè)在PLM的基礎(chǔ)上開發(fā)的AI作詩平臺(tái)。在原先的PLM中，盡管模型已經(jīng)能夠生成不錯(cuò)的文字內(nèi)容，但卻往往缺乏對(duì)于問題主題的專注。

在對(duì)話中，這個(gè)弱點(diǎn)可能瑕不掩瑜；但在詩歌創(chuàng)作上，缺乏主題卻相當(dāng)致命。

于是，開發(fā)者想到，可以使用Inverse Prompting的方式，來避免這個(gè)弱點(diǎn)——利用生成的文本去復(fù)原給定的標(biāo)題，在通過對(duì)生成語句的打分，配合梁式搜索，每生成一個(gè)短句，就進(jìn)行一次評(píng)分，并保留分?jǐn)?shù)最高的內(nèi)容。

再使用這個(gè)方法，“悟能”能夠?qū)W習(xí)自己生成的內(nèi)容，對(duì)自己的內(nèi)容打分，并以此做微調(diào)，加強(qiáng)自身作詩的能力。

在“悟能作詩”，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))以“新年”為關(guān)鍵詞，并限定了“悲傷”的情緒，最終生成的結(jié)果如下：

新年

【悟道】風(fēng)格: 李白(唐)

圣歷初開歲云山半老時(shí)

七輪才偃月九陌亂填絲

曙角分龍節(jié) 寒塵斂隼旗

元宵幾處玩禁火夜彌遲

最后再說說，這張賀年卡背后，圖片生成的AIGC產(chǎn)品——CogView。

CogView的算法框架分為VQ-VAE和Transformer兩部分，對(duì)圖像和文本進(jìn)行大規(guī)模生成式聯(lián)合預(yù)訓(xùn)練，首先以VQ-VAE將圖像壓縮成Token，再將其輸入Transformer進(jìn)行生成訓(xùn)練；反其道而行之，也可以將Transformer輸出的Token作為依據(jù)，生成圖像。

一張賀年卡里，能有多少尖端AI技術(shù)？

在文字、詩歌、圖片生成的領(lǐng)域，AIGC都擔(dān)任了重要的工作。而在小呆、悟能、CogView的背后，都有大規(guī)模語言訓(xùn)練模型GLM-130B的影子。

這個(gè)由清華大學(xué)計(jì)算機(jī)系KEG實(shí)驗(yàn)室，和智譜AI開發(fā)的開源雙語大規(guī)模語言訓(xùn)練模型，在前些時(shí)間的基準(zhǔn)測試上超過了OpenAI的GPT-3和谷歌的PALM，并且以開源的形式，作為開源大模型的中國力量，普惠廣大的使用者。

一張小小的賀年卡，背后是一個(gè)開源大模型的支持，和三種AIGC的尖端技術(shù)。在未來，AIGC技術(shù)可能也會(huì)給一年一度的“拜年文學(xué)大賽”畫上句點(diǎn)。

后續(xù)我們會(huì)進(jìn)一步對(duì)GLM-130B進(jìn)行專項(xiàng)的寫作和報(bào)道，如果感興趣的話，可以加本文作者微信交流：william_dong。

更多內(nèi)容，點(diǎn)擊下方關(guān)注：

一張賀年卡里，能有多少尖端AI技術(shù)？