作者：董子博

編輯：岑峰

農(nóng)歷新春將近，新一屆“拜年文學大賽”又要開始了。

一到此時，各路拜年祝福就爭奇斗艷，層出不窮。想要文義優(yōu)美、辭藻生動，本就讓不少人想破腦袋；如果再想配上一幅優(yōu)美的圖片，原創(chuàng)且有新意，更是成了每一年的大難題。

往年“卷”得不行的拜年消息，在今天只需輸入簡單幾句話，就能輕松搞定。而這背后，自然是AIGC技術(shù)的重大賦能。

這張由智譜AI生成的賀年卡，不僅不花什么功夫，還包含了一段年味十足的祝福語，和一張精美的圖片，如果有心，還能附上一首賀年的詩詞。一眼看上去平平無奇，但實際上，卻是尖端AIGC技術(shù)的集中體現(xiàn)。

先說說每年最讓人頭疼的祝福語：在這張祝?？ㄉ?，僅憑寥寥幾句引導語，由清華大學KEG實驗室和智譜AI研發(fā)的開放問答機器人小呆（XDAI）就能夠完成一段相當高質(zhì)量的祝福，甚至還能實現(xiàn)押韻。

但這還并不是XDAI最強大的功能，短短一段祝福語背后，小呆還有著能夠完成有邏輯、有內(nèi)容的對話實力。

大規(guī)模預(yù)訓練語言模型（PLM）在近年來的進展有目共睹，尤其是ChatGPT橫空出世，更是給PLM圈粉無數(shù)，吸引了大量關(guān)注。但也有學者看到，在大模型下構(gòu)建基于知識的對話系統(tǒng)，實現(xiàn)知識資源的收集，并根據(jù)任務(wù)調(diào)優(yōu)，對于個人開發(fā)者來說成本太高。這也就讓這項技術(shù)在落地上門檻太高，擋住了一大批有興趣的開發(fā)者。

XDAI的提出，就是針對上面的情況，旨在讓開發(fā)人員無需微調(diào)，即可利用PLM，快速創(chuàng)建開放域?qū)υ捪到y(tǒng)，并可以用Prompt（引導語）定制自己的特定域系統(tǒng)。

這也是XDAI最強大的能力，它不僅能借此完成頗具年味的文字生成，還能通過設(shè)計不同的Prompt，達成對XDAI“人設(shè)”、甚至“性格”的調(diào)整，來設(shè)計一個憤怒版、抑郁版、暖心版等不同版本的“小呆”。

說回賀年卡，如果你覺得“小呆”為你生成的文字不夠詩意，你可以呼叫“悟能”，讓它來幫你寫作一首詩。

“悟能作詩”是智譜AI開發(fā)的，一個在PLM的基礎(chǔ)上開發(fā)的AI作詩平臺。在原先的PLM中，盡管模型已經(jīng)能夠生成不錯的文字內(nèi)容，但卻往往缺乏對于問題主題的專注。

在對話中，這個弱點可能瑕不掩瑜；但在詩歌創(chuàng)作上，缺乏主題卻相當致命。

于是，開發(fā)者想到，可以使用Inverse Prompting的方式，來避免這個弱點——利用生成的文本去復(fù)原給定的標題，在通過對生成語句的打分，配合梁式搜索，每生成一個短句，就進行一次評分，并保留分數(shù)最高的內(nèi)容。

再使用這個方法，“悟能”能夠?qū)W習自己生成的內(nèi)容，對自己的內(nèi)容打分，并以此做微調(diào)，加強自身作詩的能力。

在“悟能作詩”，雷峰網(wǎng)(公眾號：雷峰網(wǎng))以“新年”為關(guān)鍵詞，并限定了“悲傷”的情緒，最終生成的結(jié)果如下：

新年

【悟道】 風格: 李白(唐)

圣歷初開歲 云山半老時 

七輪才偃月 九陌亂填絲 

曙角分龍節(jié) 寒塵斂隼旗

 元宵幾處玩 禁火夜彌遲

最后再說說，這張賀年卡背后，圖片生成的AIGC產(chǎn)品——CogView。

CogView的算法框架分為VQ-VAE和Transformer兩部分，對圖像和文本進行大規(guī)模生成式聯(lián)合預(yù)訓練，首先以VQ-VAE將圖像壓縮成Token，再將其輸入Transformer進行生成訓練；反其道而行之，也可以將Transformer輸出的Token作為依據(jù)，生成圖像。

在文字、詩歌、圖片生成的領(lǐng)域，AIGC都擔任了重要的工作。而在小呆、悟能、CogView的背后，都有大規(guī)模語言訓練模型GLM-130B的影子。

這個由清華大學計算機系KEG實驗室，和智譜AI開發(fā)的開源雙語大規(guī)模語言訓練模型，在前些時間的基準測試上超過了OpenAI的GPT-3和谷歌的PALM，并且以開源的形式，作為開源大模型的中國力量，普惠廣大的使用者。

一張小小的賀年卡，背后是一個開源大模型的支持，和三種AIGC的尖端技術(shù)。在未來，AIGC技術(shù)可能也會給一年一度的“拜年文學大賽”畫上句點。

后續(xù)我們會進一步對GLM-130B進行專項的寫作和報道，如果感興趣的話，可以加本文作者微信交流：william_dong。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。