對(duì)話(huà) APUS 李濤：全面轉(zhuǎn)型做 AI，蒸餾法訓(xùn)練大模型，沉淀中小模型

本文作者：我在思考中

2023-04-11 10:52

導(dǎo)語(yǔ)：AGI時(shí)代，大模型小模型都需要。

作者丨何思思

編輯丨林覺(jué)民

走進(jìn)融新科技中心A座23層，映入眼簾的是綠植、野營(yíng)桌椅帳篷，在如此輕松的環(huán)境下，雷峰網(wǎng)見(jiàn)到了APUS創(chuàng)始人李濤，他著一身休閑裝，顯得尤為放松。

對(duì)談前，他用八個(gè)字總結(jié)了創(chuàng)辦APUS的心路歷程——“享受過(guò)程、追求快樂(lè)”，對(duì)談過(guò)程中，也始終強(qiáng)調(diào)著“快樂(lè)”的重要性。一場(chǎng)對(duì)談下來(lái)，他口中有關(guān)“創(chuàng)業(yè)壓力、至暗時(shí)刻”的抱怨很少，更多的是應(yīng)對(duì)變局時(shí)的從容淡定。

雷峰網(wǎng)從側(cè)面了解到，APUS在選擇辦公地址時(shí)通常首選高層，原因是窄小的格子間只會(huì)給程序員帶來(lái)壓迫感，毫無(wú)快樂(lè)可言，高樓層視野開(kāi)闊，可以讓程序員們員工心胸更寬廣。站在APUS辦公室的窗前能看到北京最高的建筑“中國(guó)尊”。

對(duì)話(huà) APUS 李濤：全面轉(zhuǎn)型做 AI，蒸餾法訓(xùn)練大模型，沉淀中小模型

李濤是國(guó)內(nèi)最早一批接觸到大模型的人之一，早在2019年，他就和字節(jié)跳動(dòng)創(chuàng)始人張一鳴、紅杉中國(guó)創(chuàng)始人沈南鵬在硅谷見(jiàn)了OpenAI創(chuàng)始人Sam Altman，這也為APUS全面轉(zhuǎn)型人工智能埋下了伏筆。

2022年11月底，OpenAI上線(xiàn)ChatGPT引發(fā)了全球性的關(guān)注，隨后谷歌母公司Alphabet宣布將推出名為“Bard”的AI（人工智能）聊天機(jī)器人服務(wù)以及多個(gè)人工智能項(xiàng)目，緊接著Azure OpenAI重磅推出了 GPT-4，相繼微軟宣布將大型語(yǔ)言模型（LLM）和Microsoft 365應(yīng)用相結(jié)合，正推出全新的AI功能。

至今國(guó)際市場(chǎng)上有關(guān)大模型的角逐仍在持續(xù)上演。

反觀國(guó)內(nèi)市場(chǎng)，其激烈程度不亞于國(guó)外，自今年2月份ChatGPT在國(guó)內(nèi)火爆出圈后，互聯(lián)網(wǎng)廠商們坐不住了，迅速加入AI賽道。首先是百度官宣文心一言，并在之后的邀約測(cè)試環(huán)節(jié)中吸引了12萬(wàn)人，隨后阿里、騰訊、360等互聯(lián)網(wǎng)企業(yè)相繼官宣加入該賽道。

相較百度而言，雖然后者還沒(méi)有推出可商用的大模型產(chǎn)品，但也紛紛轉(zhuǎn)投了大部分精力到大模型的研發(fā)工作上。

全球化智能手機(jī)操作系統(tǒng)企業(yè)APUS，以工具類(lèi)產(chǎn)品為基礎(chǔ)逐漸衍生出內(nèi)容等相關(guān)產(chǎn)品和服務(wù)，從2014年成立至今已經(jīng)在全球擁有了超24億用戶(hù)，覆蓋200多個(gè)國(guó)家和地區(qū)，支持超25種語(yǔ)言。面對(duì)此次AI大模型風(fēng)口，APUS早在2019年就開(kāi)始了相關(guān)布局，并于去年底啟動(dòng)大AI戰(zhàn)略，比國(guó)內(nèi)的AI熱潮提早了一到兩個(gè)月的時(shí)間。

從移動(dòng)互聯(lián)網(wǎng)企業(yè)轉(zhuǎn)型人工智能，李濤坦言，“和公司的定位有很大的關(guān)系，2020年以前我們對(duì)自己的定位是‘中國(guó)出海企業(yè)’，之后轉(zhuǎn)成‘全球化公司’。這決定了我們會(huì)更早的感知到國(guó)外的技術(shù)、思維等方面的變化，去年年底則真正感受到了AI 帶來(lái)的競(jìng)爭(zhēng)壓力，也看到了其巨大的發(fā)展?jié)摿?，我們隨之啟動(dòng)了全面擁抱AI的戰(zhàn)略轉(zhuǎn)型?！?/span>

以下為雷峰網(wǎng)和李濤的對(duì)話(huà)：

“不要抱著補(bǔ)償心理創(chuàng)業(yè)，創(chuàng)業(yè)者要享受過(guò)程”

雷峰網(wǎng)：您怎么看待創(chuàng)業(yè)這件事？

李濤：創(chuàng)業(yè)是一個(gè)動(dòng)態(tài)的過(guò)程，不是開(kāi)始，更不是結(jié)果。創(chuàng)業(yè)者必然會(huì)經(jīng)歷高光也會(huì)經(jīng)歷低谷，不能單純的追求三年或者五年后的特定高光時(shí)刻，高光后還會(huì)回歸到落寞的狀態(tài)是自然規(guī)律，所以創(chuàng)業(yè)者沒(méi)必要為了高光而辛苦，而是要享受過(guò)程，從中讓自己更快樂(lè)。

雷峰網(wǎng)：所以您屬于很享受過(guò)程的人？

李濤：對(duì)，我覺(jué)得人做事第一要順勢(shì)而為，第二要學(xué)會(huì)造勢(shì)，第三要享受過(guò)程，這三件事你都做到了，就會(huì)很快樂(lè)，你的心態(tài)也會(huì)非常平衡，成功之后也不會(huì)有很強(qiáng)的補(bǔ)償心態(tài)。

雷峰網(wǎng)：要想創(chuàng)業(yè)成功，什么特質(zhì)是最重要的？

李濤：積極穩(wěn)定的心態(tài)。有些上市公司并不賺錢(qián)，因?yàn)檫@些創(chuàng)業(yè)過(guò)程艱難，企業(yè)家認(rèn)為太苦了，上市后補(bǔ)償心理就會(huì)太重，一旦有了這種心態(tài)就很難成功?，F(xiàn)在很多成功企業(yè)的領(lǐng)頭人恰恰是在享受過(guò)程，并不是為了追求走到哪一個(gè)高光時(shí)刻，但是這些企業(yè)一旦進(jìn)入高光區(qū)往往就會(huì)持續(xù)很長(zhǎng)時(shí)間，這是積極的心態(tài)帶來(lái)的正向效應(yīng)。

我創(chuàng)辦APUS以后，企業(yè)的業(yè)務(wù)增長(zhǎng)很快，因?yàn)閯?chuàng)造了社會(huì)價(jià)值，我在其中也感受到快樂(lè)，沒(méi)有補(bǔ)償心理，這種心態(tài)讓我更容易做出正確的判斷，幫助企業(yè)維持了比較好的發(fā)展態(tài)勢(shì)。

全球化視野提前感知AI變革

決定全面轉(zhuǎn)型

雷峰網(wǎng)：怎么定位APUS？

李濤：APUS是一家以產(chǎn)品技術(shù)為核心競(jìng)爭(zhēng)力的全球化移動(dòng)互聯(lián)網(wǎng)公司，2014-2019年一直做出海業(yè)務(wù)，我們那時(shí)的定位是中國(guó)出海企業(yè)，2019年APUS戰(zhàn)略升級(jí)為“全球化”，把自己定位為全球化公司，無(wú)論中國(guó)、美國(guó)或其他地方，都是我們選擇的一個(gè)市場(chǎng)區(qū)域。

雷峰網(wǎng)：決定讓你全面轉(zhuǎn)型做人工智能，是有什么契機(jī)嗎？

李濤：ChatGPT出來(lái)后再次證明了國(guó)內(nèi)互聯(lián)網(wǎng)的全球化發(fā)展很不充分，去年10月ChatGPT就在美國(guó)火了，當(dāng)時(shí)很多美國(guó)學(xué)生都用它來(lái)做作業(yè)，但這個(gè)概念到今年2月才在國(guó)內(nèi)出圈，這意味著中國(guó)在技術(shù)意識(shí)方面要比美國(guó)晚3到4個(gè)月以上的時(shí)間。而APUS是全球化企業(yè)，在這個(gè)定位下，感知和思維模型就會(huì)有全球化視野，我們大概去年就已經(jīng)接觸到了ChatGPT并開(kāi)始了相關(guān)研究和自我籌備。

雷峰網(wǎng)：APUS最早是怎么做的？

李濤：從AIGC開(kāi)始入手，當(dāng)時(shí)不是按照ChatGPT 這個(gè)方法，但我們很快就發(fā)現(xiàn)了ChatGPT 模型的訓(xùn)練能力是極強(qiáng)的。因?yàn)檎Z(yǔ)言模型訓(xùn)練是非常困難的一件事，比AIGC的挑戰(zhàn)大的多，今天大部分AIGC都不能算是大模型而是自建的中等模型。

雷峰網(wǎng)：所以如谷歌這類(lèi)公司在大模型方面是最有優(yōu)勢(shì)的？

李濤：我不這么認(rèn)為。因?yàn)樗麄兒茈y顛覆自己的“商業(yè)模式”去實(shí)現(xiàn)自我革命。搜索引擎是歸納法，在歸納法的基礎(chǔ)上創(chuàng)建自己的商業(yè)模式，他們不太可能去做演繹法的事情。像谷歌做大模型就是很被動(dòng)的在做，因?yàn)樗诖竽Ｐ头矫媸锹浜蟮?，就必須按照別人制定的規(guī)則來(lái)做，而OpenAI已經(jīng)把規(guī)則定下來(lái)了。假如谷歌能做出一個(gè)超越 OpenAI的大模型，他會(huì)試圖重新把這套東西拉回到自己原來(lái)的那套規(guī)則上，去發(fā)揮它原有的優(yōu)勢(shì)向下做，這必然會(huì)導(dǎo)致落后。這是谷歌這類(lèi)公司的痛點(diǎn)，它很難改變。

雷峰網(wǎng)：如果中國(guó)出現(xiàn)下一個(gè)GPT企業(yè)，您認(rèn)為小公司比大公司的可能性大？

李濤：對(duì)，目前能做GPT的大多是互聯(lián)網(wǎng)企業(yè)，但這些企業(yè)本質(zhì)上都有既得利益，他們不愿意舍棄這些既得利益。王慧文投5000萬(wàn)美金這個(gè)事就值得我們期待。

雷峰網(wǎng)：為什么值得期待，能做成嗎？

李濤：中國(guó)試圖做AI大模型的企業(yè)都值得期待，只是王慧文在所有人沒(méi)表態(tài)的時(shí)候就站出來(lái)了，但這僅僅是表態(tài)，最終能輸出什么樣的產(chǎn)品我們還要再觀察。

雷峰網(wǎng)：有人愿意投入大量資金，是不是意味著我們離大模型更近了？

李濤：大模型靠的是什么？第一場(chǎng)景，第二數(shù)據(jù)，第三算法，第四算力，不僅僅是砸錢(qián)就能搞定的事情。

客觀來(lái)看，我們有場(chǎng)景，也有不小的數(shù)據(jù)體量，但這個(gè)數(shù)據(jù)放在全球市場(chǎng)來(lái)看也沒(méi)有絕對(duì)優(yōu)勢(shì)。我們有算法，但都是割裂狀態(tài)，沒(méi)有一個(gè)開(kāi)放平臺(tái)讓大家把擁有的算法都貢獻(xiàn)出來(lái)。算力方面，我們正面臨高性能算力的限制，芯片方面較美國(guó)，中國(guó)還是有很大差距的。

總的來(lái)講就是，場(chǎng)景豐富；但數(shù)據(jù)只能算中等規(guī)模；算法是極度分散，沒(méi)有形成合力；算力則是嚴(yán)重不足。

雷峰網(wǎng)：怎么解決這些問(wèn)題？

李濤：一方面，中國(guó)的算力大部分掌握在政府手里和運(yùn)營(yíng)商手里，所以需要政府推動(dòng)進(jìn)行算力整合。另一方面，也需要行業(yè)推動(dòng)，公開(kāi)算法。

雷峰網(wǎng)：為什么倡導(dǎo)大家把算法公開(kāi)出來(lái)？

李濤：大模型不公開(kāi)是正常的，因?yàn)榇竽Ｐ秃蜕虡I(yè)模式掛鉤，會(huì)直接決定企業(yè)營(yíng)收。算法是可以公開(kāi)的，只有算法公開(kāi)，才可以把大家的智慧集中起來(lái)。所有代碼都開(kāi)放出來(lái)意味著有更多人能夠維護(hù)和優(yōu)化代碼，代碼一旦升級(jí)到很高的水平，數(shù)據(jù)和模型能力就會(huì)迅速提升，這本質(zhì)上是一個(gè)利己的行為。OpenAI就很聰明，它做完這件事就把接口全部開(kāi)放出來(lái)了。而且也更利于訓(xùn)練自己的模型，模型訓(xùn)練需要更多的數(shù)據(jù)和場(chǎng)景，這不是千百個(gè)程序員坐在辦公室能想出來(lái)的。

從另一個(gè)角度來(lái)看，公開(kāi)算法會(huì)促使更多開(kāi)發(fā)者進(jìn)行創(chuàng)新，能夠推動(dòng)行業(yè)進(jìn)步，也是在創(chuàng)造更好的創(chuàng)新環(huán)境和發(fā)展氛圍。這樣看來(lái)，開(kāi)源利人利己，何樂(lè)而不為？

雷峰網(wǎng)：真正解決了這個(gè)問(wèn)題，中國(guó)企業(yè)有沒(méi)有機(jī)會(huì)？

李濤：有機(jī)會(huì)，但不會(huì)一下起來(lái)，這場(chǎng)AI潮比拼的本質(zhì)是你能不能先抓住場(chǎng)景；第二是數(shù)據(jù)，第三是國(guó)際化的問(wèn)題，只有足夠國(guó)際化才能解決算法不斷更新迭代的問(wèn)題，才能解決算力不足的問(wèn)題。

用蒸餾法訓(xùn)練AI大模型

沉淀中小模型

雷峰網(wǎng)：今年APUS在AI大模型方面的目標(biāo)是什么？

李濤：2019年APUS開(kāi)始從中國(guó)出海企業(yè)轉(zhuǎn)為全球化公司，今年就是要全面擁抱AI，成為一家人工智能公司，這是非常明確的目標(biāo)，我們預(yù)估轉(zhuǎn)型后企業(yè)業(yè)績(jī)有望實(shí)現(xiàn)200%的增長(zhǎng)。

雷峰網(wǎng)：成為人工智能公司的標(biāo)志是什么？

李濤：第一，企業(yè)內(nèi)部生產(chǎn)工具的改進(jìn)和生產(chǎn)效率的提升；第二，用人工智能改造現(xiàn)在所有的產(chǎn)品；第三：在人工智能的環(huán)境下去探索新的物種和新的產(chǎn)品；第四：把人工智能推到全產(chǎn)業(yè)鏈中，讓AI成為新引擎。

雷峰網(wǎng)：會(huì)和大模型公司（諸如文心一言）合作嗎？

李濤：或許會(huì)合作，但存在一個(gè)關(guān)鍵問(wèn)題，雙方合作沉淀下來(lái)的模型在他那還是在你這兒，這個(gè)關(guān)系很難平衡。所以國(guó)內(nèi)企業(yè)都要考慮沉淀出屬于自己的中小模型，這是未來(lái)一切發(fā)展的基礎(chǔ)。

雷峰網(wǎng)：具體應(yīng)該怎么做？

李濤：要用別人的大模型方法實(shí)現(xiàn)自我訓(xùn)練，也要反向的通過(guò)領(lǐng)先的大模型用蒸餾法訓(xùn)練自己的模型，另外在關(guān)鍵節(jié)點(diǎn)還要加一部分人工干預(yù)。

雷峰網(wǎng)：APUS在自己訓(xùn)練大模型嗎？

李濤：我們自研了一個(gè)參數(shù)在1000億以?xún)?nèi)的“天燕”大模型，并形成了無(wú)數(shù)個(gè)精煉模型（中小模型），另外還反向用像GPT這樣的大模型通過(guò)蒸餾法來(lái)訓(xùn)練自己的大模型。

從商業(yè)化角度，針對(duì)不同場(chǎng)景有不同的小模型，每個(gè)場(chǎng)景可能有1到10款不同的產(chǎn)品和軟件，這樣也能保障有足夠大的用戶(hù)量來(lái)訓(xùn)練我的小模型。

雷峰網(wǎng)：中小模型和大模型有什么區(qū)別？

李濤：區(qū)別在于參數(shù)、算力和場(chǎng)景。大模型和中小模型有非常明顯的界限，中小模型之間則沒(méi)有很大的界限。大模型的使用面非常廣，它可以分裝成中模型和小模型，中模型是最復(fù)雜的，一般是獨(dú)立建的模型，像商湯和曠視。未來(lái)可能很少會(huì)存在單獨(dú)的小模型，一般在大模型的訓(xùn)練場(chǎng)景中加上參數(shù)，就會(huì)形成一個(gè)小模型。

雷峰網(wǎng)：您覺(jué)得大中小模型哪個(gè)會(huì)率先迎來(lái)爆發(fā)，或者商業(yè)機(jī)會(huì)更多？

李濤：毋庸置疑肯定是中小模型，下半年各種中小模型會(huì)迅速產(chǎn)出商業(yè)價(jià)值，但從長(zhǎng)遠(yuǎn)來(lái)看更具潛力的一定還是大模型。如果說(shuō)第一個(gè)時(shí)代的操作引擎是 windows 和Linux，第二個(gè)時(shí)代的操作引擎就是安卓和iOS，那么下一個(gè)時(shí)代的操作引擎就是人工智能，OpenAI其實(shí)就是想把GPT做成一個(gè)操作系統(tǒng)，大家都想爭(zhēng)這個(gè)操作系統(tǒng)的掌控權(quán)和話(huà)語(yǔ)權(quán)。

ChatGPT不是很熱

是還不夠熱

雷峰網(wǎng)：你怎么看待ChatGPT?

李濤：ChatGPT幫我們利用人類(lèi)的智慧生成了一個(gè)全新的結(jié)果，且這個(gè)結(jié)果在歷史上從來(lái)沒(méi)有出現(xiàn)過(guò)的，它把這個(gè)結(jié)果作為唯一性的選擇給到我們，這是過(guò)去機(jī)器無(wú)法完成的。

它相當(dāng)于一個(gè)7歲小孩的智慧，會(huì)模仿會(huì)創(chuàng)新，就像他看了無(wú)數(shù)幅畫(huà)后，他自己會(huì)畫(huà)一幅畫(huà)，進(jìn)行全新創(chuàng)作。

雷峰網(wǎng)：目前行業(yè)對(duì)ChatGPT的接受度如何？

李濤：業(yè)界對(duì)ChatGPT的認(rèn)知還比較落后，前段時(shí)間我的MBA 課程留了一份課堂作業(yè)，基于紀(jì)錄片《壽司之神》描述日本工匠精神，我用ChatGPT完成了這份PPT，第二天講的時(shí)候，很多人都還驚訝，不知道ChatGPT是什么。

雷峰網(wǎng)：APUS內(nèi)部對(duì)人工智能的使用到什么程度了？

李濤：我們內(nèi)部所有系統(tǒng)都已經(jīng)接入人工智能，圖片圖標(biāo)制作完全用AI替代，一半以上的程序員代碼都是用人工智能來(lái)review的。

雷峰網(wǎng)：怎么提升內(nèi)部員工對(duì)人工智能的使用度？

李濤：去年春節(jié)以后APUS制定了一個(gè)獎(jiǎng)勵(lì)機(jī)制，要求所有程序員、設(shè)計(jì)師以及生產(chǎn)一線(xiàn)的同事都必須用人工智能來(lái)提升自己的生產(chǎn)效率，提升30%效率的加薪10%，如果提升 50% 以上加薪20%-30%，激勵(lì)大家使用人工智能。

雷峰網(wǎng)：如果全行業(yè)都用上人工智能，那企業(yè)的核心競(jìng)爭(zhēng)力在哪里體現(xiàn)？

李濤：誰(shuí)優(yōu)先想到用人工智能，誰(shuí)把人工智能用得更徹底，誰(shuí)的生產(chǎn)效率最高，誰(shuí)在行業(yè)內(nèi)的潛力就越大。

更多內(nèi)容，點(diǎn)擊下方關(guān)注：

對(duì)話(huà) APUS 李濤：全面轉(zhuǎn)型做 AI，蒸餾法訓(xùn)練大模型，沉淀中小模型