大模型在四五月份迎來“百家爭鳴”，戰(zhàn)況愈加激烈，有新玩家仍在陸續(xù)進(jìn)場(chǎng)。

AI 科技評(píng)論獲悉：近日，一家多模態(tài)大模型初創(chuàng)公司“智子引擎”完成了千萬元天使輪融資。據(jù)了解，“智子引擎”的 CEO 是 90 后青年高一釗。高一釗是人大博士生，師從盧志武，盧志武在“智子引擎”公司中擔(dān)任顧問一職。此外，盧志武擔(dān)任軟通動(dòng)力首席 AI 科學(xué)家。

在 ChatGPT 火起來之前，北京智源人工智能研究院曾率先開拓中國大模型研究，名為“悟道”，當(dāng)時(shí)聚集了四支主要力量，分別由清華唐杰、清華劉知遠(yuǎn)、清華黃民烈與人大文繼榮領(lǐng)頭。

其中，人大文繼榮主要帶領(lǐng)人大高瓴人工智能學(xué)院的科學(xué)家們開拓多模態(tài)大模型方向，名為“文瀾”，盧志武便在團(tuán)隊(duì)中擔(dān)任模型主力軍，他的學(xué)生高一釗也參與進(jìn)來，完成了核心的研究工作?！拔虻馈敝?，唐杰、劉知遠(yuǎn)與黃民烈均基于大模型技術(shù)成立了公司，而人大的入局，為智源大模型“四大金剛”的創(chuàng)業(yè)陣容拉開了完滿的序幕。

據(jù) AI 科技評(píng)論了解，盧志武團(tuán)隊(duì)也是國內(nèi)最早研究多模態(tài)大模型、并取得杰出技術(shù)成果的團(tuán)隊(duì)。

盧志武和高一釗二人

盧志武和高一釗從事多模態(tài)大模型始于 2020 年。

2020 年 5 月，由 OpenAI 研發(fā)的 GPT-3 在人工智能領(lǐng)域掀起了一陣巨浪，引發(fā)了國內(nèi)從業(yè)者對(duì)預(yù)訓(xùn)練大模型的關(guān)注，其中就包括了盧志武等人。

盧志武早年就讀于北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院信息科學(xué)系，碩士畢業(yè)后，于 2011 年在香港城市大學(xué)計(jì)算機(jī)系取得博士學(xué)位，他主要的研究方向包括機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺等。

盧志武

當(dāng)時(shí)，國內(nèi)大部分人的注意力都聚焦在 NLP 領(lǐng)域，但有關(guān)從文字?jǐn)U展到圖像、視頻的多模態(tài)大模型鮮少有人關(guān)注。

期間，中國人民大學(xué)高瓴人工智能學(xué)組建了多模態(tài)大模型研發(fā)團(tuán)隊(duì)，專門從事圖文多模態(tài)預(yù)訓(xùn)練模型的研究和開發(fā)，由文繼榮牽頭，其他核心成員包括宋睿華、盧志武等人，這也是國內(nèi)最早從事多模態(tài)大模型研究的團(tuán)隊(duì)。

高一釗在同年進(jìn)入中國人民大學(xué)高瓴人工智能學(xué)院攻讀博士、師從盧志武。

高一釗

“智子引擎”將推出多模態(tài)大模型

事實(shí)上，早在 ChatGPT 橫空出世的三年前，北京智源人工智能研究院已率先開始中國大模型研究，名為“悟道”，其中由文繼榮主要帶領(lǐng)的人大高瓴人工智能學(xué)院科學(xué)家組成“悟道·文瀾”團(tuán)隊(duì)，從事多模態(tài)大模型方向研究，盧志武任模型研發(fā)主力軍。

2021 年 3 月，基于對(duì) 3000 萬圖文數(shù)據(jù)集的預(yù)訓(xùn)練，第一代“文瀾”——圖文檢索模型 BriVL 正式問世，這是一個(gè)超大規(guī)模的多模態(tài)預(yù)訓(xùn)練模型，采用了雙塔結(jié)構(gòu)可分別對(duì)圖像和文本進(jìn)行編碼，通過自監(jiān)督任務(wù)來學(xué)習(xí)圖像和文本之間的相似度。

以圖文檢索模型為基礎(chǔ)，研究團(tuán)隊(duì)還開發(fā)了 H5 小應(yīng)用“AI心情電臺(tái)”，只需要向 AI 精靈提供一張圖片，模型即可為該圖片匹配一段合適的音樂。

隨即三個(gè)月后，盧志武所在的文瀾團(tuán)隊(duì)又發(fā)布了“文瀾 2.0”（BriVL-2）?；谝曈X-語言弱相關(guān)的假設(shè)，研究團(tuán)隊(duì)提出圖文弱相關(guān)假設(shè)，設(shè)計(jì)了高效的跨模態(tài)對(duì)比學(xué)習(xí)策略，同時(shí)提出了基于DeepSpeed的分布式多模態(tài)訓(xùn)練框架，從而提高模型的表達(dá)能力和泛化能力。

基于 6.5 億弱相關(guān)的圖文數(shù)據(jù)集的預(yù)訓(xùn)練，文瀾 2.0 擁有的模型容量達(dá)到50億參數(shù)，是目前最大的中文通用圖文預(yù)訓(xùn)練模型，可覆蓋多個(gè)領(lǐng)域和場(chǎng)景，在多個(gè)圖文檢索和生成任務(wù)上都取得了優(yōu)異的性能，比如圖像檢索、圖像描述、視覺問答等。

期間，高一釗也深度參與了文瀾 1.0 和 2.0 的圖文預(yù)訓(xùn)練工作，主要負(fù)責(zé)數(shù)據(jù)處理、模型訓(xùn)練和評(píng)估等。

在 ChatGPT 的熱浪下，盧志武和高一釗看到了多模態(tài)研究在大模型時(shí)代的新機(jī)遇，成立多模態(tài)大模型公司“智子引擎”。借鑒以往參與文瀾模型研發(fā)的經(jīng)驗(yàn)，“智子引擎”團(tuán)隊(duì)于今年的 3 月 8 日正式推出了自主研發(fā)的多模態(tài)對(duì)話大模型，并發(fā)布了第一款應(yīng)用級(jí)多模態(tài) ChatGPT 產(chǎn)品“元乘象 ChatImg”。

“元乘象 ChatImg”的參數(shù)量在百億級(jí)別，主要使用了圖文對(duì)數(shù)據(jù)和 VQA 數(shù)據(jù)作為訓(xùn)練集，同時(shí)進(jìn)行圖文匹配、圖文檢索、圖像描述生成、文本描述生成等多種任務(wù)的訓(xùn)練。根據(jù)用戶輸入的圖片或文字，“元乘象 ChatImg”可以進(jìn)行智能聊天、講故事、寫廣告等。

自四五月份以來，陸續(xù)亮相的大模型引起一片喧囂沸騰，大廠刀光劍影，創(chuàng)業(yè)公司也不遑多讓。學(xué)術(shù)界下場(chǎng)入局大模型是個(gè)大趨勢(shì)，如何能在靠近工程化的較量中找到自己的競(jìng)爭力和位置，亟待從與時(shí)間的賽跑中找答案。

（雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。