0
| 本文作者： 鄭佳美 | 2024-10-23 15:44 |
還記得今年夏天讓眾多科研工作者“瑟瑟發(fā)抖”的 AI scientist 嗎？
彼時的它，作為一個由谷歌Transformer 論文作者 Llion Jones 和前谷歌研究人員 David Ha 共同創(chuàng)立的全自動科學(xué)研究平臺，從提出研究設(shè)想、檢查創(chuàng)新程度，再到設(shè)計實驗、編寫程序、再GPU上執(zhí)行實驗并收集結(jié)果，到最后完成論文的撰寫，一氣呵成，讓不少科研工作者早早就有了“事業(yè)危機感”。 此外，該項目還獲得了New Enterprise Associates、Khosla Ventures、Lux Capital等多家全球知名投資機構(gòu)以及NVIDIA等產(chǎn)業(yè)投資人的投資，進一步推動了其技術(shù)突破和市場化落地。
而這陣科學(xué)家“失業(yè)風”剛刮走沒多久，又一位國產(chǎn)“AI科學(xué)家” Nova 便橫空出世。
Nova 能夠生成大量突破性的科學(xué)Idea，在創(chuàng)新性、價值性、可行性等方面可以媲美甚至超過人類科學(xué)家。
歷史證明，突破性的Idea具有開啟新技術(shù)紀元的潛力——比如Transformer的出現(xiàn)引領(lǐng)了波瀾壯闊的AGI時代，ImageNet極大地加速了深度學(xué)習(xí)的發(fā)展，而最近的諾貝爾獎授予了幾位AI領(lǐng)域的科學(xué)家，也標志著AI發(fā)展史上的一個重要轉(zhuǎn)折點。如今，Nova正站在這樣的歷史節(jié)點上，以2.5倍于AI scientist的Idea生成能力，迅速在科研領(lǐng)域掀起新一輪風暴。直觀地說，當AI scientist還在思考第2個Idea時，Nova已經(jīng)提出了5個高質(zhì)量的創(chuàng)新Idea，每一個都有可能成為開啟未來科技新紀元的鑰匙。
這個“妙 idea 連珠”的 Nova 大模型，是由西湖大學(xué)藍振忠團隊聯(lián)合浙江大學(xué)、電子科技大學(xué)等多所高校研發(fā)的。
而他們的出發(fā)點，就是解決現(xiàn)代科研工作中的一個難題：我要做什么？
他們希望大模型可以迅速閱讀最新的Paper，幫助科研工作者提取其中的關(guān)鍵信息，根據(jù)提取的信息，生成多個高質(zhì)量的 Idea。涉及到跨領(lǐng)域的知識，大模型也可以輕松完成。人類科學(xué)家只需要根據(jù)模型生成的內(nèi)容進行判斷，大大節(jié)省了科研的時間，從而提升科研的效率。
藍振忠說：“我身邊的科學(xué)家，包括我自己做科研這么多年了，有一個特別明顯的感受，就是我們雖然做著最前沿的最具探索性的事情，但實際組織工作的方式卻是非常傳統(tǒng)的，甚至像是手工作坊。”
“正因如此，Nova的誕生不僅僅是一個技術(shù)突破，更像是科研領(lǐng)域的一場革命，將極大地加速科研創(chuàng)新的過程。Nove模型的發(fā)布，只是團隊邁出的第一步，后續(xù)將持續(xù)發(fā)力：
1）從0到1：先讓模型在單個學(xué)科、領(lǐng)域?qū)崿F(xiàn)創(chuàng)新，快速驗證算法和模型效果，把基建和底子打好，讓模型成為一個可以給科學(xué)家使用的產(chǎn)品。
2）從1到10：進一步拓展模型的橫向能力，成為多學(xué)科的創(chuàng)新專家，不僅能生成創(chuàng)新的科學(xué)Idea，而且能自動執(zhí)行驗證，最終發(fā)表科研論文。
3）終極目標：讓模型能夠自驅(qū)地進行科學(xué)探索、商業(yè)創(chuàng)新，讓模型推進人類的科學(xué)突破與產(chǎn)業(yè)提升。
而 Nova 的實力也并不是紙上談兵，研究團隊為了評估Nova模型的綜合性能，分別從質(zhì)量、多樣性、新穎性三個方面對其進行了全面評估。
他們先是利用Claude-3 Sonnet作為裁判按照瑞士制錦標賽(Swiss System Tournament)對各個方法產(chǎn)生的idea的質(zhì)量進行評估。結(jié)果顯示，Nova方法生成的想法在質(zhì)量上顯著高于其他方法，有619和2521個想法得分為5和4，遠超過其他最新的方法。
多樣性方面，研究團隊通過計算idea之間的相似度來對生成的idea來進行去重。實驗中，隨著生成的想法數(shù)量的增加，Nova 模型可以通過迭代規(guī)劃和搜索不斷產(chǎn)生新的想法。在非重復(fù)百分比方面，Nova 的表現(xiàn)明顯優(yōu)于其他方法，超過80%的想法都是不重復(fù)的。
最終，團隊為了探索文章提出的方法對持續(xù)生成新的idea的影響，還進一步通過消融實驗證明了該方法能持續(xù)生成新穎的非重復(fù)的idea。
實驗中，當不采用文章提出的規(guī)劃搜索方法時，迭代三次中的獨特想法數(shù)量（44.1）與迭代兩次 (42.4) 相比不再增加。這表明，如果沒有規(guī)劃搜索，僅依靠基于種子想法的檢索會限制獲取有價值的外部知識以進行創(chuàng)新。當規(guī)劃和檢索都被刪除時，由于沒有引入外部知識，獨特新穎想法的數(shù)量在迭代兩次后略有增加（從25.3增加到 30.6），在迭代三次的時候相比迭代兩次則停滯不前（從30.6增加到31.35）。
除此之外，他們還找來了10位專家（包括對應(yīng)領(lǐng)域的博士，博后以及資深教授），對生成idea在Overall（整體），Novelty（新穎性），F(xiàn)easibility（可行性），Effectiveness（有效性）進行全面的評估。
最終研究人員發(fā)現(xiàn)在人工評估中，Nova 在整體質(zhì)量和新穎性方面均獲得了最高分。Nova貢獻了前4個想法的 37.5%，是四種方法中最高的。此外，Nova 在最差的 4個想法中所占比例非常低，在整體質(zhì)量方面僅占17.53%。在新穎性評估中也觀察到了類似的模式。
研究團隊透露，當他們將得到的結(jié)果拿給身邊的科學(xué)家看，一眾科學(xué)家都不敢相信這是AI創(chuàng)作的！
Nova模型之所以能讓科學(xué)家都“恍惚”，是因為它引入了一種增強的規(guī)劃和搜索方法，用于提升大語言模型的能力：
迭代規(guī)劃：Nova模型通過迭代的方式制定搜索計劃，旨在識別能夠增強當前想法新穎性和多樣性的文獻。這種規(guī)劃過程使得模型能夠不斷優(yōu)化生成的想法。
除了迭代規(guī)劃外，Nova還有其他的方法來輔助提升模型的創(chuàng)新性，包括：
外部知識檢索：Nova模型結(jié)合了外部知識檢索機制，通過獲取相關(guān)文獻來豐富生成的想法。這一過程利用了最新的研究成果，確保生成的想法與當前科學(xué)前沿保持一致。
檢索增強生成：使用了檢索增強生成的方法，結(jié)合了檢索到的信息與生成模型的內(nèi)部知識，以提高生成內(nèi)容的質(zhì)量和相關(guān)性。
自我反思機制：為了防止生成的想法出現(xiàn)幻覺，模型利用了自我檢查、自我批評和反思等機制，確保生成的想法邏輯合理且符合實際。
多源種子想法生成：Nova模型通過多種科學(xué)發(fā)現(xiàn)方法生成初始種子想法，確保生成的想法具有多樣性和創(chuàng)新性。
綜合以上方法，當Nova拿到一篇文章后，就能自動化的去想如何提出好的idea來提升當前文章里提到的方法。
比如，下面的idea是當團隊把微軟的Research Agent原始paper作為輸入得到的優(yōu)化方法，它能自動分析當前方法沒有接入實時的數(shù)據(jù)流的缺陷，并提出方案去解決這個問題，具有較強的創(chuàng)新性。
同時還能分析引入一個實時的反饋機制和自適應(yīng)的研究框架能進一步提升該方法的效果，這些都是一些實實在在可以研究和發(fā)表的idea，科學(xué)家想不“迷糊”都難：
西湖大學(xué)團隊領(lǐng)導(dǎo)人藍振忠，是Google輕量級大模型“ALBERT”（學(xué)術(shù)引用量約8000）的第一作者，《麻省理工科技評論》評選的2021年度亞太地區(qū)“35歲以下科技創(chuàng)新35人”，前Google人工智能科學(xué)家。
目前為西湖大學(xué)博士生導(dǎo)師，深度學(xué)習(xí)實驗室創(chuàng)辦人及負責人，西湖心辰創(chuàng)始人。
此外，他共同推出了對標GLUE的中文大模型評價基準ChineseGLUE（后簡稱為CLUE），廣受業(yè)界歡迎。他還帶領(lǐng)團隊研發(fā)了側(cè)重情感感知的西湖大模型和國內(nèi)首個輔助心理咨詢的AI咨詢師“小天”。
而西湖心辰推出的多模態(tài)通用大模型：西湖大模型，也具備長期記憶、情感感知和主動聊天等卓越的能力。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))據(jù)悉，他曾說：“讓AI自驅(qū)的進化，推進我們?nèi)祟惖目茖W(xué)突破與產(chǎn)業(yè)提升。”
AI可以代替人類科學(xué)家產(chǎn)生突破性的科學(xué)Idea嗎？最后，我們再拋出這個問題。至于這個問題的答案，或許就像追逐地平線一般，每當以為接近之時，它卻又在更遠的地方等待，留給我們的，是永恒的追求與思考。
“但追逐的腳步不會停止?！?/p>
論文地址：https://arxiv.org/abs/2410.14255
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
