融資快報

Formation Bio宣布完成3.72 億美元D輪融資：Formation Bio（原名為TrialSpark）由華人Benjamine Liu和Linhao Zhang共同創(chuàng)立，是一家專注于將人工智能應(yīng)用于藥物臨床試驗的創(chuàng)業(yè)公司。本輪融資由Andreessen Horowitz 領(lǐng)投，老股東賽諾菲、紅杉資本、Thrive、Emerson Collective、Lachy Groom，新投資SV Angel Growth和FPV Ventures等共同參投。

Hebbia獲得近1億美元B輪融資：Hebbia是一家使用生成式AI搜索大型文檔并返回答案的初創(chuàng)公司，本輪融資對該公司的估值在 7 億至 8 億美元之間，由 Andreessen Horowitz 領(lǐng)投。

吳恩達(dá)計劃為其AI基金繼續(xù)籌集1.2億美元：AI基金在公司生命周期的種子和A輪階段提供資金，幫助團隊在隱秘情況下工作，并連接Ng的專業(yè)網(wǎng)絡(luò)。AI Venture Fund II的規(guī)模將比第一輪小。

不?？萍极@得獲近億元A+輪融資：不停科技是一家2B美食機器人RaaS服務(wù)商，主攻AI數(shù)字廚房解決方案，打造的線上機器人Botin Bota，可以實時分析餐飲門店的運營數(shù)據(jù)，為其精細(xì)化運營提供指導(dǎo)意見。本次由華山資本領(lǐng)投，老股東高秉強教授生態(tài)圈基金未來科技參與投資，老股東李澤湘教授旗下清水灣基金、甘潔教授旗下知行一號基金連續(xù)三輪繼續(xù)超額加持。星辰資本擔(dān)任后續(xù)融資獨家財務(wù)顧問。本輪資金將用于產(chǎn)品研發(fā)及全球交付。

酶有科技獲數(shù)千萬元天使輪融資：酶有科技用AI技術(shù)降低酶法DNA合成成本。本輪融資由線性資本領(lǐng)投，奇績創(chuàng)壇和旦恩資本跟投。

碩橙科技獲數(shù)千萬元C1輪融資：碩橙科技專注通過全感知智能硬件、AI算法，提供設(shè)備預(yù)測性維護、智能運維等智能制造服務(wù)。 投資方為彬復(fù)資本。

瑞馳信息獲得戰(zhàn)略投資：瑞馳信息是一家專注于研發(fā)安卓云、AI邊緣計算、云基礎(chǔ)設(shè)施等產(chǎn)品及解決方案的高新技術(shù)企業(yè)，基于ARM技術(shù)與獨特的軟硬件架構(gòu)設(shè)計，為客戶提供以云計算和大數(shù)據(jù)為核心的產(chǎn)品及解決方案服務(wù)。

Constructor獲得B輪融資：Constructor是一家美國電商服務(wù)提供商，致力于為電子商務(wù)行業(yè)提供AI搜索軟件、產(chǎn)品發(fā)現(xiàn)平臺、推薦與建議。

Ora完成2000萬美元融資：Ora Lab是一家AI驅(qū)動的區(qū)塊鏈項目提供商，旨在通過其“鏈上AI預(yù)言機”將AI融入去中心化應(yīng)用程序。Polychain、HF0和Hashkey Capital等參投。 新資金將使該項目“繼續(xù)開發(fā)其技術(shù)和基礎(chǔ)設(shè)施，以標(biāo)記人工智能模型，并將分散的人工智能引入以太坊生態(tài)系統(tǒng)”。

MagicSchool AI 獲 1500 萬美元 A 輪融資：MagicSchool AI是一家AI教育技術(shù)平臺。本輪融資由Bain Capital Ventures領(lǐng)投，其他投資者包括Adobe Ventures和Common Sense Media、Replit創(chuàng)始人Amjad Masad、Clever聯(lián)合創(chuàng)始人Tyler Bosmeny和Rafael Garcia，以及OutSchool聯(lián)合創(chuàng)始人Amir Nathoo。

中科盈騰完成數(shù)百萬元天使輪融資：中科盈騰是一家AI技術(shù)研發(fā)商，主要從事AI基礎(chǔ)軟件開發(fā)、人工智能應(yīng)用軟件開發(fā)、計算機系統(tǒng)服務(wù)等業(yè)務(wù)。本次融資由北京積露領(lǐng)投，其他多家投資機構(gòu)跟投。此次融資資金將主要用于AI技術(shù)研發(fā)、場景應(yīng)用深化及市場拓展。

（歡迎添加微信AIyanxishe2，了解更多AIGC、融資情況，與志同道合的朋友一同暢聊時新AI產(chǎn)品）

國內(nèi)情報：

百度文心大模型 4.0 Turbo 發(fā)布，文心一言用戶規(guī)模達(dá) 3 億人：

百度 WAVE SUMMIT 深度學(xué)習(xí)開發(fā)者大會上，百度首席技術(shù)官王海峰宣布了文心大模型 4.0 Turbo 的發(fā)布。這個新版本顯著提升了應(yīng)答速度和檢索能力。同時文心一言的用戶規(guī)模已經(jīng)達(dá)到了3億人，單日最高調(diào)用次數(shù)達(dá)到了5億次，這得益于飛槳平臺的強大支撐。

百度推出智能代碼助手“文心快碼”，基于文心大模型，實現(xiàn)“幫你想、幫你寫、幫你改”的場景應(yīng)用，加速開發(fā)速度、提升業(yè)務(wù)迭代速度。百度內(nèi)部上萬工程師中有 80%的人已經(jīng)在使用文心快碼，代碼采用率達(dá)到了 44%。文心快碼支持 100 多種主流編程語言及多種 IDE，提供了四種版本，百度承諾不會存儲或分析用戶代碼，確保了數(shù)據(jù)安全，并根據(jù)隱私協(xié)議，確保用戶的代碼片段不會被用于其他用戶的建議代碼。

華為攜手廣東省氣象局推進AI氣象應(yīng)用，發(fā)布星河AI網(wǎng)絡(luò)解決方案引領(lǐng)Net5.5G智能云網(wǎng)：

華為與廣東省氣象局簽署深化合作框架協(xié)議，旨在通過共同推動高性能計算和人工智能等現(xiàn)代技術(shù)在氣象領(lǐng)域的應(yīng)用。

另外，華為發(fā)布了面向 Net5.5G 智能云網(wǎng)的星河 AI 網(wǎng)絡(luò)解決方案。該方案針對網(wǎng)絡(luò)運維的復(fù)雜性、業(yè)務(wù)體驗保障以及 AI 時代下的網(wǎng)絡(luò)安全防護等三大難題，引入 AI 技術(shù)賦能網(wǎng)絡(luò)，實現(xiàn) L4 自動駕駛網(wǎng)絡(luò)和高智慧泛在安全防護。

知乎發(fā)布全新AI產(chǎn)品“知乎直答”，支持提問、搜索等功能：

“知乎直答”是知乎 AI 搜索功能的產(chǎn)品化，已上線 PC 端。該產(chǎn)品立足于知乎創(chuàng)作者的問答數(shù)據(jù)，能提供“簡略”和“深入”兩種答案生成結(jié)果，并支持“找內(nèi)容”和“找人”，之后將推進 App 開發(fā)和多模態(tài)能力引入，探索對外合作。

硅基智能開源AI數(shù)字人交互平臺Duix，可快速創(chuàng)建部署逼真數(shù)字人：

該平臺旨在幫助開發(fā)者簡化智能數(shù)字人的創(chuàng)建和部署過程，提供了豐富的工具和支持，無需技術(shù)團隊的介入，即可在各種終端設(shè)備上部署數(shù)字人。用戶可以下載多種數(shù)字人模型，適用于不同行業(yè)需求，并且該項目已開源，便于開發(fā)者進行二次開發(fā)和個性化定制。功能包括語音輸入、語音輸出、實時交互和多終端支持等。此外，平臺還提供虛擬助理服務(wù)，可應(yīng)用于乘客服務(wù)、自動化客戶服務(wù)、智能咨詢服務(wù)、虛擬主持人等場景，提升用戶體驗和服務(wù)效率。

智源張宏江稱AI系統(tǒng)永遠(yuǎn)不應(yīng)該欺騙人類：

北京智源研究院的創(chuàng)始人和首任理事長張宏江談到國際合作在 AI 保障方面的重要性，以及中國 AI 技術(shù)面臨的機遇和挑戰(zhàn)時表示：“人工智能系統(tǒng)永遠(yuǎn)不應(yīng)該自我復(fù)制和改進。這條紅線非常重要。當(dāng)系統(tǒng)有能力自我復(fù)制、自我改進時，它就會失控。第二是欺騙。人工智能系統(tǒng)不應(yīng)該具有欺騙人類的能力?！?/p>

李開復(fù)稱如果AI取代了我的工作，我可以代言生發(fā)劑的廣告：

零一萬物CEO、創(chuàng)新工場董事長李開復(fù)表示，這么多年他的頭發(fā)沒有變少，如果AI取代了他的工作，他可以代言生發(fā)劑的廣告?！皢滩妓拐f人生不要做職業(yè)規(guī)劃，世界改變的太快了，只要在每一個重要決定的時候follow your heart。而這個人工智能的時代已經(jīng)是我渴望了四十多年的時代，當(dāng)我26歲拿到博士的時候沒想到62歲的時候會做這么大膽的事情，那是因為時代要到來了。我認(rèn)為AI是人類最終對自己的理解?！崩铋_復(fù)稱，AI智能有望明年趕超博士，奇點將于數(shù)年后爆發(fā)。

國際情報：

OpenAI CriticGPT代碼審查模型發(fā)布，模型年化收入超10億美元，與《時代》雜志達(dá)成戰(zhàn)略合作：

OpenAI 推出 CriticGPT 新模型，它基于 GPT-4 構(gòu)建，專門設(shè)計用來審查和識別大型語言模型（例如 ChatGPT）生成的代碼中的錯誤。CriticGPT 利用人類反饋強化學(xué)習(xí)技術(shù)，顯著提高了代碼審查的準(zhǔn)確性和效率。不僅能識別出 AI 輸出中的潛在問題，還能提供解釋，幫助開發(fā)者提升代碼的質(zhì)量和安全性。

在商業(yè)方面，根據(jù)OpenAI和微軟最新內(nèi)部數(shù)據(jù)，OpenAI 通過出售對其 AI 模型的訪問權(quán)限，截至3月已經(jīng)實現(xiàn)了約10億美元的年化收入。這一成績標(biāo)志著 OpenAI 在 AI 模型銷售方面超越了科技巨頭微軟，后者的 Azure OpenAI Service 直到最近才達(dá)到相同的年化收入水平。

此外，OpenAI 還與全球知名的《時代》雜志達(dá)成了多年內(nèi)容授權(quán)協(xié)議。OpenAI 將能夠訪問《時代》雜志過去100多年的檔案和文章，這些內(nèi)容將用于訓(xùn)練 OpenAI 的 AI 模型，如 ChatGPT。

Perplexity被指引用錯誤信息，涉嫌違規(guī)抓取網(wǎng)站數(shù)據(jù)引亞馬遜AWS調(diào)查：

初創(chuàng)公司GPTZero發(fā)現(xiàn)Perplexity鏈接的來源中有越來越多是AI生成的，甚至?xí)褂眠@些來源中的過時和不正確信息。Perplexity聲稱其答案僅來自“可靠來源”。另外亞馬遜 AWS 正在調(diào)查 Perplexity AI，因其被指控未經(jīng)許可使用 AWS 服務(wù)器托管的爬蟲程序抓取數(shù)據(jù)，并涉嫌違反 robots.txt 排除協(xié)議。

亞馬遜聘請Adept創(chuàng)始人，加碼布局AGI研發(fā)：

雙方達(dá)成技術(shù)授權(quán)協(xié)議，Adept 的聯(lián)合創(chuàng)始人及部分團隊成員將加入亞馬遜。Adept 專注于開發(fā)能夠執(zhí)行各種軟件任務(wù)的人工智能 “代理”，其技術(shù)將支持亞馬遜在生成式人工智能領(lǐng)域的擴展。Adept 并未關(guān)閉業(yè)務(wù)。工程部門負(fù)責(zé)人 Zach Brock 將接任CEO，公司將重新聚焦于“啟用代理人智能的解決方案”。聯(lián)合創(chuàng)始人兼首席執(zhí)行官David Luan 將在前 Alexa 負(fù)責(zé)人、現(xiàn)領(lǐng)導(dǎo)新 AGI 團隊的 Rohit Prasad 的領(lǐng)導(dǎo)下工作。據(jù)悉，Adept 已籌集超過 4.15 億美元資金，估值約 10 億美元。

Rain AI 招募蘋果芯片專家，加速AI芯片研發(fā)：

美國芯片初創(chuàng)公司Rain AI挖來曾在蘋果效力17年的芯片高管Jean Didier Allegrucci。他將擔(dān)任公司的硬件工程主管，領(lǐng)導(dǎo)下一代突破性節(jié)能芯片的開發(fā)。三周前，Rain AI剛招聘了Meta ASIC架構(gòu)團隊的首席架構(gòu)師Amin Firoozshahian。

菲爾茲獎得主親測 GPT-4o，經(jīng)典過河難題破解失敗：

菲爾茲獎得主 Timothy Gowers 揭示了大型語言模型在處理經(jīng)典的「狼 - 山羊 - 卷心菜」過河難題時的失誤。Gowers 提出了「廢話比率」作為新的基準(zhǔn)，指出 GPT-4o 在最簡單的題目上的錯誤，Claude 3.5 也無法幸免。該現(xiàn)象引發(fā)了對大型語言模型是否真的能夠推理和規(guī)劃的質(zhì)疑。Gowers 還指出，目前評估大型語言模型的方法存在缺陷，提出了交互式評估平臺 CheckMate 和評分?jǐn)?shù)據(jù)集 MathConverse。盡管大型語言模型在各種基準(zhǔn)測試上表現(xiàn)出色，但在實際的數(shù)學(xué)和推理問題上卻出現(xiàn)了失誤。

谷歌DeepMind開源AI模型 Gemma 2，單 A100 / H100 GPU 可運行：

Gemma 2有90億（9B）和270億（27B）兩種參數(shù)規(guī)模可用。27B模型訓(xùn)練了13T tokens，性能與兩倍規(guī)模的主流模型相當(dāng)；9B是8T tokens，超越了 Llama 3 8B 等，都擁有8192上下文窗口，可在Google AI Studio中使用。Gemma 2 的架構(gòu)設(shè)計能夠在各種硬件上快速運行，包括谷歌云 TPU 主機、英偉達(dá) A100 或 H100 GPU。

26億參數(shù)（2.6B）模型將很快發(fā)布，小到可以在手機本地運行。

開發(fā)者狂喜！Meta最新發(fā)布的LLM Compiler，實現(xiàn)77%自動調(diào)優(yōu)效率：

這是一個基于大語言模型的編譯器優(yōu)化工具。該工具通過在包含 5460 億個標(biāo)記的 LLVM-IR 和匯編代碼的語料庫上訓(xùn)練，增強了對編譯器中間表示、匯編語言和優(yōu)化技術(shù)的理解。在測試中，LLM Compiler 的優(yōu)化潛力達(dá)到了自動調(diào)優(yōu)搜索的 77%，顯著減少了編譯時間并提高了代碼效率。在反匯編方面，LLM Compiler 能夠?qū)?x86_64 和 ARM 匯編代碼轉(zhuǎn)換回 LLVM-IR，往返反匯編的成功率為 45%。

Resemble AI 發(fā)布下一代深度偽造檢測模型 Detect-2B，準(zhǔn)確率高達(dá)94%：

該模型采用了一系列預(yù)訓(xùn)練的子模型和微調(diào)技術(shù)，能夠?qū)σ纛l片段進行深入檢查，以確定其是否為 AI 生成。Detect-2B 能夠以至少 93% 的準(zhǔn)確率正確檢測六種不同語言的深度偽造音頻，并且能夠預(yù)測音頻的 AI 生成概率，無需在每次收聽新片段時重新訓(xùn)練模型。Detect-2B 的子模型由一個凍結(jié)的音頻表示模型和插入關(guān)鍵層的自適應(yīng)模塊組成，這些模塊能夠識別錄音中留下的意外聲音，以此區(qū)分真實音頻和 AI 生成的音頻。

OpenAI CEO 奧特曼預(yù)測AGI或在十年內(nèi)實現(xiàn)全球 GDP 翻倍：

Sam Altman強調(diào)， AI 的發(fā)展并非一蹴而就，而是一個漸進的過程。盡管 ChatGPT 的推出引起了廣泛關(guān)注，但大多數(shù)應(yīng)用程序還未發(fā)生根本性變化。未來幾年，隨著更多應(yīng)用程序在 AI 模型基礎(chǔ)上構(gòu)建，變化將更加顯著。Altman 預(yù)測， AGI 可能會使全球 GDP 翻倍，這將成為巨大的生產(chǎn)力驅(qū)動因素。他相信，隨著人們逐漸采用這些工具， AI 將帶來前所未有的經(jīng)濟和社會效益。

微軟AI高管稱開放網(wǎng)絡(luò)上的內(nèi)容可自由復(fù)制，但也有灰色地帶：

當(dāng)被問及“人工智能公司是否實際上竊取了全球知識產(chǎn)權(quán)”時，微軟AI首席執(zhí)行官穆斯塔法·蘇萊曼回答：“我認(rèn)為，對于開放網(wǎng)絡(luò)上已有的內(nèi)容，自90年代以來，這些內(nèi)容的社會契約一直是合理使用。任何人都可以復(fù)制、重新創(chuàng)作……這就是‘免費軟件’，這就是我的理解?！薄斑€有一種單獨的情況是，當(dāng)一個網(wǎng)站、出版商或新聞機構(gòu)明確表示，除了為讓其他人找到這些內(nèi)容而對其進行索引外，不得出于任何其他原因抓取或爬取其內(nèi)容。這是一個灰色地帶，我認(rèn)為它會在法院中逐漸得到解決?！?/p>

力挺開源！扎克伯格抨擊閉源競爭對手正試圖“創(chuàng)造上帝”：

扎克伯格深信人工智能最終不會“只有一個”，他強調(diào)了開源的價值——即把人工智能工具交到更多人手中。他表示：“我不認(rèn)為AI技術(shù)是一種應(yīng)該被私藏起來的東西——那樣就只有一家公司可以用它來打造他們想要的某個中心化、單一化的產(chǎn)品?！痹瞬穹Q，在AI發(fā)展過程中有必要創(chuàng)造出許多不同的人工智能，以反映人們的不同興趣。在談到那些建立閉源AI平臺的公司時，他不認(rèn)為這是為人們創(chuàng)造最佳體驗的方式。

比爾?蓋茨喊話環(huán)保人士，不要“過分擔(dān)心”AI 用電問題：

針對當(dāng)前 AI 系統(tǒng)導(dǎo)致能源消耗加快的問題，比爾?蓋茨發(fā)起“辯護”，他認(rèn)為 AI 技術(shù)最終將會“抵消”其耗電量，不要“過分擔(dān)心”運行新一代 AI 系統(tǒng)所需的巨大電力，因為微軟等大型科技公司競相投資數(shù)百億美元建設(shè)大型新數(shù)據(jù)中心。

更多國際情報：

全美 TOP 5 機器學(xué)習(xí)博士發(fā)帖稱實驗室沒有 H100 GPU ：學(xué)術(shù)界 GPU 資源不平等，許多研究者需要爭搶計算資源。普林斯頓和哈佛等高校擁有大量的 H100 GPU，而其他機構(gòu)則可能一盞燈也沒有。同一個實驗室的博士，甚至?xí)r常會出現(xiàn)需要爭搶GPU的情況。

首個類 Sora 開源復(fù)現(xiàn)方案，可在英偉達(dá) RTX 3090 顯卡上 AI 生成視頻：Open-Sora 可以在英偉達(dá) RTX 3090 GPU 上基于文本生成視頻，最高可以生成 240P 分辨率、時長最長 4 秒的視頻。生成 2 秒視頻大約需要 30 秒，4 秒視頻大約需要 60 秒。對于 424x240 的輸出來說，4 秒鐘的視頻輸出逼近 1 千萬像素。

微軟對OpenAI 價值 130 億美元的投資協(xié)議面臨歐盟審查：監(jiān)管機構(gòu)將更多地詢問微軟的競爭對手和客戶，了解微軟與OpenAI簽訂的排他性條款，以及這些條款是否可能對競爭產(chǎn)生負(fù)面影響。

AI 幫助大學(xué)生獲取更高分，且難以被發(fā)現(xiàn)：Scarfe 教授團隊使用 GPT-4 生成考試答案，并代表 33 名假學(xué)生提交。在不知情的情況下進行評分，AI 生成的本科心理學(xué)課業(yè)答案在 94% 的情況下未被發(fā)現(xiàn)，而且平均得分比學(xué)生真實得分高。

配備 GPT-4o 和攝像頭的智能眼鏡來了：Solos 將推出一款名為 AirGo Vision 的智能眼鏡，該眼鏡配備了 OpenAI 的 GPT-4o AI 模型和攝像頭，能夠識別物體并回答用戶關(guān)于所看物品的問題，同時兼容 Google Gemini 和 Anthropic 的 Claude AI 模型，并且有 LED 通知燈，目前尚未公布具體價格和發(fā)布日期。

奧迪攜手ChatGPT，為200萬輛汽車注入智能語音助手：這項服務(wù)預(yù)計將于7月推出。車主將能夠通過自然語言與汽車進行互動，實現(xiàn)對信息娛樂、導(dǎo)航和空調(diào)系統(tǒng)的語音控制。ChatGPT甚至能夠回答一般知識性問題。

Product Hunt 熱榜，AI 智能化 API 客戶端ApyHub Fusion

ApyHub Fusion是一款融合AI技術(shù)的創(chuàng)新型API客戶端，旨在徹底改變API開發(fā)流程。平臺借鑒了Notion的直觀界面設(shè)計，將API的構(gòu)建、測試和文檔化過程整合到一個智能化的工作空間中。

Fusion的核心優(yōu)勢在于其AI驅(qū)動的智能化功能，能夠預(yù)測用戶需求并優(yōu)化工作流程。它支持實時團隊協(xié)作，簡化了API開發(fā)的復(fù)雜性。該平臺的模塊化測試系統(tǒng)和無縫的文檔集成功能，大大提高了開發(fā)效率。Fusion兼容主流API客戶端的數(shù)據(jù)導(dǎo)入，支持多平臺使用，包括MacOS、Windows和Web。

?https://apyhub.com/product/fusion?ref=producthunt

GitHub Trending 熱榜，AI短視頻生成MoneyPrinterTurbo

MoneyPrinterTurbo是一個基于AI大模型的開源項目，旨在自動化短視頻生成過程。該工具支持通過輸入主題或關(guān)鍵詞一鍵生成高清短視頻，包括視頻文案、素材、字幕和背景音樂。

項目提供Web界面和API接口，支持多種語音合成服務(wù)和字幕生成模式。它基于MoneyPrinter項目重構(gòu)，增加了新功能如視頻轉(zhuǎn)場效果和長度選項?？赏ㄟ^Docker或手動方式部署，也可使用一鍵啟動包快速體驗。

?https://github.com/harry0703/MoneyPrinterTurbo

開發(fā)者推薦，Glif作者創(chuàng)建meme梗圖生成器風(fēng)靡推特：

Glif創(chuàng)始人fabian用幾分鐘搭建了一個meme梗圖生成器，能快速生成幽默、尖銳的梗圖，成為新一代"嘴替"。AI改造后的梗圖展現(xiàn)全新創(chuàng)意表達(dá)形式，用戶通過Glif快速創(chuàng)建個性化梗圖。

?https://glif.app/@Hanwei/glifs/clxv3atsq00009wq1iwsmw1ks/source

前沿技術(shù)

1.Visual Sketchpad ：AI 視覺推理能力

華盛頓大學(xué)、Allen AI 研究所和賓夕法尼亞大學(xué)聯(lián)合推出 Visual Sketchpad，這是一個為多模態(tài)語言模型賦予視覺推理能力的創(chuàng)新框架。該項目的核心是將多模態(tài)語言模型與視覺繪圖能力結(jié)合，使其能夠生成輔助草圖，從而在解決幾何問題、計算機視覺任務(wù)等視覺推理任務(wù)時進行更有效的思考和解決問題。與之前的文本鏈?zhǔn)酵评砗凸ぞ呤褂梅妒讲煌琕isual Sketchpad 允許模型繪制線條、框、標(biāo)記等，更接近人類的草圖方式，有助于推理過程。

?https://visualsketchpad.github.io/

2.DigiRL 設(shè)備控制 AI 代理訓(xùn)練方法

加州大學(xué)伯克利分校等機構(gòu)研究人員推出 DigiRL，這是一種創(chuàng)新的自主強化學(xué)習(xí)方法，旨在訓(xùn)練真實環(huán)境中的設(shè)備控制 AI 代理。該技術(shù)通過兩階段微調(diào)預(yù)訓(xùn)練的視覺語言模型，顯著提升了 AI 在復(fù)雜圖形用戶界面控制任務(wù)中的表現(xiàn)。核心亮點包括：

? 采用離線強化學(xué)習(xí)初始化模型，隨后進行離線到在線的強化學(xué)習(xí)

? 構(gòu)建可擴展、并行化的 Android 學(xué)習(xí)環(huán)境，配備 VLM 評估器

? 在 Android-in-the-Wild (AitW) 數(shù)據(jù)集上，1.5B 參數(shù)的 VLM 經(jīng) DigiRL 訓(xùn)練后，成功率從 17.7% 提升至 67.2%

? 大幅超越現(xiàn)有最佳方法，包括使用 GPT-4V 的 AppAgent (8.3%) 和 17B 參數(shù)的 CogAgent (14.4%)

?https://digirl-agent.github.io/

3.SciPhi-AI推出了開源RAG引擎R2R

R2R是一個旨在連接本地LLM實驗和可擴展的、生產(chǎn)就緒的檢索增強生成的工具。它為開發(fā)者提供了一個全面且最新的RAG系統(tǒng)，圍繞著RESTful API構(gòu)建，方便易用。R2R支持多模態(tài)輸入，包括文本、文件、圖像、音頻等，同時還提供了混合搜索、圖形RAG、應(yīng)用程序管理、客戶端-服務(wù)器交互、可配置性、可擴展性等功能。

?https://github.com/SciPhi-AI/R2R?utm_source=uwl.me

4. Director3D：文本到3D生成技術(shù)

廈門大學(xué)，上海人工智能實驗室推出Director3D，這是一個強大的開放式文本到3D生成框架，旨在生成真實世界的3D場景和相應(yīng)的攝像機軌跡。通過使用Trajectory Diffusion Transformer建模文本描述的攝像機軌跡分布，以及使用Gaussian-driven Multi-view Latent Diffusion Model建模給定攝像機軌跡和文本的圖像序列分布，Director3D能夠產(chǎn)生與文本描述一致的高質(zhì)量3D場景。此外，Director3D通過引入SDS++損失，進一步優(yōu)化和細(xì)化3D場景的生成。

?https://imlixinyang.github.io/director3d-page/?utm_source=uwl.me

5.StreamingT2V: AI長視頻生成技術(shù)新突破

俄勒岡州佐治亞理工學(xué)院和UIUC推出StreamingT2V，開源項目最新版本支持高分辨率長圖像到視頻的生成，為用戶提供24fps和12fps兩種幀率選擇。這項技術(shù)利用條件注意力模塊和外觀保持模塊，實現(xiàn)了視頻片段間的一致性和長期場景特征保持，能夠生成長達(dá)2分鐘的高質(zhì)量視頻。

該項目采用隨機混合方法，使視頻增強器可在自回歸過程中持續(xù)應(yīng)用，從而產(chǎn)生無限長度的視頻。實驗表明，StreamingT2V在生成高運動量視頻方面表現(xiàn)優(yōu)異，解決了現(xiàn)有方法容易導(dǎo)致視頻停滯的問題。這一技術(shù)的泛化能力強，不受特定文本到視頻模型限制。

?https://streamingt2v.github.io/

大牛洞見

Andrej Karpathy演講：從學(xué)術(shù)圈到社會重塑

UC Berkeley黑客松活動上，Andrej Karpathy指出，AI領(lǐng)域正經(jīng)歷前所未有的變革，從小規(guī)模學(xué)術(shù)討論發(fā)展到影響整個社會經(jīng)濟格局。Karpathy強調(diào)，大型語言模型正成為新的計算核心，類似于傳統(tǒng)CPU的角色。他預(yù)測AI技術(shù)將從數(shù)字領(lǐng)域擴展到物理世界，深刻影響基礎(chǔ)設(shè)施。未來可能出現(xiàn)多個AI實體協(xié)作完成任務(wù)，自動化大量工作。Karpathy還借鑒科幻電影《Her》和《I, Robot》，探討了AI的潛在發(fā)展方向及其帶來的倫理和社會挑戰(zhàn)。

? https://www.youtube.com/watch?v=Tmrq914yLck

敬請期待明日的最新動態(tài)！

AI情報局征集情報合伙人，匯集獨家價值線索！如果您可以提供有關(guān)AI最新成果&行業(yè)內(nèi)幕&獨特產(chǎn)品，請?zhí)砑舆\營微信號：AIyanxishe2備注行業(yè)崗位。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。