自2017年Transformer架構誕生之后，到現在為止其仍然是人工智能領域研究和應用的基礎，鮮少有團隊能夠在最底層架構上進行一些變革和開發(fā)且做出較大的成效。一方面是由于Transformer確實好用；另一方面，在最底層上做突破并非易事。

然而，彩云科技是那個反共識者。2024年5月22日，彩云科技發(fā)布了全新通用模型結構DCFormer，其相關論文《Improving Transformers with Dynamically Composable Multi-Head Attention 》（https://arxiv.org/abs/2405.08553）將在第41屆國際機器學習大會ICML 2024正式發(fā)表。

在論文中，彩云科技實驗證明了在三千億級訓練數據和70億級模型參數量下，DCFormer效率是Transformer的兩倍。據一位評委透露，今年錄用論文的平均分為4.25-6.33，而彩云科技團隊的論文獲得平均7分的高分。

ICML是國際機器學習領域的頂級會議，能夠發(fā)表論文的中國初創(chuàng)企業(yè)屈指可數。彩云科技證實，其大模型結構DCFormer可以達到1.7~2倍算力的Transformer模型的效果，即算力智能轉化率提升了1.7~2倍。在眾多NLP下游任務和圖像識別任務上的測評也驗證了DCFormer的有效性（詳見論文表格）。

DCFormer對性能算力比的提升幅度超過自2017年Transformer誕生至今被證明最普適有效并被廣泛采用的兩項結構改進的提升幅度之和（同時應用這兩項改進的Transformer架構也叫Transformer++，如Llama）。而且隨著模型規(guī)模的增大，DCFormer的提升越來越大（左圖下的藍線和綠線），而Transformer++的提升越來越?。ㄗ髨D下的黑線）?？梢哉f，DCFormer讓Transformer的能力又躍上一個新臺階。

 

 

彩云科技CEO袁行遠說："如果底層模型沒有突破，人工智能的進步終將停滯不前。人人都說神經網絡是個黑盒，我們需要勇氣和耐心打開這個黑盒，通過分析模型運轉原理，我們才能知道智能的本質規(guī)律，從而可以改進模型，提高模型的運行效率。"雷峰網雷峰網雷峰網(公眾號：雷峰網)

通用大模型DCFormer將Transformer效率提升了兩倍，這意味著什么？袁行遠解釋說："如果 GPT-4o 能夠用上DCFormer，推理一次128k上文的成本，就可能從4元變成2元。而且DCFormer 模型越大，效果越好，考慮到ChatGPT的巨大參數量，DCFormer可能在千億、萬億模型上效果更好，因此價格甚至可能下降到1.5元、1元。Meta的100億美元顯卡訓練的模型，可能50億美元就能夠用。"解開智能的科學的奧秘，實現通用人工智能——這是彩云科技10年以來孜孜不倦追求的目標。基于此，彩云科技在Github上開源了DCFormer的模型代碼、權重和訓練數據集（https://github.com/Caiyun-AI/DCFormer），將該模型開源給全世界。

未來彩云科技會將全新大模型DCFormer應用于旗下三款殺手級app，并將進一步發(fā)展彩云小夢，加速提升AI續(xù)寫能力。袁行遠說，"AI交互是前所未有的交互形式，也因此讓我們有機會在AI的幫助下，建立每個人自己的'次元宇宙'，而DCFormer大模型將加快這一進程。我們希望能夠通過彩云小夢，幫助更多人實現現實生活中無法實現的夢想。"

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。