“行業(yè)內(nèi)平均算力使用率不足30%，大量算力閑置浪費(fèi)?！?/strong>

“消納難”已經(jīng)成為整個(gè)算力行業(yè)的通病，除了為頭部互聯(lián)網(wǎng)公司定制化供應(yīng)算力的大型AIDC廠商，絕大多數(shù)智算中心都在面對(duì)同樣的困境。

造成大規(guī)模算力閑置，除了供大于求之外，裸金屬租賃的商業(yè)模式本身也存在無(wú)法規(guī)避的弊端。九章云極COO尚明棟認(rèn)為，裸金屬租賃意味著鎖定兩樣?xùn)|西：時(shí)間與資源邊界。為了覆蓋前期建設(shè)和硬件采購(gòu)成本，算力租賃企業(yè)往往傾向于“整租長(zhǎng)租”，這就使得資源消納完全由單個(gè)主體決定，無(wú)法開放給其他企業(yè)使用。

從經(jīng)濟(jì)角度來(lái)看，這種模式只適合少數(shù)擁有大規(guī)模模型訓(xùn)練需求的廠商，而這類廠商數(shù)量有限，市場(chǎng)需求容易飽和。一位行業(yè)人士曾直言：“大廠都有自己的圈子，外部企業(yè)很難進(jìn)入供應(yīng)鏈，拿不到訂單?！痹诩夹g(shù)能力和客情關(guān)系都不足的情況下，盲目建設(shè)的算力集群往往無(wú)人問津。即便推理算力需求迎來(lái)爆發(fā)，這些廠商也難以應(yīng)對(duì)零散而彈性的算力需求。

“算力作為基礎(chǔ)設(shè)施本質(zhì)上是一種運(yùn)營(yíng)型的生意，而不是一次交付就結(jié)束的產(chǎn)品。算力項(xiàng)目的核心價(jià)值在于持續(xù)被使用和消納?！鄙忻鳁澱f(shuō)道。如何做好算力運(yùn)營(yíng)？更多方式與手段，歡迎添加微信 YONGGANLL6662 互通有無(wú)。

這并非空談。

尚明棟曾在微軟擔(dān)任服務(wù)器高可用集群和文件系統(tǒng)的核心開發(fā)工程師，參與Windows 7、Windows 8研發(fā)，同時(shí)也是SMB 3.0（網(wǎng)絡(luò)文件共享協(xié)議）的主要擬草人之一。

在微軟，他親眼見證了操作系統(tǒng)如何統(tǒng)籌硬件資源、管理軟件生態(tài)，并通過標(biāo)準(zhǔn)化接口讓開發(fā)者能夠高效利用底層能力。這段經(jīng)歷讓他意識(shí)到，算力運(yùn)營(yíng)同樣需要這種思路：它不是單純交付算力的項(xiàng)目，而是要像操作系統(tǒng)一樣，統(tǒng)籌硬件、定義軟件、孵化生態(tài)，才能真正優(yōu)化成本和效率。

2013年，方磊和尚明棟聯(lián)合創(chuàng)立九章云極DataCanvas。尚明棟現(xiàn)擔(dān)任COO，負(fù)責(zé)人工智能基礎(chǔ)設(shè)施的軟件架構(gòu)、團(tuán)隊(duì)管理以及智算產(chǎn)品創(chuàng)新，打造了Alaya NeW智算中心操作系統(tǒng)，并定義了“一度算力”（一種標(biāo)準(zhǔn)化的算力量度單位）的標(biāo)準(zhǔn)。

這套系統(tǒng)不僅體現(xiàn)了他對(duì)算力運(yùn)營(yíng)的理解，也成為了公司在市場(chǎng)中探索新商業(yè)模式、應(yīng)對(duì)行業(yè)挑戰(zhàn)的重要工具。

算力行業(yè)的狂熱期已過，留下的，是市場(chǎng)的收束與沉淀。曾經(jīng)風(fēng)頭無(wú)兩的大規(guī)模算力建設(shè)和裸金屬租賃，會(huì)否成為歷史？當(dāng)推理算力需求迎來(lái)爆發(fā)，智算云平臺(tái)能否在混沌中開辟新的發(fā)展路徑？在大廠環(huán)伺的云計(jì)算市場(chǎng)中，創(chuàng)業(yè)公司又能否找到突圍之道？

以下是雷峰網(wǎng)和尚明棟的對(duì)話，為便于理解，訪談內(nèi)容經(jīng)編輯：

智算中心操作系統(tǒng)：統(tǒng)籌硬件、孵化生態(tài)，實(shí)現(xiàn)算力成本的極致優(yōu)化

雷峰網(wǎng)：在算力行業(yè)的發(fā)展過程中，出現(xiàn)了包銷承諾、項(xiàng)目套利、股價(jià)炒作以及補(bǔ)貼套取等現(xiàn)象，您如何看待這些問題？

尚明棟：算力行業(yè)作為新興產(chǎn)業(yè)，在探索與發(fā)展過程中不可避免地會(huì)經(jīng)歷試錯(cuò)。但不同背景的團(tuán)隊(duì)在試錯(cuò)方向上存在差異：傳統(tǒng)IDC團(tuán)隊(duì)與AI Infra團(tuán)隊(duì)的著力點(diǎn)并不相同。當(dāng)前出現(xiàn)的虛假承諾、項(xiàng)目套利等問題，本質(zhì)上源于產(chǎn)業(yè)在政策、監(jiān)管和商業(yè)模式上的不成熟，許多企業(yè)也因此更傾向于追逐短期利益，而非推動(dòng)行業(yè)的長(zhǎng)期健康發(fā)展。

對(duì)于傳統(tǒng)IDC廠商而言，其主要訴求是盡快找到新的盈利模式，但往往延續(xù)了“堆硬件”的思路。在智算時(shí)代，這種方式帶來(lái)巨大的資金壓力。

對(duì)于AI Infra廠商而言，國(guó)內(nèi)算力需求主要集中在大模型的訓(xùn)練、推理、微調(diào)和開發(fā)，因此算力的價(jià)值并不僅僅體現(xiàn)在計(jì)算能力，而是“算力+存力（存儲(chǔ)）+運(yùn)力（網(wǎng)絡(luò)）”的綜合體現(xiàn)。如果不能意識(shí)到這一點(diǎn)，就會(huì)導(dǎo)致智算云或智算中心在組網(wǎng)方案與算力消納上的不合理，進(jìn)而在運(yùn)營(yíng)過程中產(chǎn)生瓶頸和問題。

雷峰網(wǎng)：不少智算云都提出“算力普惠”的目標(biāo)，實(shí)現(xiàn)算力普惠的關(guān)鍵是什么？

尚明棟：實(shí)現(xiàn)算力普惠主要有兩個(gè)方面，一是算力的使用成本低，二是調(diào)用算力的技術(shù)門檻低。

算力是繼交通、能源和通信之后的第四大基礎(chǔ)設(shè)施，這些基建在不同的歷史階段都支撐了某個(gè)行業(yè)甚至全球產(chǎn)業(yè)的發(fā)展，大規(guī)模的使用意味著算力必須降低成本。另一方面，不依賴于專業(yè)的技術(shù)人員，普通人也可以調(diào)用算力，像使用電力一樣，其實(shí)你只需要一個(gè)非常標(biāo)準(zhǔn)化的插頭，就可以使用。

此外，算力作為基礎(chǔ)設(shè)施本質(zhì)上是一種運(yùn)營(yíng)型的服務(wù)，并不是拿下一個(gè)項(xiàng)目然后交付完就結(jié)束了，算力項(xiàng)目所提供的算力服務(wù)應(yīng)該被持續(xù)的使用和消納。

雷峰網(wǎng)：您說(shuō)算力本質(zhì)是運(yùn)營(yíng)型的生意，這個(gè)運(yùn)營(yíng)模式是由什么來(lái)支撐和實(shí)現(xiàn)的？

尚明棟：是由智算中心操作系統(tǒng)支撐實(shí)現(xiàn)的。提到操作系統(tǒng)，最先想到的是Windows和Linux，智算中心也需要一套操作系統(tǒng)，所以我們推出了智算中心操作系統(tǒng)“Alaya NeW”。

操作系統(tǒng)有兩個(gè)最核心的能力：一是向下管理硬件資源的協(xié)同，包括GPU、網(wǎng)絡(luò)、大容量存儲(chǔ)、閃存以及緩存調(diào)度，這樣才能真正實(shí)現(xiàn)“算力+運(yùn)力+存力”綜合體現(xiàn)的算力服務(wù)方案。 在Windows系統(tǒng)里，屏幕、鍵盤、內(nèi)存及所有的外設(shè)都是硬件，對(duì)其進(jìn)行管理協(xié)同調(diào)度，是操作系統(tǒng)最基本的能力。

另一方面，向上提供大模型工具鏈，包括訓(xùn)練框架、開發(fā)套件、推理平臺(tái)及強(qiáng)化學(xué)習(xí)平臺(tái)等，這些工具鏈用于降低開發(fā)者的門檻，并且以此提高用戶的粘性，支撐人工智能應(yīng)用生態(tài)的落地。 社區(qū)愿意在這個(gè)平臺(tái)上去開發(fā)出針對(duì)行業(yè)的應(yīng)用，這對(duì)操作系統(tǒng)而言才是價(jià)值最大化的。

對(duì)硬件的納管以及彈性算力的調(diào)度，最終會(huì)體現(xiàn)為算力成本的極致優(yōu)化，向上對(duì)生態(tài)的支持則最終體現(xiàn)為降低開發(fā)的門檻和壁壘，以此形成穩(wěn)定的上下游合作伙伴的關(guān)系。

從“以租代建”到“即用即付”，算力會(huì)迎來(lái)零售時(shí)代嗎？

雷峰網(wǎng)：為什么行業(yè)會(huì)出現(xiàn)兩種看似矛盾的聲音，一種認(rèn)為算力大規(guī)模的閑置，另一種則覺得可負(fù)擔(dān)的算力供給不足？

尚明棟：認(rèn)為算力過剩的，多是指望“堆硬件”然后能立刻租給大模型廠商的運(yùn)營(yíng)方，但現(xiàn)實(shí)是，具備強(qiáng)大消納能力的大模型廠商數(shù)量極少，這部分市場(chǎng)很容易飽和。而這些單純“堆硬件”的運(yùn)營(yíng)方，又沒有能力去承接市場(chǎng)上分散、碎片化的需求，于是乎就出現(xiàn)了兩種看似矛盾的聲音。

大量行業(yè)對(duì)算力的需求是靈活彈性的，需要九章云極這樣可以將算力進(jìn)行靈活調(diào)度的智算云服務(wù)商。

雷峰網(wǎng)：您提到對(duì)算力成本的極致優(yōu)化，那比如一臺(tái)8卡H100服務(wù)器目前的月租價(jià)格是5.5萬(wàn)元，九章云極的智算云按照Token用量或者算力使用時(shí)長(zhǎng)去計(jì)費(fèi)，對(duì)客戶而言會(huì)有明顯的價(jià)格優(yōu)勢(shì)嗎？

尚明棟：九章云極的算力按算量計(jì)費(fèi)，單純按價(jià)格看，零售的價(jià)格很難低于批發(fā)的價(jià)格。但考慮到行業(yè)內(nèi)平均的算力使用率不足30%，大量算力存在閑置浪費(fèi)，通過再利用這部分資源，九章云極整體帶來(lái)的效益就優(yōu)于市面平均水平。

按Token計(jì)費(fèi)也類似，但前提是按Token計(jì)費(fèi)必須運(yùn)行大模型，很多用戶會(huì)使用不同的大模型或垂類模型，導(dǎo)致按照Token計(jì)算很難標(biāo)準(zhǔn)化，除非用戶只使用單一模型，所以DeepSeek或豆包這樣的平臺(tái)才可以做到，因?yàn)樗鼈兲峁┙y(tǒng)一的大模型服務(wù)。此外，實(shí)際使用中，用戶可能將算力用于生成圖像、模擬或數(shù)字人等不同場(chǎng)景，使用的方式也存在差異，因此需要以更底層的浮點(diǎn)運(yùn)算量來(lái)衡量。

雷峰網(wǎng)：九章云極如何設(shè)計(jì)浮點(diǎn)運(yùn)算量的計(jì)費(fèi)模式？

尚明棟：九章云極定義了“一度算力”作為對(duì)外銷售算力的最小計(jì)量單位，它衡量的是特定時(shí)間內(nèi)完成的浮點(diǎn)計(jì)算量。這種按用戶實(shí)際消耗的計(jì)算量計(jì)費(fèi)的方式，核心價(jià)值在于確?？蛻糁粸檎嬲褂玫乃懔Ω顿M(fèi)，有效避免了傳統(tǒng)裸金屬模式中因資源閑置造成的浪費(fèi)。

裸金屬模式意味著會(huì)鎖定兩樣?xùn)|西：一個(gè)是鎖定時(shí)間，另一個(gè)是鎖定資源的邊界。

客戶選擇按時(shí)間去付費(fèi)租用裸金屬服務(wù)器，運(yùn)營(yíng)商其實(shí)并不關(guān)心客戶把機(jī)器用到冒煙還是放在機(jī)房里面落灰，因?yàn)榭蛻粢呀?jīng)支付了費(fèi)用。對(duì)于客戶而言，成本已經(jīng)支出，那么使用率越高越劃算。但是，實(shí)際上行業(yè)內(nèi)算力的平均使用率低于30%，這就意味著70%的裸金屬算力資源是浪費(fèi)的。而這些浪費(fèi)的算力其他企業(yè)也沒有路徑去使用，這就造成了算力的閑置問題。

按算量計(jì)費(fèi)的模式打破了對(duì)算力時(shí)間和資源邊界的鎖定，但對(duì)于我們而言會(huì)有非常大的考驗(yàn)：我們的智算云通過serverless架構(gòu)對(duì)客戶提供按算量計(jì)費(fèi)模式，這意味著客戶的算力浪費(fèi)被極大的削減。

所以相比于裸金屬租賃，按算量計(jì)費(fèi)的單位算力單價(jià)會(huì)更高。九章云極的價(jià)值在于，通過軟件技術(shù)實(shí)現(xiàn)靈活、彈性的算力調(diào)度，整合碎片化的需求，從而最大限度提高算力的使用效率，最終降低客戶的總成本，而九章云極又能在高效利用資源的過程中與客戶分利，獲得合理的受益。

雷峰網(wǎng)：按照運(yùn)算量計(jì)費(fèi)能實(shí)現(xiàn)算力的高效使用，是不是意味著這種模式就是比裸金屬租賃更有優(yōu)勢(shì)？

尚明棟：不能一概而論。我們也服務(wù)一些擁有強(qiáng)大技術(shù)團(tuán)隊(duì)、能夠長(zhǎng)期保持高GPU利用率進(jìn)行大規(guī)模訓(xùn)練的客戶。對(duì)于這類持續(xù)、穩(wěn)定且高負(fù)載的需求，傳統(tǒng)的裸金屬租賃模式在成本上可能更具優(yōu)勢(shì)。九章云極尊重不同客戶的算力消納模式和成本考量，因此我們可根據(jù)客戶需求，提供不同算力模式服務(wù)。

雷峰網(wǎng)：市面上的算力設(shè)備有很多型號(hào)，您們會(huì)根據(jù)不同的型號(hào)去設(shè)置不同的算力價(jià)格嗎？

尚明棟：不會(huì)的，九章云極的定價(jià)非常標(biāo)準(zhǔn)化，我們采用按實(shí)際消耗的計(jì)算量計(jì)費(fèi)的模式（按算量計(jì)費(fèi)），這種模式的單價(jià)設(shè)計(jì)會(huì)綜合考慮資源利用率提升帶來(lái)的成本優(yōu)化，目標(biāo)是讓客戶在整體使用成本上更具優(yōu)勢(shì)。這類似于電力計(jì)量中的“一度電”，旨在為用戶提供清晰、標(biāo)準(zhǔn)化的算力消耗衡量標(biāo)準(zhǔn)，實(shí)現(xiàn)算力使用的“即用即付”和成本透明化。

雷峰網(wǎng)：那是否可以說(shuō)，九章云極也具備提供大規(guī)模算力集群服務(wù)的能力，可以去做頭部大客戶的生意？

尚明棟：理論上是可以的，但九章云極的核心競(jìng)爭(zhēng)力和差異化優(yōu)勢(shì)在于高效服務(wù)對(duì)“靈活彈性算力有強(qiáng)烈需求”的客戶群體，這通常體現(xiàn)在百卡級(jí)、十卡級(jí)乃至更小顆粒度的算力服務(wù)需求上。當(dāng)然，對(duì)于大規(guī)模、長(zhǎng)期穩(wěn)定的算力需求，我們同樣具備提供裸金屬租賃服務(wù)的能力，但我們相信，通過云化、精細(xì)化的運(yùn)營(yíng)釋放碎片化算力價(jià)值的模式，是提升行業(yè)整體效率、實(shí)現(xiàn)算力普惠的關(guān)鍵路徑。

雷峰網(wǎng)：服務(wù)大量的彈性算力客戶，就要求有龐大的算力資源池，九章云極的算力資源池是如何規(guī)劃的，自建還是于其他智算中心進(jìn)行合作？

尚明棟：九章云極采用多元化的算力資源池構(gòu)建策略，包括與戰(zhàn)略投資伙伴合作。由合作伙伴提供資金支持，九章云極則專注于利用自身的技術(shù)優(yōu)勢(shì)和Alaya NeW操作系統(tǒng)，進(jìn)行高效的算力集群建設(shè)和運(yùn)營(yíng)管理，確保資源池的高效利用。

九章云極的建設(shè)主要是把硬件算力設(shè)備變成能線上云化算力服務(wù)，覆蓋組網(wǎng)方案、存儲(chǔ)方案，安全方案以及算力操作系統(tǒng)部署等環(huán)節(jié)。運(yùn)營(yíng)其實(shí)就是平臺(tái)運(yùn)維保障和算力消納，建設(shè)要服務(wù)于運(yùn)營(yíng)，不是簡(jiǎn)單的第三方組網(wǎng)和堆硬件然后再交由九章云極運(yùn)營(yíng)，大多數(shù)第三方的組網(wǎng)方案很難達(dá)到“對(duì)外進(jìn)行云化服務(wù)”這一要求。

雷峰網(wǎng)：為什么說(shuō)很多組網(wǎng)方案達(dá)不到這一要求，有遇見實(shí)際的失敗案例嗎？

尚明棟：根據(jù)智算中心的規(guī)劃要求，從硬件配置、計(jì)算、組網(wǎng)、存儲(chǔ)，到安全設(shè)計(jì)協(xié)同，是一個(gè)非常專業(yè)的架構(gòu)設(shè)計(jì)到實(shí)施的過程。組網(wǎng)方案需要滿足九章云極的Alaya NeW OS的部署，能去跑一些Benchmark，獲得比較高的跑分，這堆算力的利用率可以達(dá)到一個(gè)很高的比值，絕大部分僅憑裸金屬進(jìn)行簡(jiǎn)單的鏈接組網(wǎng)是做不到的。

比如有的集群用了IB組網(wǎng)，但為了降低成本只配了兩個(gè)網(wǎng)口，而如果需要進(jìn)行充分交換，至少需要4-8個(gè)網(wǎng)口以及三級(jí)緩存，才能在推理或者訓(xùn)練的時(shí)候通過增加存儲(chǔ)的吞吐來(lái)提高效率，避免由于存儲(chǔ)的瓶頸耽誤了對(duì)計(jì)算性能的發(fā)揮，這很不劃算，因?yàn)榇鎯?chǔ)的成本低，計(jì)算的成本高。

所以如果九章云極去接手第三方建設(shè)的集群，就需要改造和投入，這還不是一個(gè)標(biāo)準(zhǔn)化的方案就能服務(wù)的，需要千人千面去改造，這會(huì)極大的消耗我們的專業(yè)團(tuán)隊(duì)，因而九章當(dāng)前只運(yùn)營(yíng)我們自己建設(shè)的智算中心。

雷峰網(wǎng)：所以九章云極不會(huì)對(duì)外去輸出這套建設(shè)和組網(wǎng)的方案。

尚明棟： 九章云極當(dāng)前是建設(shè)和運(yùn)營(yíng)一體化為主，但也可以由九章云極單獨(dú)做建設(shè)或運(yùn)營(yíng)。如果九章云極只做運(yùn)營(yíng)，需要按照九章云極的組網(wǎng)方案去建設(shè)。第三方公司可以按照九章的方案，在其自己的供應(yīng)鏈采購(gòu)硬件，但要形成標(biāo)準(zhǔn)化的交付。

還有一種是九章云極只做建設(shè)，不做運(yùn)營(yíng)。很多大型集團(tuán)下面一二級(jí)的子公司有上百家，建設(shè)算力資源主要是用于集團(tuán)內(nèi)部使用，運(yùn)營(yíng)不用我們來(lái)負(fù)責(zé)。

AI Infra競(jìng)爭(zhēng)格局：大廠云環(huán)伺，性價(jià)比與生態(tài)化成突圍關(guān)鍵

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))：有業(yè)內(nèi)人士認(rèn)為，智算云服務(wù)的技術(shù)路線收斂之后，營(yíng)收規(guī)模才是核心競(jìng)爭(zhēng)力（因?yàn)槟塬@得客戶反饋，從而進(jìn)行技術(shù)迭代），那面對(duì)大廠九章云極怎么去競(jìng)爭(zhēng)？

尚明棟：AWS在2011-2013年間每年降價(jià)12次，因?yàn)槲④?、谷歌等?qiáng)勁對(duì)手入局挑戰(zhàn)。AWS有技術(shù)領(lǐng)先性，因?yàn)樗麄冏鲭娚坛錾碛泄こ袒姆e累，也有客戶資源的積累，像AT&T都搬到了AWS的云上，但它還是需要去主動(dòng)降價(jià)。所以這些所謂的優(yōu)勢(shì)體現(xiàn)到云最終的競(jìng)爭(zhēng)力來(lái)說(shuō)是成本，性價(jià)比要足夠高，大廠同樣需要朝著極致的性價(jià)比去發(fā)力。

在智算云里，能夠和大廠進(jìn)行競(jìng)爭(zhēng)，就需要形成規(guī)模化的生態(tài)，生態(tài)化才是護(hù)城河，這背后可能是技術(shù)能力、行業(yè)拓展能力、生態(tài)融合的布局等因素，但體現(xiàn)到最終是“生態(tài)的規(guī)?！?。朝極致的性價(jià)比發(fā)力，就有機(jī)會(huì)形成“成本-需求”雙向驅(qū)動(dòng)效應(yīng)，在這樣的算力基座上，客戶的需求更容易積聚并衍生出完整的人工智能生態(tài)。

另一方面，AI的發(fā)展離不開數(shù)據(jù)，數(shù)據(jù)的本身具有粘性，這種粘性來(lái)自于兩個(gè)方面：一是數(shù)據(jù)遷移的成本，二是數(shù)據(jù)與上層工具鏈的綁定。如果工具鏈足夠好用，用戶就能在數(shù)據(jù)導(dǎo)入后快速完成模型微調(diào)并上線應(yīng)用，運(yùn)維成本也隨之降低。在這種情況下，用戶就沒有動(dòng)力遷移，由此形成長(zhǎng)期的依賴與粘性，進(jìn)而帶來(lái)可持續(xù)的收入。

真正有價(jià)值的是圍繞核心業(yè)務(wù)形成的營(yíng)收規(guī)模。更重要的是在這個(gè)領(lǐng)域里，依托規(guī)模效應(yīng)形成生態(tài)化的領(lǐng)先。

雷峰網(wǎng)：您覺得智算云平臺(tái)存在的價(jià)值是什么，好像只是一個(gè)對(duì)接算力供需雙方的角色？

尚明棟：智算云平臺(tái)的價(jià)值在于，可以解決傳統(tǒng)云計(jì)算在處理AI任務(wù)時(shí)面臨的算力調(diào)度低效、彈性不足等問題。智算云通過異構(gòu)算力資源池化和智能調(diào)度技術(shù)，實(shí)現(xiàn)算力資源的動(dòng)態(tài)分配與高效利用。與通用云廠商相比，九章云極的核心差異在于為AI計(jì)算負(fù)載量身定制的高性能操作系統(tǒng)（Alaya NeW）帶來(lái)的極致效率。Severless的架構(gòu)，本質(zhì)是將浪費(fèi)的算力使用起來(lái)，從而降低成本。九章云極不是簡(jiǎn)單的將資源池虛擬化，而是通過技術(shù)創(chuàng)新消除虛擬化損耗，實(shí)現(xiàn)任務(wù)級(jí)細(xì)粒度調(diào)度，并且深度集成AI工具鏈，最終目標(biāo)是在按算量計(jì)費(fèi)的模式下，讓客戶在單位有效算力（真正用于AI計(jì)算的FLOP）上獲得更優(yōu)的成本效益，并享受更匹配AI作業(yè)需求的資源調(diào)度靈活性。

這是對(duì)“云化”在AI場(chǎng)景下的深度演進(jìn)，即按算時(shí)或按算量收費(fèi)。無(wú)論是大模型訓(xùn)練還是科學(xué)計(jì)算模擬，底層本質(zhì)都是計(jì)算，即每秒能完成多少萬(wàn)億次浮點(diǎn)運(yùn)算。

云化是人工智能生態(tài)中專業(yè)分工的一個(gè)手段，專業(yè)分工是新質(zhì)生產(chǎn)力的一種體現(xiàn)，一個(gè)主體不能把整個(gè)產(chǎn)業(yè)鏈所有的業(yè)務(wù)環(huán)節(jié)都做了，既要做算力運(yùn)營(yíng)，又要做基礎(chǔ)模型和微調(diào)服務(wù)，還要負(fù)責(zé)最后一公里的應(yīng)用開發(fā)。這其實(shí)是20年前信息化落地的時(shí)候，系統(tǒng)集成商的做法，其結(jié)果就是產(chǎn)業(yè)鏈上的參與者在重復(fù)造輪子，整體的質(zhì)量和效率也比較低下，缺少標(biāo)準(zhǔn)化和高質(zhì)量，云化是更尊重生態(tài)分工和生態(tài)合作的選擇。

雷峰網(wǎng)：整個(gè)算力行業(yè)都非常關(guān)注推理需求爆發(fā)的時(shí)間節(jié)點(diǎn)，您對(duì)此有預(yù)判嗎？

尚明棟：從不同視角出發(fā)，可能會(huì)得出不同的判斷。就我們觀察，今年上半年算力使用中，訓(xùn)練算力占比超50%，但推理算力占比正快速上升，這一趨勢(shì)處于預(yù)期之中。因?yàn)槟Ｐ偷膬r(jià)值并不止于一次性訓(xùn)練，而在于長(zhǎng)期通過微調(diào)和推理被反復(fù)調(diào)用、不斷產(chǎn)生應(yīng)用，這才是真正的價(jià)值體現(xiàn)。

隨著人工智能加速進(jìn)入各行各業(yè)，其應(yīng)用基礎(chǔ)在持續(xù)擴(kuò)張，并且目前很多垂直行業(yè)，對(duì)大模型的依賴也日益加深。這意味著推理算力的深度消納將持續(xù)增加。隨著AI在行業(yè)內(nèi)的深度滲透和應(yīng)用場(chǎng)景的爆發(fā)式增長(zhǎng)，推理算力需求將在未來(lái)幾年迎來(lái)極其強(qiáng)勁的增長(zhǎng)，其增速和規(guī)模潛力遠(yuǎn)超訓(xùn)練算力。尤其在中國(guó)市場(chǎng)，由于產(chǎn)業(yè)鏈完整、行業(yè)門類齊全、應(yīng)用場(chǎng)景豐富，中國(guó)在全球范圍內(nèi)具備最強(qiáng)的推理應(yīng)用落地基礎(chǔ)。

雷峰網(wǎng)：那應(yīng)對(duì)即將爆發(fā)的推理需求，產(chǎn)業(yè)鏈呈現(xiàn)出怎樣的趨勢(shì)，參與者們又需要如何適應(yīng)變化？

尚明棟：未來(lái)幾年內(nèi)推理算力將迎來(lái)數(shù)量級(jí)的躍遷，產(chǎn)業(yè)和技術(shù)層面不可避免地會(huì)面臨挑戰(zhàn)，有幾個(gè)趨勢(shì)值得關(guān)注：

第一，算力利用效率要做到持續(xù)提升，當(dāng)前平均算力利用率不足30%，如何盡快提升至40%、50%甚至更高，這是九章云極重點(diǎn)投入的方向。

第二，當(dāng)前，許多國(guó)產(chǎn)芯片廠商選擇優(yōu)先發(fā)力推理芯片市場(chǎng)。這確實(shí)帶來(lái)了異構(gòu)計(jì)算的挑戰(zhàn)，但同時(shí)也為算力生態(tài)的多元化發(fā)展提供了重要機(jī)遇。我們會(huì)在Alaya NeW操作系統(tǒng)中持續(xù)投入對(duì)國(guó)產(chǎn)芯片等異構(gòu)算力資源的優(yōu)化調(diào)度和管理能力，以更好地支持多樣化的推理需求。

我們關(guān)注的異構(gòu)計(jì)算和云邊端協(xié)同，具體表現(xiàn)為：訓(xùn)練更多依賴云端，部分重度推理或彈性需求大的場(chǎng)景也會(huì)采用云化。而在遠(yuǎn)端或野外等場(chǎng)景，則以端邊推理為主，訓(xùn)練或微調(diào)僅作補(bǔ)充。原因在于訓(xùn)練需要高度密集的算力和顯存，成本昂貴，而端邊更適合承擔(dān)推理及小規(guī)模微調(diào)。關(guān)鍵在于如何打通“最后一公里”的端邊云協(xié)同效率，這涉及到算力網(wǎng)絡(luò)的設(shè)計(jì)和優(yōu)化、異構(gòu)框架適配以及多模態(tài)融合等問題。

從應(yīng)用價(jià)值來(lái)看，目前大模型帶來(lái)最大提升的是代碼生成。在內(nèi)容生成領(lǐng)域，文本、圖片、視頻等能力已在設(shè)計(jì)等行業(yè)落地，但這僅僅是起點(diǎn)。可以明顯看到，人工智能技術(shù)的發(fā)展正從單一模態(tài)走向多模態(tài)，未來(lái)還將擴(kuò)展至機(jī)器人態(tài)勢(shì)感知、環(huán)境模擬以及與強(qiáng)化學(xué)習(xí)的結(jié)合。

多模態(tài)是必然趨勢(shì)，人類本身就是多模態(tài)的存在，通過語(yǔ)言、視覺、嗅覺、觸覺等感知世界，并在多維信息對(duì)齊后形成一致認(rèn)知和統(tǒng)一決策。人工智能同樣會(huì)沿著這一路徑演進(jìn)，它有“人類智能”這個(gè)老師，因此未來(lái)必然走向多模態(tài)的融合與感知。

專題介紹

2023年來(lái)，智算產(chǎn)業(yè)迎來(lái)爆發(fā)式增長(zhǎng)。但兩年過去，國(guó)內(nèi)智算企業(yè)的生存狀態(tài)如何？在技術(shù)突破與場(chǎng)景落地中做了哪些新探索、又面臨什么新挑戰(zhàn)？智算行業(yè)的未來(lái)還有什么想象空間？本專題與一眾智算領(lǐng)域的先鋒從業(yè)者對(duì)話，回顧近年智算行業(yè)在技術(shù)與商業(yè)上的拓展實(shí)踐歷程，并展望未來(lái)發(fā)展方向。即便身處行業(yè)氣候更迭之際，從業(yè)者們憑借智慧與韌性、懷揣對(duì)智算未來(lái)的堅(jiān)信，開辟多樣化發(fā)展路徑。對(duì)此專題感興趣的從業(yè)者，歡迎添加微信 YONGGANLL6662 共同參與討論。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。