雷峰網(wǎng)消息顯示，當(dāng)?shù)貢r(shí)間10月27日，高通宣布推出針對(duì)數(shù)據(jù)中心場(chǎng)景的AI推理優(yōu)化解決方案。該方案由Qualcomm AI200、AI250云端AI芯片，及對(duì)應(yīng)的加速卡、機(jī)架等組成。

千億級(jí)云端推理市場(chǎng)的入局動(dòng)態(tài)，讓高通在資本市場(chǎng)收獲積極反饋。其股價(jià)在交易時(shí)段內(nèi)最高上漲22%，收盤時(shí)漲幅收窄至11%。截至美股10月27日收盤，高通股價(jià)報(bào)187.68美元/股，公司市值約2025億美元，市值單日增加近200億美元。

“站在美國的角度看，英偉達(dá)的市值已經(jīng)很高了，再向上漲一個(gè)數(shù)量級(jí)有比較高的難度，而美股近期能夠上漲的股票都跟AI概念相掛鉤，高通推出AI推理芯片屬于補(bǔ)漲?！?/strong>芯片行業(yè)分析師陳沖表示。

不少行業(yè)人士告訴雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))，高通在端側(cè)芯片有很多經(jīng)驗(yàn)和技術(shù)上的積累，進(jìn)軍AI推理芯片可以為高通帶來新的業(yè)務(wù)增量，并且市場(chǎng)也不想看到英偉達(dá)一家獨(dú)大，因此此舉在行業(yè)預(yù)期之內(nèi)。關(guān)于國內(nèi)外AI芯片市場(chǎng)的競(jìng)爭(zhēng)格局，歡迎添加微信 YONGGANLL6662 交流更多信息。

但這份行業(yè)預(yù)期背后，高通的低TCO主張能否真正形成競(jìng)爭(zhēng)力，仍需接受檢驗(yàn)。

“高通主打行業(yè)最低總擁有成本（TCO）的概念，而其高能效和內(nèi)存處理能力是否有足夠的競(jìng)爭(zhēng)優(yōu)勢(shì)還需要在實(shí)際場(chǎng)景中驗(yàn)證后才能判斷。”二級(jí)市場(chǎng)分析師張翔表示，“AI推理芯片主要看的是固定成本下的Token吞吐率，即在一段時(shí)間內(nèi)產(chǎn)生的Token數(shù)量與總成本的比例，在這個(gè)方面，英偉達(dá)具備很大的優(yōu)勢(shì)，其迭代能力太強(qiáng)了。”

從Blackwell到新一代Rubin，英偉達(dá)的迭代速度在不斷加快。

Rubin CPX以解耦推理設(shè)計(jì)支持百萬級(jí)Token處理，GDDR7內(nèi)存讓成本大降，投資回報(bào)率達(dá)30-50倍，Vera Rubin NVL144平臺(tái)算力較前代提升3.3倍，單位Token成本進(jìn)一步攤薄。

面對(duì)競(jìng)爭(zhēng)，高通也在通過實(shí)際合作推進(jìn)產(chǎn)品落地驗(yàn)證，其宣布了與沙特AI公司HUMAIN的合作。

根據(jù)規(guī)劃，HUMAIN將從2026年起部署高通AI200、AI250機(jī)架解決方案，總規(guī)模達(dá)200兆瓦，同時(shí)雙方還將聯(lián)合開發(fā)尖端AI數(shù)據(jù)中心，落地云到邊緣混合AI推理服務(wù)。

“大規(guī)模訂單合作往往伴隨定制化開發(fā)邏輯。現(xiàn)階段模型網(wǎng)絡(luò)架構(gòu)已趨于成熟，不會(huì)出現(xiàn)顛覆性變化，因此無需過度追求通用性很高的產(chǎn)品，通過定制化模式可以精準(zhǔn)匹配客戶特定需求，實(shí)現(xiàn)深度性能優(yōu)化。”國產(chǎn)芯片廠商從業(yè)者李沐表示，“而高通在成本管理及端側(cè)NPU領(lǐng)域積累的經(jīng)驗(yàn)，也能為這種模式提供支撐，理論上具備一定可行空間。”

聚焦AI推理賽道，則是當(dāng)前高通面對(duì)英偉達(dá)的最優(yōu)選。

據(jù)QYResearch調(diào)研顯示，2024年全球推理AI芯片市場(chǎng)規(guī)模大約為142.1億美元，預(yù)計(jì)2031年將達(dá)到690.1億美元，2025-2031期間，年復(fù)合增長率為25.7%。

AI推理包含Prefill（預(yù)填充）和Decode（解碼）兩個(gè)階段，和模型訓(xùn)練相比，它對(duì)硬件的要求存在明顯差異，推理更看重顯存帶寬的穩(wěn)定性、適配性以及充足的顯存容量，同時(shí)無需訓(xùn)練所需的極致浮點(diǎn)算力，轉(zhuǎn)而追求高效能效比與低延遲。

在集群建設(shè)方面，存力的重要性也日益凸顯。

“算力集群的計(jì)算過程是將數(shù)據(jù)從存儲(chǔ)搬運(yùn)到計(jì)算單元，計(jì)算完成之后，計(jì)算的中間結(jié)果以及最終結(jié)果會(huì)返存回存力集群，在這個(gè)過程中，存力是不是能以更大的帶寬、更低的時(shí)延將數(shù)據(jù)搬移到算力集群中進(jìn)行計(jì)算，將影響整個(gè)計(jì)算單元的算力利用率?！贝鎯?chǔ)芯片專家陳峰表示。

此外，由于計(jì)算集群會(huì)不定時(shí)發(fā)生故障，此時(shí)需要將中間的參數(shù)以及計(jì)算結(jié)果定期保存回存力集群，這個(gè)檢查點(diǎn)的保存時(shí)間耗時(shí)越短，那整個(gè)計(jì)算過程被中斷的時(shí)間便越少，同樣可以進(jìn)一步提升計(jì)算的效率，且保證計(jì)算的可靠性。

高通此次推出AI推理芯片的重要亮點(diǎn)便是更高的內(nèi)存容量，Qualcomm AI200支持每卡768 GB LPDDR，而Qualcomm AI250則將首次采用基于近內(nèi)存計(jì)算的創(chuàng)新內(nèi)存架構(gòu)，通過提供超過10倍的有效內(nèi)存帶寬和更低的功耗，實(shí)現(xiàn)AI推理工作負(fù)載效能的提升。

“現(xiàn)在推理Token用量每個(gè)月都在大幅上漲，高通的推理卡顯存非常大，單卡可以支持768GB，相當(dāng)于單卡可以跑完整的DeepSeek，是當(dāng)前所有卡中顯存最大的，方便私有化部署。”陳沖表示。

除了硬件上的顯存容量與內(nèi)存架構(gòu)創(chuàng)新，高通在軟件生態(tài)建設(shè)上也同步發(fā)力，為產(chǎn)品落地鋪路。

其AI軟件棧覆蓋從應(yīng)用層到系統(tǒng)層的端到端鏈路，并針對(duì)AI推理場(chǎng)景做了優(yōu)化，支持領(lǐng)先的機(jī)器學(xué)習(xí)框架、推理引擎、生成式AI框架及LLM/LMM推理優(yōu)化技術(shù)。開發(fā)者可以通過相關(guān)套件，實(shí)現(xiàn)模型導(dǎo)入與Hugging Face模型一鍵部署。

“英偉達(dá)在云端芯片市場(chǎng)一家獨(dú)大，但憑借差異化的硬件設(shè)計(jì)以及豐富的軟件棧，高通的入局具有合理性，后續(xù)將其網(wǎng)絡(luò)芯片集成進(jìn)去，能打造出具有性能優(yōu)勢(shì)的產(chǎn)品?！贝髲S數(shù)據(jù)中心專家江杰表示。

作者長期追蹤芯片行業(yè)相關(guān)動(dòng)態(tài)，歡迎添加微信 YONGGANLL6662 互通有無。

注：文中陳沖、張翔、李沐、陳峰、江杰均為化名。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。