作者｜包永剛

編輯｜林覺(jué)民

DeepSeek的火熱，不僅點(diǎn)燃了資本與市場(chǎng)的激情，也讓AI推理的需求在短時(shí)間內(nèi)驟然升溫。需求膨脹的同時(shí)，產(chǎn)業(yè)內(nèi)部出現(xiàn)了兩種截然不同的判斷。

“我認(rèn)為未來(lái)AI推理主要在云和端側(cè)，邊緣推理的需求會(huì)越來(lái)越小。”AI芯片公司的銷(xiāo)售晨坤認(rèn)為，“因?yàn)檫吘堿I的性能和成本都不占優(yōu)勢(shì)，會(huì)是一個(gè)過(guò)渡狀態(tài)。”

另一位資深芯片銷(xiāo)售嘉銘有不一樣的觀點(diǎn)，“端側(cè)提升AI性能，功耗和價(jià)格難以平衡，并不是一個(gè)好選擇。我認(rèn)為邊緣AI推理的需求會(huì)持續(xù)增加?！?/p>

這種對(duì)未來(lái)格局的分歧，也折射出AI推理市場(chǎng)的不確定性。端、邊、云的占比至今難有定論，但可以明確，在泛安防這個(gè)巨大的端側(cè)AI推理市場(chǎng)，即便大模型掀起一場(chǎng)技術(shù)革命，格局依舊穩(wěn)固。占據(jù)市場(chǎng)份額的公司依然處于易守難攻的位置。

然而，AI算力需求100TOPS以上的邊緣推理市場(chǎng)，正悄然醞釀著一場(chǎng)變局。無(wú)論是待上市的摩爾線程、沐曦、燧原科技、天數(shù)智芯、登臨科技，還是已經(jīng)上市的云天勵(lì)飛，或者是發(fā)布了新品的江原科技、后摩智能，都試圖搶占AI推理市場(chǎng)的先機(jī)。

他們必須直面同一個(gè)強(qiáng)大的對(duì)手——英偉達(dá)4090。

“國(guó)產(chǎn)芯片沒(méi)有一款能全面超越英偉達(dá)4090，但通過(guò)極致的性能優(yōu)化，可以在特定領(lǐng)域?qū)崿F(xiàn)超越英偉達(dá)4090的極致性價(jià)比?！奔毋懼毖浴＿@些特定領(lǐng)域包括信創(chuàng)、交通、能源、通信、消費(fèi)等領(lǐng)域。

2025年的AI推理市場(chǎng)，是一場(chǎng)雙重博弈，既是國(guó)產(chǎn)芯片對(duì)英偉達(dá)4090的一次集體圍攻，也是一次攸關(guān)未來(lái)格局的關(guān)鍵卡位戰(zhàn)。

誰(shuí)能從中切下更大的一塊蛋糕？獲取更多國(guó)產(chǎn)AI推理芯片的信息添加作者微信BENSONEIT互通有無(wú)。雷峰網(wǎng)

AI推理，邊緣和端側(cè)市場(chǎng)誰(shuí)的空間更大？

無(wú)論是ChatGPT還是DeepSeek，當(dāng)下最受關(guān)注的AI應(yīng)用幾乎都依賴(lài)云端AI推理。在可預(yù)見(jiàn)的未來(lái)，云端依然會(huì)在AI發(fā)展中扮演核心角色。但云、邊、端三者究竟如何協(xié)同，業(yè)界存在明顯分歧。

在深入探討之前，有必要先明確：什么是云、邊、端？在CNN（卷積神經(jīng)網(wǎng)絡(luò)）時(shí)代，如果按算力劃分，小于8TOPS為端側(cè)，小于64TOPS為邊緣，大于64TOPS為云端。

然而，大模型正在重新定義端、邊、云的邊界。在本文中，將使用70B模型進(jìn)行AI推理，單卡AI算力超過(guò)100TOPS@TF32，使用單臺(tái)或少量服務(wù)器的應(yīng)用視為邊緣AI市場(chǎng)；小于10B模型的推理場(chǎng)景，則歸入端側(cè)市場(chǎng)。

“CNN時(shí)代之所以誕生邊緣計(jì)算，是因?yàn)榉喊卜缊?chǎng)景下，一路攝像頭就需要4兆帶寬。帶寬不夠時(shí)，就必須在邊緣增加計(jì)算盒子。”晨坤說(shuō)，“當(dāng)前的AI推理主要以文本為主，即便未來(lái)向多模態(tài)發(fā)展，也不再需要處理實(shí)時(shí)視頻流。端側(cè)小模型（10B以內(nèi)）完全可以滿足識(shí)別和檢測(cè)的需求。如果需要更高性能，直接調(diào)用云端AI就夠了。因此，未來(lái)邊緣推理的需求會(huì)逐漸下降?！?/p>

晨坤認(rèn)為，隨著端側(cè)小模型能力不斷提升，邊緣AI在成本和性能上難以形成優(yōu)勢(shì)。生成式AI時(shí)代的推理需求，將主要由云端和端側(cè)主導(dǎo)。

嘉銘持不同觀點(diǎn)，在端側(cè)大幅增加AI算力的必要性并不高，因?yàn)楣呐c性價(jià)比難以兼顧。他認(rèn)為，邊緣AI推理的需求仍將保持快速增長(zhǎng)。

江原科技董事長(zhǎng)李瑛則認(rèn)為，生成式AI時(shí)代的AI推理依舊會(huì)是云-邊-端協(xié)同的格局。

從市場(chǎng)角度出發(fā)，云天勵(lì)飛副總裁羅憶提出：“目前云端推理市場(chǎng)的絕對(duì)規(guī)模不大，但其占比正在逐步提升；相比之下，泛安防的邊緣和端側(cè)推理雖然體量巨大，但整體份額正在下降。等云端應(yīng)用逐漸飽和后，端側(cè)推理的需求或?qū)⒂瓉?lái)新一輪增長(zhǎng)。”

眼下，哪種觀點(diǎn)更為準(zhǔn)確尚無(wú)法定論，但這并不妨礙對(duì)邊緣與端側(cè)市場(chǎng)格局進(jìn)行判斷。

傳統(tǒng)端側(cè)推理市場(chǎng)易守難攻，新興AI應(yīng)用還未爆發(fā)

在生成式AI席卷市場(chǎng)之前，AI推理最重要的戰(zhàn)場(chǎng)，是泛安防。經(jīng)歷多年激烈角逐后，這一市場(chǎng)格局已相對(duì)穩(wěn)定：華為、云天勵(lì)飛、登臨科技、算能科技、愛(ài)芯元智等公司各自握有優(yōu)勢(shì)。

“泛安防的邊緣和端側(cè)這個(gè)萬(wàn)億級(jí)市場(chǎng)，已經(jīng)非常卷，增長(zhǎng)也很緩慢。”晨坤說(shuō)。

羅憶也表示：“泛安防屬于典型的存量市場(chǎng)。目前最大的開(kāi)銷(xiāo)是運(yùn)維。在各地預(yù)算緊張的大背景下，預(yù)算首先保證運(yùn)維開(kāi)銷(xiāo)，剩余資金才可能投向少量新設(shè)備?！?/p>

今年，泛安防市場(chǎng)仍有一些大的設(shè)備更新的項(xiàng)目。

“設(shè)備都有使用年限。原本計(jì)劃5年更換的設(shè)備，一些地方用了8年，今年終于到了不得不更新的時(shí)候。”羅憶說(shuō)，“不過(guò)各地做法不一：有的只是標(biāo)清換高清，有的直接換成智能相機(jī)。從整體來(lái)看，智能攝像頭的滲透率依然很低?！?/p>

那么，設(shè)備更新疊加生成式AI的浪潮，是否會(huì)撼動(dòng)這個(gè)龐大的端側(cè)AI市場(chǎng)？

羅憶判斷，“即便今年有大額訂單，由于市場(chǎng)格局已經(jīng)固化，除非新玩家?guī)?lái)顛覆式創(chuàng)新，否則很難改變現(xiàn)有格局。”

泛安防端側(cè)推理市場(chǎng)需求分散，芯片類(lèi)型繁多，有的擅長(zhǎng)視頻編解碼，有的AI能力更強(qiáng)。經(jīng)過(guò)多年市場(chǎng)篩選，目前仍留在市場(chǎng)上的國(guó)產(chǎn)AI芯片公司，都已經(jīng)各自分得屬于自己的蛋糕。

晨坤也強(qiáng)調(diào)：“即便生成式AI帶來(lái)一些變化，新玩家切入成本極高?！?/p>

實(shí)際上，在泛安防市場(chǎng)的客戶目前更關(guān)注的是如何把有限的資源利用到極致。羅憶對(duì)此深有感觸，“能夠用有性價(jià)比的方式幫助客戶完成智能化升級(jí)，做更多精細(xì)化的工作，才能留住泛安防客戶?！?/p>

除了泛安防這個(gè)AI推理的大市場(chǎng)，生成式AI正在催生大量新應(yīng)用——AI玩具、AI眼鏡、AI戒指，以及基于小模型的各種智能硬件，這些潛在產(chǎn)品將帶來(lái)新的端側(cè)AI芯片需求。

AI芯片公司的資深市場(chǎng)泰瑋說(shuō)，“國(guó)內(nèi)已有老牌芯片公司押注了這一賽道，專(zhuān)為7B模型設(shè)計(jì)芯片?！?/p>

與端側(cè)相比，70B以下模型的邊緣推理芯片市場(chǎng)更受?chē)?guó)產(chǎn)廠商關(guān)注，其成長(zhǎng)性和潛力顯然更具吸引力。想要進(jìn)一步探討端側(cè)AI添加作者微信BENSONEIT。

國(guó)產(chǎn)AI芯片圍攻英偉達(dá)4090，極致性價(jià)比的戰(zhàn)場(chǎng)

年初，DeepSeek的火熱再次點(diǎn)燃了各行各業(yè)將AI引入工作流的熱情。大模型一體機(jī)需求暴漲，邊緣AI推理市場(chǎng)也隨之升溫。

“48G的英偉達(dá)4090，是當(dāng)前邊緣推理的王者?！奔毋懼毖?，“想讓客戶為國(guó)產(chǎn)芯片買(mǎi)單，就要做到超越4090的極致性價(jià)比。”

泰瑋對(duì)“極致性價(jià)比”有切身感受：“我們瞄準(zhǔn)商業(yè)市場(chǎng)，但商業(yè)市場(chǎng)的客戶對(duì)成本有極致要求。他們甚至愿意用淘汰的英偉達(dá)3090、4090礦卡——這些二手GPU便宜得令人難以置信，但穩(wěn)定性堪憂。我們只能靠性價(jià)比與穩(wěn)定性，在這個(gè)市場(chǎng)與英偉達(dá)正面競(jìng)爭(zhēng)?！?/p>

嘉銘也指出，4090確實(shí)具備性價(jià)比優(yōu)勢(shì)，但畢竟是消費(fèi)級(jí)產(chǎn)品，不適合7×24小時(shí)連續(xù)運(yùn)行。對(duì)于有合規(guī)要求、需要全天候運(yùn)作的客戶，他們可能選擇英偉達(dá)L20，但使用量有限，性價(jià)比也不如4090。

國(guó)產(chǎn)AI芯片的優(yōu)勢(shì)，除了穩(wěn)定性，還在于大顯存和大帶寬。李瑛舉例：“運(yùn)行滿血版DeepSeek時(shí)，8卡的4090服務(wù)器需要兩臺(tái)，而我們產(chǎn)品單臺(tái)就能跑滿血版DeepSeek，TCO（總體擁有成本）優(yōu)勢(shì)明顯。”

泰瑋也說(shuō)，“我們一張售價(jià)5000元左右的加速卡，擁有128G的大顯存，運(yùn)行30B量化模型速度可達(dá)20 token/s，性價(jià)比極高?！?/p>

Qwen3和DeepSeek量化模型的首字延遲和每秒Token數(shù)只是敲門(mén)磚。嘉銘強(qiáng)調(diào)：“如果這兩個(gè)指標(biāo)不夠，說(shuō)明TCO沒(méi)有優(yōu)勢(shì)。但也幾乎沒(méi)有客戶不因?yàn)檫@兩個(gè)指標(biāo)直接下單，還需要在實(shí)際場(chǎng)景中測(cè)試性能?！?/p>

在具體場(chǎng)景下做極致的軟件優(yōu)化，是國(guó)產(chǎn)AI芯片實(shí)現(xiàn)超越4090的關(guān)鍵。

嘉銘表示：“芯片落地時(shí)一般三個(gè)關(guān)鍵流程，編譯、調(diào)精度、調(diào)性能。若是NPU等專(zhuān)用芯片架構(gòu)，這三步每一步可能都需1–2個(gè)月，累計(jì)可能需要數(shù)月時(shí)間，GPGPU架構(gòu)的芯片可大幅縮短落地時(shí)間，也降低了客戶的TCO。”

李瑛認(rèn)為，“若兩種架構(gòu)的芯片從零起步布局同一場(chǎng)景，GPGPU 因可依托已有的成熟生態(tài)體系，初期優(yōu)勢(shì)會(huì)比專(zhuān)用架構(gòu)更突出。但隨著專(zhuān)用架構(gòu)芯片在算子庫(kù)優(yōu)化、軟件生態(tài)構(gòu)建等軟件領(lǐng)域積累足夠經(jīng)驗(yàn)并達(dá)成成熟應(yīng)用標(biāo)準(zhǔn)，且能充分滿足主流業(yè)務(wù)的實(shí)際需求，GPGPU 的原有優(yōu)勢(shì)將大幅減弱，不再具備明顯差異化特點(diǎn)?！?/p>

“在DeepSeek火爆之后，AI算子的種類(lèi)已經(jīng)銳減，這時(shí)候只要把有限的算子優(yōu)化好，不僅能縮小GPGPU相比專(zhuān)用芯片在軟件生態(tài)方面的優(yōu)勢(shì)，如果做好了特定場(chǎng)景的算子優(yōu)化，還能實(shí)現(xiàn)相比GPGPU數(shù)倍的性價(jià)比優(yōu)勢(shì)?！崩铉M(jìn)一步表示。

羅憶也說(shuō)，“專(zhuān)用架構(gòu)芯片雖然有專(zhuān)精領(lǐng)域，但適用場(chǎng)景會(huì)越來(lái)越廣。”

華為Atlas 300I Duo已驗(yàn)證了這一點(diǎn)，專(zhuān)用架構(gòu)芯片只要適配好場(chǎng)景，就能體現(xiàn)強(qiáng)大性價(jià)比。

因此，對(duì)于國(guó)產(chǎn)AI推理芯片而言，要與4090競(jìng)爭(zhēng)，必須依靠大顯存優(yōu)勢(shì)，同時(shí)針對(duì)客戶場(chǎng)景和使用模型進(jìn)行優(yōu)化，實(shí)現(xiàn)極致性價(jià)比。

“國(guó)內(nèi)基于英偉達(dá)5090魔改的產(chǎn)品，性能調(diào)試已完成，很快將推向市場(chǎng)。性能比4090更強(qiáng)，價(jià)格接近，國(guó)產(chǎn)芯片還能有TCO或性價(jià)比優(yōu)勢(shì)嗎？”晨坤提出疑問(wèn)。

嘉銘則保持樂(lè)觀：“我相信英偉達(dá)5090將成為新一代邊緣AI推理王者，但并非無(wú)懈可擊。國(guó)內(nèi)各家公司也在設(shè)計(jì)下一代產(chǎn)品，準(zhǔn)備與5090正面競(jìng)爭(zhēng)?！?/p>

跑馬未圈地，國(guó)產(chǎn)邊緣推理芯片的卡位戰(zhàn)

在下一代產(chǎn)品尚未上市之前，國(guó)產(chǎn)AI推理芯片公司的當(dāng)務(wù)之急，是充分發(fā)揮現(xiàn)有產(chǎn)品優(yōu)勢(shì)，找到合適落地的場(chǎng)景。

國(guó)產(chǎn)替代需求最迫切的信創(chuàng)市場(chǎng)，成為了國(guó)產(chǎn)AI芯片最容易相遇的戰(zhàn)場(chǎng)。

“信創(chuàng)市場(chǎng)的規(guī)模沒(méi)有想象中那么大，也沒(méi)有那么容易進(jìn)入?！?/strong>羅憶認(rèn)為，“目前信創(chuàng)市場(chǎng)的剛需主要是CPU，滿足日常辦公需求，AI算力的需求還相對(duì)有限。再加上各地財(cái)政預(yù)算收縮，購(gòu)買(mǎi)AI算力和設(shè)備的意愿并不高，因此現(xiàn)階段信創(chuàng)市場(chǎng)并不是AI推理芯片的理想賽道?！?/p>

李瑛對(duì)此樂(lè)觀一些，“信創(chuàng)市場(chǎng)確實(shí)存在挑戰(zhàn)，但也有機(jī)會(huì)。一方面，信創(chuàng)市場(chǎng)已經(jīng)啟動(dòng)AI芯片測(cè)試報(bào)名，這意味著對(duì)AI算力的需求正在增長(zhǎng)；另一方面，通過(guò)更靈活的產(chǎn)品形式，例如在PC上擴(kuò)展加速卡，也能降低成本。”

雷峰網(wǎng)了解到，江原、沐曦、天數(shù)智芯都在信創(chuàng)市場(chǎng)尋找落地機(jī)會(huì)，同時(shí)積極拓展商業(yè)市場(chǎng)。

“醫(yī)療和能源市場(chǎng)也是我們重點(diǎn)關(guān)注的方向?！崩铉f(shuō)，“醫(yī)療領(lǐng)域涉及大量敏感數(shù)據(jù)，這個(gè)領(lǐng)域的客戶對(duì)替換國(guó)產(chǎn)芯片也有比較高的意愿?！?/p>

在羅憶看來(lái)，AI推理市場(chǎng)存在兩個(gè)優(yōu)質(zhì)機(jī)會(huì)：一是互聯(lián)網(wǎng)大廠，這些企業(yè)走在AI技術(shù)前沿，對(duì)算力需求龐大；二是各行業(yè)頭部企業(yè)，這些公司也在數(shù)字化轉(zhuǎn)型前沿，對(duì)AI算力有更多剛需。

“云天勵(lì)飛現(xiàn)有的AI芯片能實(shí)現(xiàn)8TOPS-256TOPS算力，既能鞏固泛安防存量市場(chǎng)，也能面向增量市場(chǎng)。我們同時(shí)在規(guī)劃下一代產(chǎn)品，充分發(fā)揮后發(fā)者優(yōu)勢(shì)?！绷_憶補(bǔ)充道，“作為上市公司，我們不僅有戰(zhàn)略決心，還擁有資金和人才優(yōu)勢(shì)。更重要的是，過(guò)去11年公司在智能硬件、智算中心、智慧城市等多個(gè)領(lǐng)域積累了大量實(shí)踐經(jīng)驗(yàn)。這些寶貴的第一手資料，為芯片設(shè)計(jì)提供了明確指導(dǎo)?！?/p>

在泛安防市場(chǎng)站穩(wěn)腳跟的登臨科技，也將重點(diǎn)關(guān)注商業(yè)市場(chǎng)，在預(yù)算10萬(wàn)元左右的客戶群中尋找對(duì)AI推理有實(shí)際需求的企業(yè)，比如中小企業(yè)。

走存算一體技術(shù)路線的后摩智能則瞄準(zhǔn)不同賽道。后摩智能創(chuàng)始人兼CEO吳強(qiáng)說(shuō)，“我們比較看重三個(gè)領(lǐng)域，一是平板和電腦這種消費(fèi)終端類(lèi)，這是大模型生產(chǎn)力工具，對(duì)AI性能有剛需。二是智能語(yǔ)音系統(tǒng)，大模型語(yǔ)音會(huì)議也是重點(diǎn)布局的一個(gè)方面。三是運(yùn)營(yíng)商的邊緣計(jì)算，看中了5G+AI的趨勢(shì)?！?/p>

吳強(qiáng)補(bǔ)充：“目前這三個(gè)方向已有早期客戶。我們精力有限，先把這幾塊做扎實(shí)，未來(lái)只要涉及大模型和對(duì)功耗敏感的應(yīng)用場(chǎng)景，都會(huì)逐步拓展?！?/p>

整體來(lái)看，國(guó)內(nèi)AI芯片公司都在積極布局快速增長(zhǎng)的大模型邊緣AI推理市場(chǎng)。羅憶形象地總結(jié)：“大家現(xiàn)在是在跑馬，但還沒(méi)有真正圈地。要成功圈地，必須與大客戶深度綁定。目前還沒(méi)有廠商做到這一點(diǎn)?！?/p>

在這場(chǎng)AI推理的競(jìng)爭(zhēng)中，生態(tài)合作伙伴尤其關(guān)鍵，其中ISV（獨(dú)立軟件開(kāi)發(fā)商）扮演不可替代的角色。相比芯片公司，ISV更了解客戶需求，也能在擅長(zhǎng)的領(lǐng)域服務(wù)更多客戶。

若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司優(yōu)化算子、提供高效編譯器，讓ISV開(kāi)發(fā)解決方案，就是把AI從“1到100”實(shí)現(xiàn)規(guī)?；瘧?yīng)用的過(guò)程。

這樣說(shuō)來(lái)，通過(guò)一家AI芯片公司的軟件生態(tài)合作伙伴，不僅能了解其重點(diǎn)落地的領(lǐng)域，也能看出各家的競(jìng)爭(zhēng)優(yōu)勢(shì)。

明年，切換全國(guó)產(chǎn)工藝的AI芯片將陸續(xù)發(fā)布，誰(shuí)能在特定場(chǎng)景中發(fā)揮大顯存和極致性價(jià)比優(yōu)勢(shì)，誰(shuí)就有機(jī)會(huì)贏得大客戶的深度綁定，也可能在端-邊-云格局中搶占更有利的位置。

可以預(yù)見(jiàn)，國(guó)產(chǎn)AI芯片的“圍攻戰(zhàn)”才剛剛開(kāi)始。未來(lái)，隨著技術(shù)成熟、生態(tài)完善以及大模型應(yīng)用的持續(xù)落地，誰(shuí)能分到更大的蛋糕？關(guān)于國(guó)產(chǎn)AI推理芯片的更多討論，歡迎添加作者微信BENSONEIT。

注，文中晨坤、嘉銘、泰瑋均為化名 雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。