早在超算時代，清華大學高性能計算研究中心便一直是解決算力需求相關軟件問題的行家。

“目前 AI Infra 賽道幾家國內廠商中，只有我們有過十萬臺服務器的超大規(guī)模國產算力集群的使用和調優(yōu)經驗?！睖鄢?AI 科技評論介紹道。

而“大規(guī)?！睍撬懔Πl(fā)展最難解的“題”——

從湯雄超觀察來看，當前業(yè)內多有提及的不同品牌 GPU 異構混訓，是芯片產能不足現狀下的一種妥協，未來智算中心可能會回歸同一型號 GPU 的架構以獲得更高的效率，AI 大模型訓練核心歸根到底還是落點在大規(guī)模算力系統(tǒng)本身。

基于前述思考，去年年底，這支來自清華大學計算機系的團隊創(chuàng)辦了清程極智，湯雄超博士擔任公司 CEO，翟季冬教授為公司首席科學家。

除了 AI 訓練面臨的挑戰(zhàn)，成立之初，清程極智也看到了推理側的機會。

在一段時期內，訓推一體機是業(yè)內較為流行的產品形態(tài)。但在湯雄超的觀點中，訓推一體機是很難滿足未來的 AI 業(yè)務全部需求的。

論及其中原因，他認為，“訓練和推理兩種業(yè)務對算力系統(tǒng)的需求區(qū)別較大，很難想象出有一個比較小的一體機能夠承載訓練的業(yè)務，現在大模型的預訓練可能都是萬卡以上的規(guī)模?！彼?，清程極智選擇為推理業(yè)務量身定制相應的軟硬一體化算力系統(tǒng)。

同時，通過云端算力提供 MaaS 大模型推理服務也是清程極智選擇的路徑之一。

至于這條路會否和通用大模型公司產生競爭，湯雄超認為，大模型應用一定會起量，一個足夠大的市場可以容下好幾家同一細分領域里的廠商。

他還告訴 AI 科技評論，公司成立這半年多來，在商業(yè)化方面，清程極智已經陸續(xù)和多家芯片廠商、算力中心、AI 應用開發(fā)商以及基礎模型預訓練廠商達成了商業(yè)合作。

值得一提的是，云廠商也是清程極智的合作對象之一。

在湯雄超看來，云廠商過去解決的問題跟現在要解決的問題并不完全相同，甚至是相對的兩個方向——

云廠商過往聚焦于資源池化和共享，而現階段要解決的問題主要是分布式的資源合并，這方面的經驗市場上還較為稀缺，而這恰好是清程極智團隊的強項所在。

這段時日，湯雄超對國內芯片廠商的差異化也深有體會，他認為，從過往智能手機和新能源汽車兩個行業(yè)的發(fā)展規(guī)律來看，之后國產芯片市場會有一定程度的收斂，但不會完全集中到一家，并且國產芯片的性價比超越海外產品也只是時間問題。

以下是 AI 科技評論與湯雄超的訪談實錄，作者進行了不改原意的編輯整理：

壁壘在超大規(guī)模集群調優(yōu)

AI 科技評論：你們?yōu)槭裁磿胍谌ツ昴甑酌闇?AI Infra 這個賽道去創(chuàng)業(yè)呢？有什么契機嗎？

湯雄超：去年底出來做 AI Infra 創(chuàng)業(yè)是因為我們認為這個領域和時機比較好。主要契機要從我們團隊背景說起，目前我們團隊 40 多人中 80% 都是研發(fā)，核心的技術負責人幾乎都來自清華計算機系。清華大學高性能計算研究中心一直以來是做超算的，主要解決算力需求大的問題，之前主要服務于天氣預報、氣候模擬、石油勘探等。

隨著人工智能的發(fā)展，我們發(fā)現 AI 相關問題也逐漸需要超大計算量解決，剛好我們做超算的經驗都可以用來解決 AI 算力系統(tǒng)的問題，再加上我們非?？春?AI，長期來看，我們相信 AI 會給社會帶來較大影響。所以從商業(yè)的角度上來說，我們做的事情還算比較有想象空間，這也很契合我們的技術背景。另外，也剛好趕上美國對中國的芯片制裁，從社會價值的角度上來講，我們作為清華人去做面向國產算力系統(tǒng)的事情也非常有意義。

總得來說，我們當時選擇這個賽道創(chuàng)業(yè)，是非常堅定看好市場機會的，并非拿著錘子找釘子。基本邏輯在于，AI 對算力的需求越來越大是共識，國內的智能算力從英偉達轉向國產基本上也是確定的，而在這樣一個一邊增長一邊轉換的過程中，顯然我們需要在國產算力生態(tài)上做很多事情，這也會帶來許多商業(yè)上的機會。

湯雄超在清程極智辦公室 受訪者供圖

AI 科技評論：國內目前有好幾家廠商在布局 AI Infra 這條賽道，你們的壁壘體現在哪方面？

湯雄超：這個賽道上有很多友商，對我們而言并非負面因素。首先，市場大到足夠容下很多家廠商，其次，既然有這么多人入局，也說明大家對這個領域的認可。

我們其中一個顯著的技術壁壘在于超大規(guī)模集群的調優(yōu)能力，現實中，這可能直接意味著算力中心是否用得起來，本身我們團隊在大規(guī)模集群上面做過很多事情，所以我們和其他家的差異性優(yōu)勢，最核心的還是在于這一點，這件事是非常難做的。

據我所知，目前國內 AI Infra 賽道的廠商中，除了我們，沒有團隊有過十萬臺服務器的超大規(guī)模國產算力集群的使用和調優(yōu)經驗，哪怕是萬卡、十萬卡這樣的超大規(guī)模訓練，現在能做的團隊都不多，所以這是我們非常重要的技術優(yōu)勢。實際上，除了各家都在做的推理優(yōu)化之外，我們是可以做訓練的，而且是超大規(guī)模的訓練。

AI 科技評論：清程目前主要和哪些廠商有合作呢？

湯雄超：我們公司聚焦在 AI Infra，就是算力的基礎軟件系統(tǒng)，大家一般會把 Infra 比喻成一座橋梁，一端是硬件，另外一端是上層應用，我們做的就是把這兩端連接起來，讓大模型更好地運行在芯片上。

我們的客戶也就主要來自于這兩端，一方面是算力側，包括芯片廠商以及算力中心的建設方和運營方。整體上來說，國產算力系統(tǒng)的軟件生態(tài)和國外成熟的系統(tǒng)相比，還是有一定的差距的，我們做的就是幫芯片廠商補齊短板，真正發(fā)揮硬件的性能。

算力中心也是類似的情況，現在大模型所需要的算力規(guī)模很大，真正地把萬卡甚至十萬卡規(guī)模的集群用起來并不簡單，我們幫算力中心把超大規(guī)模的集群給利用起來，從商業(yè)角度上來說，能夠提升算力中心的市場競爭力，從社會角度來講，相當于提升算力資產的整體利用率，減少資產閑置現象。

對于 AI 應用側，我們提供的價值整體上來說就是大家比較熟悉的提速降本。目前我們用大模型回答問題或者畫圖，耗時還比較長，這給 AI 應用落地帶來較大障礙。我們通過高性能的大模型推理引擎，在同樣的硬件平臺上把模型運行得更快，在一些情況下響應速度可能會有近百倍的提升。這樣可以把模型運行時間縮短，一方面，用戶體驗可以改善，另外一方面，時間縮短了，AI 應用消耗的算力也會變少，算力成本隨之降低。

另外，我們也有做基座大模型預訓練的客戶群體，模型預訓練本身算力消耗大、周期長，通常訓練一個大模型需要幾個月時間和幾千萬的預算。我們能把訓練的性能提升百分之幾十，從而降低百萬或千萬的算力開銷。一方面，大模型訓練周期縮短后，模型迭代速度會變得更快。另一方面，按一般原本算力費用千萬級來說，節(jié)省 50% 的算力成本會是非常大的一個數字。整體來看，現在我們的客戶主要是芯片廠商、算力中心、上層做 AI 應用的公司以及做模型預訓練的廠商。

AI 科技評論：和云廠會有合作或者競爭嗎？

湯雄超：我們跟云廠相比是有自身優(yōu)勢的。在一些比較傳統(tǒng)的文本類的大模型的預訓練上，我們也和國內的云廠商有合作。

他們也有自己的團隊，找我們合作本質上還是因為云廠過去要解決的問題跟現在要解決問題并不相同。之前他們也維護大規(guī)模的集群，但更多的是從資源池化和共享的角度去做的，就相當于把一塊 GPU 卡切成很多份，同時服務很多請求和用戶。

現在反過來我們要做的是合并的事情，就是讓 1 萬塊或者 10 萬塊 GPU 共同為一個用戶服務，去解決同一個問題。這部分經驗即使在大廠內也是相當稀缺的，因為國內本來做大集群并行計算的人一直都比較少，再疊加上國產芯片問題，相關的儲備就更稀缺了。

AI 科技評論：你們目前的融資情況如何了？

湯雄超：今年初我們完成了第一輪融資，預計年內會再完成新一輪。

圍繞推理引擎的核心布局

AI 科技評論：模型推理目前也是清程的一個重點，你們的 MaaS 平臺具體有什么樣的布局？

湯雄超：我們 MaaS 平臺首期推出的是文本對話，這方面除了像一般的 MaaS 平臺推出的 10B 以內的模型之外，我們也提供了免費試用的 72B 的國產中文大模型，可以把它運行在國產算力平臺上，成本控制到較低的水平，比用英偉達算力便宜很多，所以我們現在可以提供免費試用。

近期也上線了一個文生圖的功能，完全兼容了國際上流行的 ComfyUI 界面，適合設計師這樣的專業(yè)群體。

后續(xù)可能還會再加入其他的大模型服務能力，因為有很多模型的推理工作被廣泛需要，AI 應用的市場發(fā)展很快，多模態(tài)需求也在變多，后續(xù)會上架視頻生成等服務。

清程極智 MaaS 平臺

AI 科技評論：您會覺得這種 MaaS 平臺賣大模型 API 的方式，實際上是在和通用大模型公司競爭嗎？

湯雄超：我覺得現在整個大模型行業(yè)內很難說做的業(yè)務是完全區(qū)分開的，有競爭是正常的，并且行業(yè)里玩家足夠多，說明大家都覺得這樣的事情值得做，也證明這個賽道的重要性是得到玩家以及背后投資人認可的。另外，我個人堅信大模型應用一定會起量，在一個足夠大的市場里面，其實在同一個細分市場里面可以容得下好幾家廠商。

對我們來說， MaaS 平臺可以讓更多有需求的人使用到清程的推理加速能力。并且，我們并不是要在 MaaS 模式上去擊敗通用大模型巨頭公司，清程的能力也不僅局限在 MaaS 平臺上，我們的產品交付形式也是很多樣的，也包括一體機、推理引擎軟件以及其他一些解決方案的交付。

AI 科技評論：您說的一體機是指訓推一體機嗎？

湯雄超：我們做的不是訓練推理一體機。推理一體機我們是有做的，但訓練的話，本質上看，它的算力需求不適合這種產品形態(tài)。

在我看來，訓練和推理兩種業(yè)務間的區(qū)別較大，很難想象出有一個比較小的一體機能夠承載大的訓練業(yè)務，現在大模型的預訓練可能都是萬卡以上的規(guī)模，目前只能在大規(guī)模的智算集群上完成。

我們做的是推理一體機，就是客戶有需求，我們可以去幫他們選配一些高性價比的硬件，因為我們和很多國產芯片有合作，有時候比客戶更清楚他們不同的大模型推理需求比較適合哪一款芯片的，我們也發(fā)現有不少客戶在算力使用上不合理，比如，有的客戶買了 A100，優(yōu)勢卻發(fā)揮不出來，因為 A100 其實更適合拿來做訓練，而不是推理。

AI 科技評論：你們 MaaS 平臺上能選擇英偉達和國產兩種卡加速 Qwen2-72B-Instruct 的推理，主要是哪些卡？

湯雄超：英偉達我們是比較常規(guī)的推理卡，國產卡用的也是和英偉達推理卡對標的型號，用下來發(fā)現還不錯。

雖然我們現在平臺上寫了英偉達和國產算力，但是從后續(xù)的規(guī)劃來說，我們會把這部分隱藏掉。因為根據數據實測，在經過清程的系統(tǒng)優(yōu)化后，國產算力能接近英偉達的性能，某些場景下還會更好些，所以之后我們也沒必要特意區(qū)分算力平臺，這本身也符合我們公司兼容和賦能多樣化算力基座的想法。

AI 科技評論：清程的官網好像還有幾個和推理引擎有關的服務暫未上線。

湯雄超：我們現在還在初創(chuàng)期，大部分精力都集中在研發(fā)和商業(yè)化上，官網整體上有些滯后性。推理引擎是我們比較核心的內容，我們推理引擎完全是自研的，它是一個高性能的系統(tǒng)軟件，可以降低模型推理的延遲，或者提高模型的吞吐率，總之是提升性能，并且可以支持包括英偉達和國產在內的不同芯片。

因為市面上大部分開源框架都是基于英偉達做的，如果要用國產芯片的話，要么自己移植，要么就不用，這對用戶來說比較難受。我們所提供的是可以兼容多款國產芯片的自研推理引擎，這是我們的軟件，然后基于這個軟件就是做 MaaS 平臺和推理一體機。

具體來說就是，如果客戶已經有機器了，那買我們的軟件就行，如果沒有機器，則有兩種選擇，一種是直接用我們的 MaaS 平臺，另外一種不上云，要私有化部署的，我們提供推理一體機。

智算中心最終會回歸同構

AI 科技評論：現在國產芯片廠商很多，異構混訓的概念也在業(yè)內熱議，你們想過做這塊嗎？

湯雄超：我們也在做異構混訓的工作，但我們在過去的工作中觀察到，采用不同品牌不同加速卡的 GPU 異構方案的集群，整體上來說效率和性價比沒有比采用單一型號 GPU 的同構集群好，混合訓練很難發(fā)揮硬件的底層算力性能。

從商業(yè)的角度來說，我傾向于認為異構混訓是目前國產芯片產能不足情況下的妥協，過去的 HPC 行業(yè)，超算中心發(fā)展了這么多年，我們并沒有觀察到哪個超算集群會在里面放不同型號的加速卡，當然可以說全世界有成百上千個超算集群，各個集群用不同的卡，這個是可行的，但是每個集群內部通常都是同一款。

所以，我認為隨著國產芯片產能的提升，最終智算中心也會回歸到以往比較偏同構的基礎架構里，因為單一方式可能是最高效的解決方案。整體上來說，在目前大規(guī)模并行訓練的大課題下，異構混訓比較容易解決，更難的問題還是落在大規(guī)模本身上。打個比方，10 張英偉達和 10 張華為混訓同 10 萬張英偉達訓練相比，肯定是后者更難實現。

AI 科技評論：所以您覺得之后國內的 GPU 芯片廠商是有機會從分散走向整合的？

湯雄超：我們和國內好幾家芯片廠商都有合作，包括沐曦、燧原、天數、摩爾線程等等，每一家都有相對的優(yōu)勢，各家芯片迭代速度也都很快，從長期來看的話，我認為可能會出現一定程度的集中和收斂，不過，國內可能也不太會出現美國市場那種一家獨大的情況。

因為中美國市場確實是不一樣的，從歷史上發(fā)生過的其他行業(yè)故事來看，比如智能手機和新能源汽車，美國的手機和汽車其實就是那兩家，國內確實都不是一家獨大。中國市場從人口基數上來說會更大，也更有多樣性，未來可能芯片廠商會有一定程度的收斂，但不一定會收斂到一家，最終還是會有好幾家。

AI 科技評論：現階段您在國內有比較看好的芯片廠商嗎？

湯雄超：目前有兩三家比較好，但國內芯片迭代很快，之后也不確定哪家性能會更強。

AI 科技評論：目前來看，您覺得 GPU 是算力最優(yōu)解嗎？

湯雄超：這個問題要看怎樣去定義。GPU 已經發(fā)展到現階段，能夠沿著 GPU 已經開拓出來的道路往前，沒必要再去走一條新路。但是說到底也還是要看上層應用的需求，包括后續(xù) AI 算法的發(fā)展，如果 AI 算法發(fā)生了比較大的變革，以至于 GPU 架構不再適應其中的算力需求，那可能還會有新的芯片架構脫穎而出，成為新標準。

以前大家覺得手機這樣的嵌入式設備的處理器是一個非常小的市場，但隨著移動設備的發(fā)展，會發(fā)現之前占主流的 x86 架構慢慢地就被 Arm 架構趕上來。算力硬件本質上服務于上層應用需求，如果應用發(fā)生巨變的話，底層的算力也會受到影響。不過，從當前的大模型這種形態(tài)來說，我還是認可 GPU 或類 GPU 架構是較好的。

AI 科技評論：現在海外也涌現了許多做專用芯片的廠商，但國內還是以瞄準 GPU 為主，專用芯片少有幾家，您覺得對于國內來說，專用芯片會是機會嗎？

湯雄超：我認為專用芯片跟通用芯片的抉擇國內外是一致的。當每一種上層應用變得非常重要的時候，大家比較直覺的做法就是去做專用芯片，這樣可以在應用上取得優(yōu)越的性能以及功耗方面的改進。但是因為上層應用迭代很快，大家也會希望有通用芯片能夠保證不僅現在能用，未來也能用，兩個路線很難說誰完全取代誰。整體上，我認為國內會存在專用與通用并存的情況。

AI 科技評論：CUDA 是英偉達的護城河，現在也有很多觀點認為它其實是“泥潭式”的，您覺得就國內而言怎樣去找到自己的護城河呢？

湯雄超：“泥潭式”護城河這個形容是準確的。而我覺得國內要找到護城河，還是得從國產算力的角度出發(fā)找尋突破點，要完全 Copy 一份 CUDA，打造 CUDA 2.0 非常困難，有沒有必要去做也要打一個問號。因為我們做算力系統(tǒng)的建設本身是為了支撐上層應用的需求，如果為了復制 CUDA 而去復制是沒有必要的，也不知道收益如何，但根據上層應用的需求去針對性做補全和提升的話，我們不需要把整套 CUDA 生態(tài)照搬過來，這種情況下有的放矢，要做的事情會少很多，國產算力系統(tǒng)也會有一些突破機會。

現在國內很多廠商在做 CUDA 兼容，如果產生的效果是把 CUDA 生態(tài)里已有的東西導入到國產算力生態(tài)，這件事情大家肯定都愿意去做，至于未來會不會出現兼容 CUDA 生態(tài)反過又增強 CUDA 生態(tài)的情況，目前還無法判斷。雷峰網雷峰網(公眾號：雷峰網)

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。