12月12日，谷歌宣布其第六代TPU（張量處理器），Trillium正式上市。

谷歌計算和人工智能基礎(chǔ)設(shè)施副總裁兼總經(jīng)理Mark Lohmeyer表示，谷歌旗下的大模型Gemini 2.0正是采用Trillium進(jìn)行訓(xùn)練， TPU是Google Cloud AI超級計算（AI Hypercomputer）的關(guān)鍵組件，集成了性能優(yōu)化后的硬件、開放軟件、領(lǐng)先的機(jī)器學(xué)習(xí)框架以及靈活的消費(fèi)模型。

以色列人工智能公司AI21 Labs的CTO Barak Lenz表示，AI21 Labs是自TPU v4以來的長期用戶，Trillium在規(guī)模、速度和成本效率方面都取得了顯著的進(jìn)步。

在GPU加速一切的人工智能時代，TPU像極外來物種。畢竟在各大搜索軟件里輸入關(guān)鍵詞“TPU”，前幾條結(jié)果顯示的都是材料學(xué)科里的聚氨酯。

TPU因谷歌而出現(xiàn)，TPU市場因谷歌而繁榮。為何研發(fā)TPU，以及TPU團(tuán)隊的工程師離開谷歌后如何將行業(yè)推向繁榮，背后的故事值得講述。

谷歌「被迫」研發(fā)TPU

2009年，Geoffrey Hinton將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語音建模，在TIMIT（聲學(xué)-音素連續(xù)語音語料庫）上獲得當(dāng)時的最佳成果，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)在語音識別領(lǐng)域開始大放異彩。

如果說ChatGPT是當(dāng)下人工智能浪潮的起點(diǎn)，那AlexNet神經(jīng)網(wǎng)絡(luò)架構(gòu)的出現(xiàn)就是上一個里程碑。

2012年，Alex Krizhesky、Ilya Sutskever和Hinton提出的AlexNet架構(gòu)，通過使用GPU構(gòu)建深度學(xué)習(xí)模型，刷新當(dāng)時的圖像識別世界紀(jì)錄，并且準(zhǔn)確率達(dá)到85%，在當(dāng)年的ImageNet大賽中一舉奪冠。

人工智能在語音和圖像識別領(lǐng)域的應(yīng)用引起了谷歌的關(guān)注，畢竟這兩個領(lǐng)域與谷歌的核心業(yè)務(wù)，如搜索、地圖、照片和翻譯等緊密相關(guān)。正值谷歌考慮推出面向全球的語音識別功能之際，研究團(tuán)隊發(fā)現(xiàn)需要處理的人工智能計算量將超過其現(xiàn)有的算力。

谷歌首席科學(xué)家Jeff Dean在采訪時稱：“當(dāng)時，我們粗略地估算了數(shù)億人與谷歌的產(chǎn)品對話會產(chǎn)生多少計算量，結(jié)果顯示谷歌需要部署多一倍的算力才可以滿足這樣的需求。”

做為大廠，谷歌天生帶有傲性。當(dāng)時，谷歌團(tuán)隊研究了市面上提供的所有算力解決方案，全部都被高層否決掉。

互聯(lián)網(wǎng)大爆發(fā)使算力需求呈現(xiàn)指數(shù)級上升，兩個明顯的的趨勢開始涌現(xiàn)，一是算力使用場景細(xì)分化，二是用戶對算力的需求不斷攀升，傳統(tǒng)的通用算力芯片很難再滿足一些特定場景的需求。

對專用芯片的投入日益受到關(guān)注，開發(fā)公司內(nèi)部的深度學(xué)習(xí)專用處理器芯片成為谷歌的不二之選。

「出道即巔峰」，首代TPU推理速度為競品30倍

決策后，是迅速的執(zhí)行。谷歌挖來惠普智能基礎(chǔ)設(shè)施實(shí)驗室高級總監(jiān)Norm Jouppi、Pacmid的研發(fā)負(fù)責(zé)人Jonathan Ross、Arm架構(gòu)開發(fā)商Calxeda的SoC工程總監(jiān)Richard Ho以及高通高級工程師Ravi Narayanaswami等一批芯片行業(yè)資深從業(yè)人員，而這一批人員也勾勒出當(dāng)下人工智能芯片領(lǐng)域巨頭博弈的核心人才畫像。

面對全世界最好的工程師，大廠光環(huán)和天價薪資略顯廉價，真正讓這幫人聚在一起的是開發(fā)出滿足全球人工智能算力需求的解決方案這一愿景。

谷歌云TPU業(yè)務(wù)創(chuàng)始人Zak Stone稱：“2012年，我創(chuàng)立了一家機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司，為了以較低的成本獲得算力，我的聯(lián)合創(chuàng)始人會在網(wǎng)上購買二手的游戲GPU，然后在咖啡桌上搭建服務(wù)器，一旦我們在運(yùn)行GPU的時候打開了微波爐，電源就會耗盡。加入谷歌后，我創(chuàng)建了云TPU項目，我知道我們必須把TPU打造成谷歌云的基礎(chǔ)設(shè)施?！?/p>

這也正是谷歌不直接出售TPU，而是通過谷歌云出售TPU算力的原因之一。另一方面，這種做法可以免于搭建供應(yīng)鏈和硬件銷售團(tuán)隊，節(jié)省對陌生業(yè)務(wù)的投入，同時反哺了谷歌云業(yè)務(wù)并且提高了硬件產(chǎn)品的保密程度。

從立項到落地，谷歌花了15個月。2015年，谷歌開發(fā)出第一代TPU處理器，并開始部署在谷歌的數(shù)據(jù)中心進(jìn)行深度學(xué)習(xí)模型訓(xùn)練。彼時，外界對于谷歌內(nèi)部的基礎(chǔ)設(shè)施建設(shè)鮮有認(rèn)知，而事實(shí)上，擊敗棋王李世石的AlphaGo正是由TPU驅(qū)動的。

研發(fā)TPU的團(tuán)隊負(fù)責(zé)人Norm Jouppi稱：“TPU的設(shè)計過程異常迅速，這本身就是一項非凡的成就。更出乎意料的是，首批交付的硅片無需進(jìn)行任何錯誤修正以及掩膜的更改，而正在同步進(jìn)行的還有團(tuán)隊組建，RTL（寄存器傳輸級）設(shè)計專家、驗證專家都急需補(bǔ)充，整個工作節(jié)奏非常緊張?！?/p>

機(jī)器學(xué)習(xí)硬件系統(tǒng)的首席工程師Andy Swing同樣表示：“我們原以為TPU的產(chǎn)量不會超過1萬顆，但最終生產(chǎn)了超過10萬顆，在廣告、搜索、語音、AlphaGo甚至自動駕駛等領(lǐng)域被廣泛采用?！?/p>

TPU跟GPU的核心差異在于，GPU更通用，而TPU則專用于加速機(jī)器學(xué)習(xí)工作負(fù)載，是一款A(yù)SIC（專用集成電路）芯片。TPU包含數(shù)千個乘法累加器，這些累加器直接連接，形成大型物理矩陣，即脈動陣列架構(gòu)，這樣的處理使TPU可以在神經(jīng)網(wǎng)絡(luò)計算中實(shí)現(xiàn)高計算吞吐量。

Google杰出工程師David Patterson稱：“TPU就像海倫（希臘神話中最美的女人），它的出現(xiàn)引起了成千芯片與之競逐?！?/strong>

首款TPU發(fā)布后，英特爾便耗資數(shù)十億美元收購了多家芯片公司。阿里巴巴、亞馬遜等公司同樣開始研發(fā)類似產(chǎn)品。TPU重新喚起了人們對計算機(jī)架構(gòu)的關(guān)注，后來的幾年內(nèi)，出現(xiàn)了上百家相關(guān)初創(chuàng)企業(yè)，年均總?cè)谫Y額近20億美元，新想法層出不窮。

截至目前，谷歌TPU經(jīng)歷了多次迭代，TPU系列產(chǎn)品的性能也實(shí)現(xiàn)了指數(shù)級的上升。TPU v1的峰值性能為92 TOPS，1TOPS代表處理器每秒鐘可進(jìn)行1萬億次浮點(diǎn)運(yùn)算，做為同期的競品，TPU v1的推理速度比英偉達(dá)K80 GPU和英特爾Haswell CPU快15到30倍。TPU v4的峰值性能達(dá)到1.1PFLOPS，即每秒進(jìn)行1100萬億次浮點(diǎn)運(yùn)算，首次突破每秒千萬億次浮點(diǎn)運(yùn)算的大關(guān)，相較于TPU v1，性能提高了將近12倍。最新發(fā)布的Trillium性能為TPU v5e的4.7倍，官方稱是迄今為止性能最高、最節(jié)能的TPU。

所有這些處理能力還只是開始。

TPU的主要設(shè)計師Cliff Young認(rèn)為，跟上深度學(xué)習(xí)的發(fā)展不僅需要增加用于訓(xùn)練的芯片數(shù)量，現(xiàn)有的軟硬件架構(gòu)設(shè)計也必須改變，需要運(yùn)用全新的材料-應(yīng)用協(xié)同設(shè)計概念。未來深度學(xué)習(xí)架構(gòu)的設(shè)計需要包含從物理到應(yīng)用的各個層面的協(xié)同設(shè)計，這是打破摩爾定律瓶頸的一種方式，是深度學(xué)習(xí)發(fā)展的新出路。

團(tuán)隊表示：“當(dāng)時，我們的TPU和Pod設(shè)置對建設(shè)數(shù)據(jù)中心能力很有意義，但現(xiàn)在我們正在改變數(shù)據(jù)中心的設(shè)計，以更好地滿足需求，當(dāng)下的解決方案與未來的解決方案將非常不同。忘記單個芯片或單個TPU吧，我們正在構(gòu)建一個載滿TPU的全球數(shù)據(jù)中心網(wǎng)絡(luò)。未來是全棧定制，從硅到一切。”

TPU夢之隊，從「隊友到對手」

當(dāng)下，所有人都在眼紅英偉達(dá)在人工智能芯片市場占據(jù)的市場份額，而TPU讓谷歌成為英偉達(dá)之外另一個重要的算力供應(yīng)商。全球超過60%獲得融資的生成式AI初創(chuàng)公司和近90%生成式AI獨(dú)角獸都在使用谷歌Cloud的AI基礎(chǔ)設(shè)施和Cloud TPU服務(wù)，包括Anthropic、Midjourney、Salesforce、Hugging Face和AssemblyAI等企業(yè)。

2024年7月，蘋果公布其使用了2048片TPUv5p芯片來訓(xùn)練擁有27.3億參數(shù)的設(shè)備端模型AFM-on-device，以及使用8192片TPUv4芯片來訓(xùn)練大型服務(wù)器端模型AFM-server。

這些數(shù)據(jù)回答了TPU在人工智能市場里的應(yīng)用情況，也昭示著這個市場會涌入更大量的競爭者。而事實(shí)上，在TPU v1剛剛發(fā)布的時期，TPU團(tuán)隊成員另立門戶或加入競對公司的現(xiàn)象就已初顯苗頭。畢竟在硅谷，當(dāng)你萌生出創(chuàng)業(yè)想法時，成事法則中的一條就是從谷歌挖人。

Social Capital的創(chuàng)始人Chamath Palihapitiya深諳其中的門道，他總是那么尖銳且冒進(jìn)，面對名流及精英他直言不諱，做為美國的SPAC（特殊目的收購公司）之王，帶著散戶逼空華爾街精英也讓他賺足了吆喝。

Palihapitiya就像投資界的馬斯克，掌握資本和流量杠桿讓他成為創(chuàng)業(yè)者背后的攢局人。

2015年，在谷歌的季度財報會上，Palihapitiya不經(jīng)意間了解到谷歌正在自研AI芯片，為什么谷歌要跟英特爾競爭？問題在Palihapitiya心中浮現(xiàn)，他開始尋找答案。

2016年，TPU v1發(fā)布，跟市場上其他人一樣，Palihapitiya的策略是“no miss”，他認(rèn)為這一次芯片創(chuàng)新可以讓Facebook、Amazon、Tesla等公司以及政府利用機(jī)器學(xué)習(xí)和計算機(jī)去做此前沒人能做的事情。

巨頭入局，Palihapitiya做局。他開始對谷歌TPU領(lǐng)域的工程師進(jìn)行人才mapping，一年半的時間里，Palihapitiya挖走了谷歌芯片創(chuàng)始團(tuán)隊里10人中的8位，背后的兩個關(guān)鍵角色是Jonathan Ross和軟件工程師Doug Wightman，而成立的這家新公司正是當(dāng)下炙手可熱的AI芯片企業(yè)Groq。

今年的8月5日，Groq完成由Blackrock領(lǐng)投的新一輪6.4億美元融資，28億美元的估值讓Groq毫無疑問地成為AI芯片新貴。另一方面，Meta首席人工智能科學(xué)家Yann LeCun宣布擔(dān)任Groq的技術(shù)顧問，在Groq的官網(wǎng)上赫然掛著Yann LeCun對于Groq芯片的評價：“Groq芯片確實(shí)直擊要害?！?/strong>

而問題在于Meta內(nèi)部也在研發(fā)AI芯片，競對公司間的人事往來不經(jīng)讓外界感到意外。但可以推測出這背后離不開Palihapitiya的周旋，畢竟他曾擔(dān)任了五年多的Facebook（Meta前身）副總裁，化敵為友，是攢局人的基本素養(yǎng)。

Groq之外，是OpenAI對谷歌近乎瘋狂的“挖墻腳”。

瘋狂的背后，是Sam Altman激進(jìn)的7萬億自研芯片戰(zhàn)略。此前，臺積電CEO CC Wei在采訪中表示：“Altman的計劃太激進(jìn)了，讓人難以置信?！?/strong>

今年10月30日，外媒報道OpenAI與博通以及臺積電達(dá)成合作，計劃于2026年生產(chǎn)其首個定制芯片。

OpenAI造芯傳言靴子落地的背后，是Sam Altman網(wǎng)羅AI芯片人才計劃的收網(wǎng)。Sam Altman的用人法則只有一條，要么現(xiàn)在在谷歌，要么之前在谷歌。

近一年里，大量谷歌TPU團(tuán)隊的研發(fā)人員密集加入OpenAI，Sam Altman搭建了以前谷歌高級工程總監(jiān)Richard Ho為首的硬件研發(fā)團(tuán)隊，主要成員包括Tensor SoC負(fù)責(zé)人Ravi Narayanaswami、高級硬件工程師Thomas Norrie、技術(shù)經(jīng)理Sara Zebian、研究科學(xué)家Phitchaya以及設(shè)計驗證經(jīng)理Jerry Huang等人。

而這一批人收獲的最多的評價正是：“他們是我合作過的最好的工程師之一?！?/strong>

吸引最好的工程師，Sam Altman開出的條件是：參與構(gòu)建人類有史以來最宏大的計算機(jī)系統(tǒng)、與大模型團(tuán)隊的高度協(xié)作且不會面臨大公司內(nèi)部的溝通阻礙，以及高薪。

TPU團(tuán)隊在市場頗受認(rèn)可的背后是任職于谷歌時研發(fā)TPU鍛煉的從0到1的工程能力，而專用于加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的設(shè)計正是當(dāng)下市場最需要的。

商業(yè)層面，身居不同公司或許針尖對麥芒，但個人層面，他們都是谷歌TPU的同行者，更是AI芯片未來的締造者。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))參考材料：

https://cloud.google.com/blog/products/compute/trillium-tpu-is-ga

https://cloud.google.com/transform/ai-specialized-chips-tpu-history-gen-ai?e=48754805

https://www.censtry.com/blog/why-did-google-develop-its-own-tpu-chip-in-depth-disclosure-of-team-members.html

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。