在中文互聯(lián)網(wǎng)上，英偉達(dá)每天都在被顛覆。絕大部分自媒體和短視頻達(dá)人都討厭英偉達(dá)，包括周鴻祎在內(nèi)。他們千方百計(jì)地指出，某種替代品（不管是不是國(guó)產(chǎn)）的性能指標(biāo)已經(jīng)超過(guò)英偉達(dá)A100或H100，后者即將淪為資本市場(chǎng)歷史上最大的泡沫云云。尤其是在B站、小紅書這樣的平臺(tái)，“英偉達(dá)將迅速被替代”可以被視為一致觀點(diǎn)，反對(duì)這個(gè)觀點(diǎn)的人將遭到群嘲。
其實(shí)，海外互聯(lián)網(wǎng)同樣如此。昨天還有AI行業(yè)的朋友給我分享了一份自稱“性能大幅超過(guò)英偉達(dá)”的美國(guó)芯片廠商的自我介紹（是當(dāng)笑話看的）。幾個(gè)月前，芯片創(chuàng)業(yè)公司Groq發(fā)布了自稱性能大幅超越英偉達(dá)的推理芯片，引發(fā)了一定的市場(chǎng)關(guān)注度。不同之處在于，海外網(wǎng)友稍微講一點(diǎn)常識(shí)，知道英偉達(dá)在訓(xùn)練領(lǐng)域的壁壘實(shí)在太高、牢不可破，所以他們主要從推理環(huán)節(jié)入手：可以針對(duì)大模型推理開(kāi)發(fā)某種高度特化的“推理專用卡”，在性能或性價(jià)比上超越英偉達(dá)，而且已經(jīng)有人做到了。這些觀點(diǎn)經(jīng)常被翻譯為中文，不過(guò)翻譯者經(jīng)常有意地把其中的海外芯片創(chuàng)業(yè)公司的名字偷換成A股上市公司（或某家非上市公司），從而達(dá)到不可告人的目的。
遺憾的是，至少在現(xiàn)在，以及可見(jiàn)的未來(lái)，英偉達(dá)在推理方面的壁壘仍然十分牢固。或許它在推理方面的壁壘不如訓(xùn)練方面那么高，但只要競(jìng)爭(zhēng)對(duì)手攻不破，就沒(méi)什么區(qū)別。對(duì)于絕大部分大模型開(kāi)發(fā)商以及云計(jì)算廠商而言，AI算力建設(shè)只能以英偉達(dá)為核心（買不到的情況除外），不論是訓(xùn)練還是推理算力。在展開(kāi)分析這個(gè)問(wèn)題前，讓我們先簡(jiǎn)明回顧一下訓(xùn)練和推理的區(qū)別：
訓(xùn)練，就是指創(chuàng)造和升級(jí)AI模型（包括但不限于大語(yǔ)言模型）的過(guò)程。訓(xùn)練環(huán)節(jié)涉及海量的數(shù)據(jù)，耗時(shí)極長(zhǎng)，對(duì)算力的并發(fā)性需求極高，往往要一次動(dòng)用幾千張到上萬(wàn)張規(guī)模的顯卡集群。專門為訓(xùn)練做過(guò)優(yōu)化的顯卡俗稱“大卡”，其最典型的例子是英偉達(dá)A100、H100和B100。
推理，就是利用現(xiàn)有大模型解決用戶需求的過(guò)程。我們每向ChatGPT提一次問(wèn)題，就啟動(dòng)了一次推理流程。單次推理處理的數(shù)據(jù)規(guī)模往往較小，因此對(duì)算力硬件的要求不如訓(xùn)練那么高。英偉達(dá)專門為推理做過(guò)優(yōu)化的顯卡俗稱“中卡”，例如A20、L40；一些高端消費(fèi)級(jí)顯卡（俗稱“小卡”），例如RTX3和4系列，也可以用于推理。
英偉達(dá)的競(jìng)爭(zhēng)對(duì)手，從AMD到英特爾，從Groq到華為，每天都在異口同聲地陳述同一個(gè)觀點(diǎn)：推理的門檻沒(méi)有硬件那么高，英偉達(dá)賴以生存的CUDA軟件生態(tài)以及顯卡互聯(lián)技術(shù)在推理端的作用有限，所以在推理端替代英偉達(dá)完全可行。事實(shí)又是如何？關(guān)鍵要看企業(yè)客戶，包括OpenAI這樣的大模型開(kāi)發(fā)商以及亞馬遜、微軟這樣的云計(jì)算平臺(tái)商怎么看——畢竟是它們的技術(shù)團(tuán)隊(duì)和采購(gòu)人員做出了顯卡采購(gòu)的決定，而不是社交媒體網(wǎng)友。如果我們仔細(xì)分析一下主要科技企業(yè)今年以來(lái)的顯卡采購(gòu)決策，就會(huì)驚訝地發(fā)現(xiàn)，事實(shí)與英偉達(dá)的競(jìng)爭(zhēng)對(duì)手所鼓吹的完全相反：
AMD和英特爾的“AI加速卡”（其實(shí)就是推理卡）賣得都不怎么樣。其中，AMD的旗艦產(chǎn)品Instinct MI300的單季度銷售額不足10億美元，2024年全年的目標(biāo)也僅僅是賣出40億美元；英特爾的旗艦產(chǎn)品Gaudi 3就更慘了，2024年全年的銷售目標(biāo)不足10億美元。把這兩家的AI硬件銷售額加起來(lái)，恐怕都只有英偉達(dá)“中卡”銷量的一個(gè)零頭。在2024年一季度財(cái)報(bào)發(fā)布會(huì)上，蘇媽承認(rèn)AMD的推理卡目前不存在供給瓶頸，客戶可以隨時(shí)提貨；隔壁的英偉達(dá)幾乎所有產(chǎn)品線則都處于緊缺狀態(tài)。換句話說(shuō)，大部分客戶寧可等上一兩個(gè)季度，也寧可買英偉達(dá)而不是AMD的產(chǎn)品。
與此同時(shí)，在硅谷出現(xiàn)了一個(gè)新的趨勢(shì)：盡可能多地采購(gòu)“大卡”，把推理和訓(xùn)練一起交給“大卡”去做。例如，OpenAI將使用較新的H200承擔(dān)GPT-4o的推理任務(wù)；蘋果通過(guò)鴻海采購(gòu)了數(shù)萬(wàn)張H100，估計(jì)主要將用于推理工作；Meta計(jì)劃在2024年之內(nèi)新增35萬(wàn)張H100，其中很大一部分將用于推理；亞馬遜采購(gòu)的首批3萬(wàn)多張GB200“超級(jí)芯片”顯然將同時(shí)用于訓(xùn)練和推理。這充分說(shuō)明，所謂“英偉達(dá)在推理方面的護(hù)城河不深”的說(shuō)法是何等荒謬！如果上述說(shuō)法是真的，那么除非大廠錢多燒得慌，否則完全沒(méi)有必要采購(gòu)單價(jià)極高、供應(yīng)非常緊張的英偉達(dá)“大卡”承擔(dān)推理任務(wù)。當(dāng)然，這些大廠也會(huì)采購(gòu)一點(diǎn)點(diǎn)AMD或英特爾的產(chǎn)品作為補(bǔ)充，每次都會(huì)引發(fā)后兩者的歡呼雀躍，恨不得讓全世界都知道。
為什么硅谷大廠要花更多的錢去采購(gòu)專為訓(xùn)練優(yōu)化的“大卡”承擔(dān)推理任務(wù)？這既是出于技術(shù)考慮，也是出于綜合成本考慮。簡(jiǎn)而言之：
“大卡”的顯存更大、顯存帶寬更高，適合運(yùn)行參數(shù)規(guī)模巨大的大模型。目前主流大模型的參數(shù)規(guī)模均已突破萬(wàn)億，而消費(fèi)者使用的一般是“蒸餾”過(guò)的、幾十億到幾百億參數(shù)的精簡(jiǎn)版模型。“中卡”“小卡”足以運(yùn)行這些精簡(jiǎn)版模型，但大型企業(yè)客戶可能需要運(yùn)行萬(wàn)億規(guī)模參數(shù)的超級(jí)模型，那就非用“大卡”不可了。
“大卡”的爆發(fā)性輸出能力更高、延遲較低，適合執(zhí)行高度時(shí)效性的推理任務(wù)，例如自動(dòng)駕駛、國(guó)防軍工、金融交易等場(chǎng)景。最近流行的“超長(zhǎng)文本推理”，對(duì)顯存的要求較高，“大卡”處理起來(lái)也更得心應(yīng)手。
在AI算力中心當(dāng)中統(tǒng)一使用“大卡”，有助于降低硬件復(fù)雜度，實(shí)現(xiàn)較高的算力彈性和通用性。像OpenAI這樣的公司，一年之中有幾個(gè)月處于訓(xùn)練期，在此期間可以把自家“大卡”全部用于訓(xùn)練以保證速度，租用外部算力滿足推理需求；訓(xùn)練間歇期則可以少租外部算力，讓自家“大卡”轉(zhuǎn)而從事推理。
“大卡”，尤其是B100/B200這種新款產(chǎn)品，最先應(yīng)用了英偉達(dá)的最新技術(shù)，從而有利于后續(xù)升級(jí)和再利用。哪怕幾年之后技術(shù)突飛猛進(jìn)，舊款“大卡”退下來(lái)還可以做別的工作，而舊款“中卡”“小卡”可能就沒(méi)有價(jià)值了。
上述四條原因，前兩條是技術(shù)上的，后兩條則是成本和管理上的。就像我的一位從事AI技術(shù)工作多年的朋友所說(shuō)：“其實(shí)是經(jīng)濟(jì)性讓大家投票選擇了英偉達(dá)，這就是市場(chǎng)的力量?！?/span>由于上面是在英偉達(dá)自家的不同產(chǎn)品線之間做類比，我甚至都沒(méi)有提到CUDA軟件生態(tài)——過(guò)去十八年，全球上百萬(wàn)開(kāi)發(fā)者為CUDA積累了太多的開(kāi)發(fā)工具和代碼，AMD的ROCm根本無(wú)法與之匹敵，英特爾就更是不值一提了。
現(xiàn)在假設(shè)有一種推理卡，不知道為什么竟能實(shí)現(xiàn)遠(yuǎn)高于英偉達(dá)的性能（可能是上帝顯靈），而且竟能克服缺乏CUDA生態(tài)的麻煩（這次上帝得多受累一點(diǎn)），并且紙面價(jià)格顯著低于英偉達(dá)（這一點(diǎn)極難做到），它也不一定能打敗英偉達(dá)?？蛻羰紫纫紤]通用性：專門為大語(yǔ)言模型推理“特化”的芯片，大概率無(wú)法拿來(lái)執(zhí)行任何其他任務(wù)，從而帶來(lái)了更高的機(jī)會(huì)成本。英偉達(dá)是“通用計(jì)算GPU”概念的提出者，“通用”概念就意味著靈活性和彈性。遠(yuǎn)的不說(shuō)，最近幾年我們就能看到許多鮮活的案例：
2021-2022年，為了進(jìn)一步訓(xùn)練內(nèi)容推薦算法，以符合歐盟消費(fèi)者隱私要求，以及支持新推出的Reels短視頻功能，Meta（原名Facebook）采購(gòu)了大量英偉達(dá)“大卡”；當(dāng)然其中一部分也是為“元宇宙”研發(fā)準(zhǔn)備的。Meta還成為了2022年發(fā)布的H100顯卡早期最重要的客戶之一。ChatGPT橫空出世之后，Meta立即將手頭的算力資源投入生成式AI研發(fā)，迅速成為全球開(kāi)源大模型領(lǐng)域的第一平臺(tái)。扎克伯格本人亦承認(rèn)，生成式AI浪潮來(lái)的時(shí)機(jī)很巧，Meta非常幸運(yùn)——其實(shí)他更應(yīng)該感謝英偉達(dá)顯卡的通用性和普適性。
2019年前后，中國(guó)的“云游戲”產(chǎn)業(yè)處于井噴階段，資本市場(chǎng)對(duì)其有很高預(yù)期。包括阿里、騰訊和電信運(yùn)營(yíng)商在內(nèi)的云計(jì)算大廠紛紛采購(gòu)了大批英偉達(dá)RTX顯卡（初期主要是Turing架構(gòu)，后來(lái)亦有Ampere架構(gòu)）組建刀片服務(wù)器。雖然云游戲在國(guó)內(nèi)沒(méi)火起來(lái)，但是高端RTX顯卡具備張量核心(Tensor Core)，從而擁有一定的推理能力。在美國(guó)芯片法案的陰影之下，國(guó)內(nèi)廠商采購(gòu)?fù)评砜ㄔ絹?lái)越困難，當(dāng)年積累的“云游戲卡”扮演了雪中送炭的角色；盡管它們的推理效率肯定比不上L40等“中卡”，但有總比沒(méi)有好。
（附帶說(shuō)一句，為什么英偉達(dá)的消費(fèi)級(jí)顯卡也裝備了Tensor Core? 因?yàn)樗鼘?duì)于光線追蹤技術(shù)的實(shí)現(xiàn)扮演著不可或缺的角色，而光線追蹤能夠大幅提升游戲畫面的感染力。顯卡處理游戲內(nèi)部光影效果的方式，與處理大模型數(shù)據(jù)的方式，在硬件和數(shù)學(xué)層面是互通的。人類如果沒(méi)有強(qiáng)大的游戲產(chǎn)業(yè)，就很難建設(shè)強(qiáng)大的人工智能產(chǎn)業(yè)。）
我們不知道生成式AI產(chǎn)業(yè)的下一步走向是什么：Transformer架構(gòu)（現(xiàn)在所有大語(yǔ)言模型的基礎(chǔ)）誕生至今才七年多，第一個(gè)百億參數(shù)的大模型誕生至今才不到五年。就像許多學(xué)者指出的一樣，生成式AI有可能并不是實(shí)現(xiàn)通用人工智能(AGI)的必由之路。但是無(wú)論如何，有一點(diǎn)是確定的：未來(lái)的世界需要大量算力，尤其是并行的、以多核GPU為基礎(chǔ)的算力。當(dāng)生成式AI浪潮突然降臨之時(shí)，許多科技大廠都把自家的英偉達(dá)顯卡從自動(dòng)駕駛、推薦算法訓(xùn)練、圖形渲染等任務(wù)迅速轉(zhuǎn)移到了大模型相關(guān)任務(wù)；這進(jìn)一步加深了它們對(duì)英偉達(dá)的信任和依賴。
此時(shí)此刻，全球科技巨頭用于擴(kuò)張算力的資本開(kāi)支，普遍達(dá)到了每年幾百億美元的水平；坊間甚至傳聞微軟打算在一年之內(nèi)耗資1000億美元建設(shè)新的數(shù)據(jù)中心?；诉@么多的錢，它們肯定不希望自己買到的算力僅能用于非常狹窄的領(lǐng)域，不管其紙面性能好壞、價(jià)格高低。所以那些高度特化的推理卡，注定只能在巨頭的算力軍備競(jìng)賽當(dāng)中扮演次要角色；AMD能扮演的角色可以更重要一點(diǎn)，但離英偉達(dá)這個(gè)主角還是差得很遠(yuǎn)。
就在本文撰寫的過(guò)程中，我的另一位從事AI行業(yè)多年的朋友告訴我：“我們最近開(kāi)始采購(gòu)另一家公司的顯示芯片了。它的硬件規(guī)格是合格的，但是軟件適配是大問(wèn)題，需要踩很多的坑。英偉達(dá)的CUDA開(kāi)發(fā)團(tuán)隊(duì)?wèi)?yīng)該比硬件設(shè)計(jì)團(tuán)隊(duì)的規(guī)模要大得多，它的發(fā)布會(huì)上幾乎全是軟件生態(tài)工具，例如GPU虛擬化、一鍵部署。缺少了英偉達(dá)的軟件生態(tài)，我們就要自己雇人去實(shí)現(xiàn)這些能力。生態(tài)就是成本！沒(méi)有生態(tài)就要產(chǎn)生額外的開(kāi)發(fā)成本?！碑?dāng)然，鑒于國(guó)內(nèi)現(xiàn)在越來(lái)越難買到英偉達(dá)的數(shù)據(jù)中心級(jí)顯卡，廠商只能硬著頭皮承擔(dān)成本；在有選擇的情況下，它們幾乎不會(huì)有動(dòng)力這樣做。
至于五年、十年乃至二十年后呢？那就是另一個(gè)問(wèn)題了。通用計(jì)算GPU這個(gè)概念誕生至今也只有十八年，NVLink技術(shù)也只有十年歷史。在長(zhǎng)期，一切都是可以改變的，但是一切改變只能來(lái)自勤奮耕耘和咬定青山不放松的精神。請(qǐng)記住，2013年，當(dāng)黃仁勛操著半生不熟的普通話在北京國(guó)家會(huì)議中心的舞臺(tái)上說(shuō)“請(qǐng)給我一個(gè)機(jī)會(huì)介紹英偉達(dá)”的時(shí)候，他已經(jīng)到處推銷自己的通用計(jì)算理念長(zhǎng)達(dá)七年了；而他還要再等待整整九年，才能看到一切開(kāi)花結(jié)果。當(dāng)時(shí)嘲笑他的人，和現(xiàn)在認(rèn)為可以輕易替代他的人，很可能是同一批人。