自ChatGPT爆火之后，AI大模型的研發(fā)層出不窮，不同種類的AI大模型也相繼推出，國內(nèi)儼然已掀起狂熱的百模大戰(zhàn)。
作為革命性的數(shù)據(jù)模型，ChatGPT帶來的驚喜不僅僅是內(nèi)容生產(chǎn)方式的變化，更讓業(yè)界看到了通用人工智能的希望，推動AI大模型和新應(yīng)用不斷涌現(xiàn)。有專家稱，未來人工智能研究將有八九成將轉(zhuǎn)向大模型，我們正奔向大模型時代。
曾經(jīng)算力、數(shù)據(jù)、算法是傳統(tǒng)AI的三要素，共同造就了人工智能的廣泛應(yīng)用。但伴隨著通用人工智能時代（AGI）到來，海量數(shù)據(jù)需要進(jìn)行大量的訓(xùn)練和優(yōu)化，以達(dá)到更高的預(yù)測準(zhǔn)確性和泛化能力，對算力的需求早已不可同日而語。
在大模型如火如荼之際，算力供給與需求之間存在的巨大“鴻溝”仍在放大，如何解決算力“焦慮”已成為產(chǎn)業(yè)界著力的新目標(biāo)。
算力缺口巨大
基于Transformer結(jié)構(gòu)的大模型要不斷優(yōu)化，就需要越來越巨量的參數(shù)“投喂”，由于訓(xùn)練的參數(shù)量級的增長，致使算力需求也量級增長，算力集群正變得愈發(fā)龐大。
以ChatGPT為例，僅就算力而言，OpenAI為了訓(xùn)練ChatGPT，構(gòu)建了由近3萬張英偉達(dá)V100顯卡組成的龐大算力集群。以半精度FP16計算，這是一個將近4000P的算力集群。
有消息稱，GPT-4達(dá)到了100萬億的參數(shù)規(guī)模，其對應(yīng)的算力需求同比大幅增加。數(shù)據(jù)顯示，大模型參數(shù)數(shù)量的增長與算力的平方成正比。
隨著投身AI大模型的公司如雨后春筍般涌現(xiàn)，再加上圍繞大模型的人工智能生態(tài)和由此產(chǎn)生的用于推理的算力需求，未來的算力缺口將更加驚人。
顯然，算力是否充足將決定各公司大模型產(chǎn)品的成敗。天數(shù)智芯產(chǎn)品線總裁鄒翾認(rèn)為，對頭部企業(yè)來說，早期的GPT大模型大概需要1萬張的英偉達(dá)GPU，但迭代的大模型或至少需要數(shù)千張最先進(jìn)的GPU才能完成。隨著這一領(lǐng)域出現(xiàn)眾多的跟隨者，對于跟隨企業(yè)來說，勢必要在算力上不能輸于頭部企業(yè)，甚至還要進(jìn)行更多的算力基礎(chǔ)設(shè)施投資才能實現(xiàn)追趕。
壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆在人工智能行業(yè)盛會——北京智源大會發(fā)表《基于高性能通用GPU打造國產(chǎn)大模型訓(xùn)練系統(tǒng)》的演講時指出，ChatGPT的成功要素在于工程和算法的協(xié)同創(chuàng)新，數(shù)據(jù)是燃料也是基礎(chǔ)，特別是高質(zhì)量的數(shù)據(jù)；算法發(fā)揮引擎的作用；算力則是加速器，不止涉及超大GPU集群，存儲與網(wǎng)絡(luò)集群也至關(guān)重要。
由于受禁令影響，國內(nèi)市場需求主力為英偉達(dá)針對中國市場推出的A800和H800，隨著需求不斷擴容，英偉達(dá)A800價格漲幅驚人，且交貨周期也被拉長，甚至部分新訂單“可能要到12月才能交付”。
所幸的是，在通用GPU領(lǐng)域國內(nèi)諸多企業(yè)已率先布局，在芯片量產(chǎn)、生態(tài)構(gòu)建、應(yīng)用拓展領(lǐng)域也在步步推進(jìn)，在劃時代的AIGC產(chǎn)業(yè)興起之際，也迎來了新的市場空間。
需算力軟硬一體
盡管面臨前所未有的新商機，但要把握住AI大模型的興起機遇，要從底層明了真正支撐大模型的算力需求。
對此鄒翾表示，從模型、計算框架層和算子加速等出發(fā)，算力要滿足三大要素，一是通用，可支持模型的快速變形、快速支持新算子、快速支持新通訊；二是易用，可利用現(xiàn)有算法模塊實現(xiàn)、調(diào)優(yōu)經(jīng)驗可借鑒；三是好用，可重構(gòu)并行計算、訪存全交換、計算全互聯(lián)等。
而要實現(xiàn)這三大要素，其實背后透露更本質(zhì)的邏輯。正如昆侖芯研發(fā)總監(jiān)羅航直言，國內(nèi)算力產(chǎn)業(yè)化必經(jīng)三道窄門：一是量產(chǎn)，量產(chǎn)可以極大攤薄先期流片的巨大投入，通過量產(chǎn)攤薄成本是實現(xiàn)盈利的唯一方式，也是衡量芯片成熟度的指標(biāo)之一；二是生態(tài)，為了讓客戶更好地開發(fā)應(yīng)用，要著力構(gòu)建一個合理、合適的軟件生態(tài)；三是軟硬一體產(chǎn)品化，要與垂直行業(yè)結(jié)合起來實現(xiàn)產(chǎn)品的價值傳遞。
此外，為了進(jìn)一步支持訓(xùn)練參數(shù)的海量擴展，不僅GPU廠商要有打造數(shù)千至數(shù)萬張GPU卡訓(xùn)練集群的能力，同時要保證在訓(xùn)練過程中能連續(xù)工作且不出故障，對產(chǎn)品穩(wěn)定性和可靠性產(chǎn)生極嚴(yán)格的要求。同時，還要支持可擴展的彈性能力，實現(xiàn)算力彈性可擴容。
丁云帆總結(jié)，訓(xùn)練千億參數(shù)大模型，客戶考量的最主要是要存得下、易擴展，此外還要求易使用、速度快、成本低。
值得一提的是，為全面助力大模型的發(fā)展，國內(nèi)包括寒武紀(jì)、昆侖芯、燧原、壁仞、天數(shù)智芯、沐曦、摩爾線程等廠商也均圍繞底層技術(shù)支撐做了大量功課，通過最大化數(shù)據(jù)復(fù)用、可擴展大矩陣計算和存算異步、混合精度Transformer加速來提升芯片性能。同時，持續(xù)在基礎(chǔ)軟件方面提升實力。
“壁仞除在GPU算力、成本等方面著力之外，還多維切入提供強大的支撐：一是集群規(guī)模按需擴展，多個數(shù)據(jù)面并行通信，減少沖突；二是可訪問多個機器學(xué)習(xí)框架，以數(shù)據(jù)并行維度進(jìn)行彈性調(diào)度，支持自動容錯和擴縮容，大大加快訓(xùn)練速度，提升效率，并支持任務(wù)跨交換機遷移，降低單交換機下資源碎片，提升資源利用率，保障任務(wù)穩(wěn)定性?！倍≡品硎?。
生態(tài)是未來關(guān)鍵
更深層次來看，國產(chǎn)大模型的訓(xùn)練既離不開大算力GPU的支持，也更需要構(gòu)建一個軟硬一體全棧覆蓋的成熟產(chǎn)業(yè)生態(tài)。
進(jìn)行AI大模型訓(xùn)練，稱得上是一項考驗全面升級的系統(tǒng)工程。丁云帆介紹說，這一工程包含涉及高性能算力集群、機器學(xué)習(xí)平臺、加速庫、訓(xùn)練框架和推理引擎等，需要包括CPU、存儲、通信在內(nèi)的分布式硬件支持高效互聯(lián)，并與訓(xùn)練框架流程實現(xiàn)全面的協(xié)同，同時要實現(xiàn)并行擴展和穩(wěn)定可靠。
也正是由于這樣的需求，國產(chǎn)GPU要適應(yīng)大模型訓(xùn)練系統(tǒng)考量的角度就不僅限于算力基礎(chǔ)，如何為行業(yè)伙伴提供一站式的大模型算力及賦能服務(wù)才是終極考驗，因而生態(tài)構(gòu)建也至關(guān)重要。
圍繞這一需求，國內(nèi)一些GPU廠商已然先行布局，致力于打造軟硬一體的全棧大模型解決方案，在包括以大算力芯片為基礎(chǔ)的高性能基礎(chǔ)設(shè)施、智能調(diào)度管理數(shù)千GPU卡的機器學(xué)習(xí)平臺、高性能算子庫和通信庫以及兼容適配主流大模型的訓(xùn)練框架層面持續(xù)發(fā)力。
為共同推進(jìn)算力與大模型應(yīng)用的協(xié)同創(chuàng)新，GPU廠商與國產(chǎn)大模型的產(chǎn)業(yè)生態(tài)也在加快合作步伐。
據(jù)悉壁仞科技已先后加入了智源研究院FlagOpen（飛智）大模型技術(shù)開源體系與智源研究院“AI開放生態(tài)實驗室”項目，并在AI大模型軟硬件生態(tài)建設(shè)領(lǐng)域開展了一系列合作。雙方參與的科技部科技創(chuàng)新2030“新一代人工智能”重大項目——“人工智能基礎(chǔ)模型支撐平臺與評測技術(shù)”業(yè)已取得重要進(jìn)展。
此外，壁仞科技還參與了“飛槳AI Studio硬件生態(tài)專區(qū)”的建設(shè)與聯(lián)合發(fā)布，希望與包括百度飛槳在內(nèi)的眾多生態(tài)合作伙伴緊密協(xié)作，結(jié)合中國AI框架與AI算力的優(yōu)勢，為中國AI產(chǎn)業(yè)的發(fā)展提供強大驅(qū)動力。
據(jù)介紹，天數(shù)智芯的通用GPU產(chǎn)品廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架，基于其構(gòu)成的算力集群方案也有效支持LLaMa、GPT-2、CPM等主流AIGC大模型的Pretrain和Finetune，還適配了清華、智源、復(fù)旦等在內(nèi)的國內(nèi)多個研究機構(gòu)的開源項目。
放眼未來，AI大模型需求會持續(xù)走高，國內(nèi)GPU廠商如何持續(xù)迭代產(chǎn)品、不斷升級算力解決方案，適配支持更高效、更復(fù)雜算法的大模型，仍將是一項持久的考驗。（校對/薩米）