OpenAI出手了！為了不讓超級(jí)智能失控，首席科學(xué)家Ilya Sutskever和Jan Leike將共同領(lǐng)導(dǎo)團(tuán)隊(duì)在未來(lái)4年投入20%算力，解決超智能AI對(duì)齊問(wèn)題。
超級(jí)AI智能會(huì)殺死所有人！
Sam Altman曾多次公開(kāi)表態(tài)對(duì)AI未來(lái)的擔(dān)憂，甚至自己都夜不能寐。
如今，OpenAI組建了一個(gè)團(tuán)隊(duì)，試圖用20%算力，在未來(lái)4年解決「超級(jí)智能對(duì)齊問(wèn)題」。
最新團(tuán)隊(duì)將由聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever和Jan Leike共同領(lǐng)導(dǎo)。
博客開(kāi)篇，短短幾行，遍闡述了OpenAI對(duì)超級(jí)智能降臨時(shí)間的預(yù)判，以及具有「毀天滅地」能力的重度擔(dān)憂。
超級(jí)智能將是人類發(fā)明的最具影響力的技術(shù)，可以幫助我們解決世界上許多最重要的問(wèn)題。但超級(jí)智能的巨大力量也可能非常危險(xiǎn)，并可能導(dǎo)致人類喪失權(quán)力，甚至導(dǎo)致人類滅絕。
雖然有超級(jí)智能現(xiàn)在看來(lái)還很遙遠(yuǎn)，我們相信這可能在十年內(nèi)實(shí)現(xiàn)。
接下來(lái)4年，OpenAI要做的，就是防止超級(jí)智能殺死所有人類。
四年解決超級(jí)AI對(duì)齊問(wèn)題
而Altman認(rèn)為，想要管理這些風(fēng)險(xiǎn)，徹底解決對(duì)齊問(wèn)題，就必須成立新的治理機(jī)構(gòu)。
他表示，目前還沒(méi)有一個(gè)像樣的解決方案來(lái)引導(dǎo)或控制潛在的超級(jí)AI。
當(dāng)前的技術(shù)，都依賴于人類的監(jiān)督，比如根據(jù)人類反饋進(jìn)行的強(qiáng)化學(xué)習(xí)（RLHF）等等。
但純靠人力來(lái)監(jiān)督比我們聰明得多的AI系統(tǒng)，總有一天會(huì)費(fèi)勁又吃力。而目前的對(duì)齊技術(shù)又無(wú)法擴(kuò)展到超級(jí)智能，所以對(duì)新技術(shù)突破的需要就提上了日程。
Altman在今天還發(fā)起了「英雄榜」。
OpenAI的目標(biāo)，就是建立一個(gè)大致?lián)碛腥祟愃降淖詣?dòng)對(duì)齊研究員，然后用大量計(jì)算擴(kuò)展研究工作，迭代調(diào)整超級(jí)智能。
為了創(chuàng)建第一個(gè)「自動(dòng)對(duì)齊研究員」，本質(zhì)上講創(chuàng)建一個(gè)AI，OpenAI分三步走。
第一，開(kāi)發(fā)一種可擴(kuò)展的訓(xùn)練方法；
第二，驗(yàn)證生成的模型；
第三，對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測(cè)試。
研究人員利用AI系統(tǒng)來(lái)協(xié)助評(píng)估其它AI系統(tǒng)（可擴(kuò)展的監(jiān)督），同時(shí)研究人員還希望了解并控制他們的模型是如何將監(jiān)督推廣到人類研究員無(wú)法監(jiān)督的任務(wù)上去的（有點(diǎn)繞嘴）。
之后，研究人員為了驗(yàn)證系統(tǒng)的一致性，自動(dòng)搜索了有問(wèn)題的行為，以及存在問(wèn)題的內(nèi)部結(jié)構(gòu)。
最后可以通過(guò)找到一個(gè)未對(duì)齊的模型來(lái)測(cè)試整個(gè)流程，確認(rèn)開(kāi)發(fā)的框架可以檢測(cè)到各種不同的未對(duì)齊類型（稱為對(duì)抗性測(cè)試）。
OpenAI的研究人員預(yù)計(jì)，隨著對(duì)這個(gè)問(wèn)題的研究越來(lái)越深入，研究重點(diǎn)也會(huì)發(fā)生變化，甚至還可能會(huì)有新的研究領(lǐng)域出現(xiàn)。
全新團(tuán)隊(duì)
為此，OpenAI正式宣布，組建一個(gè)由頂級(jí)機(jī)器學(xué)習(xí)研究人員和工程師組成的團(tuán)隊(duì)——「Superalignment」。
在接下來(lái)的四年里，OpenAI將投入到目前為止獲得的計(jì)算資源中的20％，用于解決超級(jí)AI的對(duì)齊問(wèn)題。
在這個(gè)過(guò)程中，預(yù)計(jì)將會(huì)有很多團(tuán)隊(duì)參與進(jìn)來(lái)，從開(kāi)發(fā)新方法到將其擴(kuò)展至實(shí)際應(yīng)用。
OpenAI表示，自己的目標(biāo)是在四年內(nèi)解決超級(jí)智能對(duì)齊的核心技術(shù)挑戰(zhàn)。
雖然聽(tīng)起來(lái)很大，實(shí)現(xiàn)起來(lái)也不一定100%成功，但OpenAI還是認(rèn)為只要集多方努力，還是可以解決的。
Ilya Sutskever作為OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家，已經(jīng)把這個(gè)目標(biāo)當(dāng)作其核心研究重點(diǎn)，并將與Jan Leike——對(duì)齊項(xiàng)目負(fù)責(zé)人，共同領(lǐng)導(dǎo)該團(tuán)隊(duì)。
團(tuán)隊(duì)成員包括此前負(fù)責(zé)對(duì)齊工作的研究人員和工程師，甚至還有其他團(tuán)隊(duì)的研究人員，可謂陣容龐大。
LeCun所言「狗級(jí)」AI，真會(huì)十年翻身？
可以說(shuō)，OpenAI對(duì)超級(jí)智能AI系統(tǒng)的將在十年內(nèi)誕生，是一個(gè)非常大膽的預(yù)測(cè)。
首先，就拿ChatGPT來(lái)說(shuō)，沒(méi)有人承認(rèn)它是一個(gè)能夠進(jìn)行人類思維的人工智能。
與之相反，ChatGPT作為一個(gè)類似于自動(dòng)完成的大型語(yǔ)言模型，可以重新創(chuàng)建類似人類的反應(yīng)，但沒(méi)有完全理解單詞背后的含義。
因此，有時(shí)候它會(huì)編造明顯錯(cuò)誤，或無(wú)法理解基本邏輯的答案。
前段時(shí)間，吳恩達(dá)在新開(kāi)的課程中指出，ChatGPT不會(huì)反轉(zhuǎn)單詞直接登上Reddit熱榜。
比如，讓它反轉(zhuǎn)lollipop這個(gè)詞，輸出的是pilollol，簡(jiǎn)直是完全混亂的。
究其原因，主要還是大模型采用token來(lái)處理文本，這樣好處是能降低內(nèi)存和時(shí)間復(fù)雜度。
但是，將單詞token化，明顯存在一個(gè)致命的問(wèn)題，那就是模型很難學(xué)習(xí)到有意義的輸入，也就能理解為什么ChatGPT不能理解單詞含義的原因了。
當(dāng)讓它處理單詞反轉(zhuǎn)任務(wù)時(shí)，模型可能就是把每個(gè)token反轉(zhuǎn)過(guò)來(lái)，由此才出丑。
拋開(kāi)ChatGPT，再?gòu)V泛地來(lái)講，一直以來(lái)圖靈獎(jiǎng)的主Yann LeCun都把當(dāng)前人工智能稱作，連貓狗都不如的AI。
一句話總結(jié)，「論聰明程度，ChatGPT可能連條狗都不如?！?/p>
LeCun表示，當(dāng)前的AI系統(tǒng)，哪怕是ChatGPT，根本就不具備人類的智能水平。
在他看來(lái)，不必太過(guò)緊張，如今的AI智能水平遠(yuǎn)遠(yuǎn)沒(méi)到我們?cè)摀?dān)憂的地步。
目前的生成式AI模型都是在LLM上訓(xùn)練的，而這種只接受語(yǔ)言訓(xùn)練的模型聰明不到哪去。這些模型的性能非常有限，它們對(duì)現(xiàn)實(shí)世界沒(méi)有任何理解。
由此，在一些人看來(lái)，OpenAI預(yù)測(cè)超級(jí)智能AI即將到來(lái)似乎很奇怪。
盡管如此，他們還是希望做好準(zhǔn)備，能夠以先發(fā)制人的優(yōu)勢(shì)，將AI滅絕人類的想法扼殺在搖籃中。
網(wǎng)友答疑
Stability AI的CEO表示，使AGI與ASI保持一致是我們的計(jì)劃。
我的觀點(diǎn)（提出你的意見(jiàn)）：我們不可能在沒(méi)有拿走自由的情況下絕對(duì)地對(duì)齊一個(gè)超級(jí)智能體。對(duì)齊和自由是正交的。我們不要建造那些可能會(huì)對(duì)人類造成 I）生存威脅和 II）剝奪人類權(quán)力的人工智能。
根據(jù)OpenAI博客介紹，未來(lái)要投入20%算力去做這件事，卻受到網(wǎng)友的質(zhì)疑。
現(xiàn)在是時(shí)候有人考慮超級(jí)智能的安全問(wèn)題了。但讓我們現(xiàn)實(shí)一點(diǎn)，20%的計(jì)算量真的能解決問(wèn)題嗎？對(duì)于這樣一個(gè)巨大的問(wèn)題，似乎只是杯水車薪。
OpenAI的對(duì)齊團(tuán)隊(duì)領(lǐng)導(dǎo)人Jan Leike解釋道，
20%的計(jì)算量不是一個(gè)小數(shù)目，我對(duì)OpenAI愿意以這種規(guī)模分配資源感到非常印象深刻。
這是有史以來(lái)對(duì)對(duì)齊的最大投資，它可能比人類到目前為止在對(duì)齊研究上的總花費(fèi)還要多。
OpenAI將用4年的時(shí)間去完成這項(xiàng)任務(wù)，如何判斷是否失敗了，或者進(jìn)展不夠快？
我們會(huì)關(guān)注即將到來(lái)的實(shí)證數(shù)據(jù)：
1. 我們可以在本地衡量研究路線圖的各部分進(jìn)展（例如，可擴(kuò)展的監(jiān)督）
2. 我們可以看到GPT-5的對(duì)齊效果如何
3. 我們將密切關(guān)注技術(shù)的發(fā)展速度
其實(shí)大多數(shù)人還是很想知道，OpenAI是不是在真正解決對(duì)齊研究之前，不會(huì)再研發(fā)超級(jí)AI了。
其實(shí)，Jan Leike的話中，早已透露出了GPT-5正在研發(fā)中。
許多人還是比較支持OpenAI這么做的。
網(wǎng)友表示，希望機(jī)器的可解釋性是戰(zhàn)略的一部分，ASI不應(yīng)該是一個(gè)黑盒子。如果我們有一天在不了解它是如何工作的情況下建立一個(gè)ASI，我們將有很大的麻煩。