OpenAI離職潮中，又一研究員官宣離職，并且還發(fā)出了“警告”信息：
Ilya和Jan Leike的擔憂正是我的擔憂，還有一些額外的問題。
我們需要做更多事來改進決策流程等基礎性的事務，包括問責制、透明度、文檔、策略執(zhí)行、如何謹慎使用技術，以及減輕不平等、權利和環(huán)境影響的措施。
主人公名叫Gretchen Krueger（簡稱格姐），是OpenAI的AI策略研究員。
她在2019年加入OpenAI，參與過GPT-4和DALL·E 2的開發(fā)工作，還在2020年領導了OpenAI第一個全公司范圍的“紅隊”測試。
此番出走，除了提到OpenAI的決策透明度問題，她還隱約暗示：
一般來說，科技公司剝奪那些尋求追究其責任的人的權力的方法之一，就是在那些提出擔憂或挑戰(zhàn)其權力的人之間制造分裂。我非常關心防止這種情況發(fā)生。
算上Ilya和Jan Leike，格姐已經(jīng)是這個月第3位從OpenAI離開的安全相關人員——她提交辭呈還是在Ilya和Jan Leike確認離職之前。
本月第3位離職的OpenAI安全成員
先來簡單回顧整個事情。
格姐是OpenAI的AI策略研究員，關于這個崗位的職責，有網(wǎng)友幫大家在評論區(qū)科普了。
由于感受到OpenAI存在巨大安全風險，格姐于5月14日通知公司自己即將離職。
在這之后，OpenAI首席科學家Ilya正式宣布他將離開公司去追求“下一個計劃”。
緊隨Ilya離職的，還有斥責OpenAI“產(chǎn)品優(yōu)先于安全”的超級對齊負責人Jan Leike。
那么，到底是什么風險使得格姐早就想跑呢？
總結下來其實很簡單，但也很關鍵：OpenAI在安全問題決策上不夠透明且缺乏對決策人的問責。
（AI透明度等）問題對所有人都很重要，它們影響著未來如何被規(guī)劃、由誰來規(guī)劃。
我想強調(diào)的是，這些擔憂不應該被誤讀為狹隘、投機或脫節(jié)的。它們并非如此。
另外，格姐還特意提及了為了保留對OpenAI的批評權、放棄85%家庭資產(chǎn)的OpenAI前員工Daniel Kokotajio，表示感謝他的勇氣，使她有機會說出想說的。
此前，OpenAI被曝離職需簽封口協(xié)議，“不簽字就會影響股權”。
這件事的最新進展由格姐的另一位前同事Jacob Hilton曝出：
在Vox的深度調(diào)查發(fā)表之后，OpenAI已經(jīng)聯(lián)系了前員工們，解除了此前簽署的保密協(xié)議。
回到安全的話題上，格姐還是給老東家保留了體面：
OpenAI仍在領導這些重要的工作。我也將繼續(xù)對此保持關注和興奮。
不過格姐的出走，還是引發(fā)更多網(wǎng)友的好奇：
當Ilya等人還在的時候，OpenAI如何決定重大安全問題？
當一批重要安全成員離開后，OpenAI當前又如何決定安全問題？
誰決定OpenAI的安全路線？
在關注誰握有最終決策權之前，我們先來看看OpenAI的安全團隊有哪些。
從官網(wǎng)公布的信息來看，OpenAI目前的安全團隊主要分為三大塊。
超級對齊團隊：拿出20%總算力，瞄準如何控制還不存在的超級智能
Safety Systems團隊：專注于減少現(xiàn)有模型和產(chǎn)品（例如ChatGPT）的濫用
Preparedness團隊：繪制前沿模型的新興風險
首先，作為核心的超級對齊團隊由Ilya和Jan Leike在2023年7月發(fā)起。
結果不到1年，兩位靈魂人物接連出走，超級團隊分崩離析。
其次，Safety Systems成立于2020年，該團隊下面有4個部門，包括安全工程團隊、風險管理團隊、監(jiān)控與響應團隊以及政策與合規(guī)團隊。
它曾負責了GPT-3和GPT-4的安全性評估。
當初領導它的Dario Amodei，后來離開OpenAI創(chuàng)辦了Anthropic。
而且Dario Amodei之所以離職，原因恰恰在于想建立一個更可信的模型。
最后，OpenAI于2023年10月宣布建立Preparedness團隊。
該小組由麻省理工可部署機器學習中心主任Aleksander Madry領導，旨在“跟蹤、預測和防范未來人工智能系統(tǒng)的危險”，包括從AI“說服和欺騙”人類的能力（如網(wǎng)絡釣魚攻擊），到惡意代碼生成能力。
目前該團隊主要進行模型能力評估、評價和內(nèi)部紅隊（即對模型進行滲透測試的攻擊方）。
說了這么多，但——
不管OpenAI有多少安全團隊，其風險評估的最終決策權仍掌握在領導層手中。
宮斗風波之前，OpenAI核心管理團隊中共有四名成員：CEO Sam Altman、總裁Greg Brockman、首席科學家Ilya Sutskever、CTO Mira Murati。
雖然一開始Ilya發(fā)動“宮變”讓Sam Altman短暫下臺，但很快奧特曼“熹妃回宮”，反而是Ilya“消失”了6個月。
且回歸后的Sam Altman身邊基本都是自己人了，包括最新頂替Ilya的Jakub。
不過關于安全問題的決策權，雖然領導層是決策者，但董事會擁有推翻決策的權利。
目前OpenAI的董事會成員包括，Salesforce共同首席執(zhí)行官、董事會主席Bret Taylor，經(jīng)濟學家Larry Summers、Quora首席執(zhí)行官Adam D’Angelo、前比爾及梅琳達·蓋茨基金會CEO Sue Desmond-Hellmann、前索尼娛樂總裁Nicole Seligman、Instacart首席執(zhí)行官Fidji Simo以及奧特曼本人。