[討論] OpenAI安全專家紛紛辭職 Altman將回應

https://x.com/janleike/status/1791498185627865147
OpenAI安全團隊負責人Jan Leike也宣布辭職了:
"在過去的幾個月裡，我的團隊一直在逆風航行。有時我們在計算方面遇到困難，完成這項重要的研究變得越來越困難。(這是指高層不給足夠算力嗎??)

建造比人類更聰明的機器本質上是一項危險的工作。
OpenAI 代表全人類承擔著巨大的責任。
但在過去的幾年裡，安全文化和流程已經讓位給閃亮的產品。
我們早就該認真看待通用人工智慧的影響了。
我們必須優先考慮盡可能為它們做好準備。
這樣，我們才能確保AGI造福全人類。
OpenAI 必須成為一家安全第一的 AGI 公司。

我想對所有OpenAI員工說：
學會感受 AGI。
採取適合您正在建立的內容的嚴肅態度。
我相信你可以「傳遞」所需的文化變革。
我指望你了。
世界指望著你。
openai-愛心:"

過去幾年，OpenAI安全團隊和Altman因為理念不合(防止AI害人 V.S. 商業營利)不斷內鬥:

2021年 - GPT-3 團隊領導者因安全問題辭職
Dario 和 Daniela Amodei 離開 OpenAI，創辦了 Anthropic，理由是在優先考慮安全研究方面存在分歧。 達裡奧受訪時表示，他的P(doom)是10-25%。

2021年 - RLHF 安全研究主管辭職
RLHF 的發明者 Paul Christiano 博士從 OpenAI 的安全團隊辭職，創辦了獨立的非營利組織 Alignment Research Center。 克里斯蒂安諾在接受採訪時表示，他的P(doom)是50%。

2023年 - OpenAI 董事會解僱執行長 Sam Altman
共同創辦人 Ilya Sutskever 站在 OpenAI 董事會的一邊，投票決定終止 Sam Altman 的領導職務。 該非營利委員會的使命是確保安全有益的 AGI。

2024年 - OpenAI 解雇了兩位安全研究人員
利奧波德·阿申布倫納 (Leopold Aschenbrenner) 和帕維爾·伊茲梅洛夫 (Pavel
Izmailov) 因涉嫌洩露信息而被解僱。 阿申布倫納被視為一顆冉冉升起的新星，也是伊利亞·蘇茨克韋爾的親密盟友。

2024年 - 關心安全的研究員辭職
Daniel Kokotajlo 辭職的原因是「對 OpenAI 在 AGI 時代負責任地行事失去了信心」
。 他表示他的 P(doom) 是 70%。

2024年 - 首席科學家 Ilya Sutskever 辭職
Sutskever 之前曾說："無論如何，人工智慧的未來將會是美好的。 如果它對人類也有好處，那就太好了。 "

2024年 - 超級對齊負責人 Jan Leike 辭職
與 Ilya Sutskever 共同領導 Superalignment 團隊的 Jan Leike 也辭職了。 雷克先前在接受採訪時表示，他的P(doom)是10-90%。

由於OpenAI離職員工都要簽協議保證不對外說OpenAI壞話(否則拿不到公司股份)，外界常常對離職員工的影射推文感到困惑。為此Altman決定做出回應:

https://x.com/sama/status/1791543264090472660
"我非常感謝@janleike對 openai 的對齊研究和安全文化所做的貢獻，我為他的離開感到非常難過。他是對的，我們還有很多事情要做；我們致力於這樣做。在接下來的幾天裡我將發表一篇更長的文章。"

希望不是官腔式廢話回應啊!

--