PTT推薦

[討論] OpenAI安全專家紛紛辭職 Altman將回應

看板Tech_Job標題[討論] OpenAI安全專家紛紛辭職 Altman將回應作者
jackliao1990
(j)
時間推噓 4 推:4 噓:0 →:9

https://x.com/janleike/status/1791498185627865147
OpenAI安全團隊負責人Jan Leike也宣布辭職了:
"在過去的幾個月裡,我的團隊一直在逆風航行。有時我們在計算方面遇到困難,完成這項重要的研究變得越來越困難。(這是指高層不給足夠算力嗎??)

建造比人類更聰明的機器本質上是一項危險的工作。
OpenAI 代表全人類承擔著巨大的責任。
但在過去的幾年裡,安全文化和流程已經讓位給閃亮的產品。
我們早就該認真看待通用人工智慧的影響了。
我們必須優先考慮盡可能為它們做好準備。
這樣,我們才能確保AGI造福全人類。
OpenAI 必須成為一家安全第一的 AGI 公司。

我想對所有OpenAI員工說:
學會感受 AGI。
採取適合您正在建立的內容的嚴肅態度。
我相信你可以「傳遞」所需的文化變革。
我指望你了。
世界指望著你。
openai-愛心:"

過去幾年,OpenAI安全團隊和Altman因為理念不合(防止AI害人 V.S. 商業營利)不斷內鬥:

2021年 - GPT-3 團隊領導者因安全問題辭職
Dario 和 Daniela Amodei 離開 OpenAI,創辦了 Anthropic,理由是在優先考慮安全研究方面存在分歧。 達裡奧受訪時表示,他的P(doom)是10-25%。

2021年 - RLHF 安全研究主管辭職
RLHF 的發明者 Paul Christiano 博士從 OpenAI 的安全團隊辭職,創辦了獨立的非營利組織 Alignment Research Center。 克里斯蒂安諾在接受採訪時表示,他的P(doom)是50%。

2023年 - OpenAI 董事會解僱執行長 Sam Altman
共同創辦人 Ilya Sutskever 站在 OpenAI 董事會的一邊,投票決定終止 Sam Altman 的領導職務。 該非營利委員會的使命是確保安全有益的 AGI。

2024年 - OpenAI 解雇了兩位安全研究人員
利奧波德·阿申布倫納 (Leopold Aschenbrenner) 和帕維爾·伊茲梅洛夫 (Pavel
Izmailov) 因涉嫌洩露信息而被解僱。 阿申布倫納被視為一顆冉冉升起的新星,也是伊利亞·蘇茨克韋爾的親密盟友。

2024年 - 關心安全的研究員辭職
Daniel Kokotajlo 辭職的原因是「對 OpenAI 在 AGI 時代負責任地行事失去了信心」
。 他表示他的 P(doom) 是 70%。

2024年 - 首席科學家 Ilya Sutskever 辭職
Sutskever 之前曾說:"無論如何,人工智慧的未來將會是美好的。 如果它對人類也有好處,那就太好了。 "

2024年 - 超級對齊負責人 Jan Leike 辭職
與 Ilya Sutskever 共同領導 Superalignment 團隊的 Jan Leike 也辭職了。 雷克先前在接受採訪時表示,他的P(doom)是10-90%。

由於OpenAI離職員工都要簽協議保證不對外說OpenAI壞話(否則拿不到公司股份),外界常常對離職員工的影射推文感到困惑。為此Altman決定做出回應:

https://x.com/sama/status/1791543264090472660
"我非常感謝@janleike對 openai 的對齊研究和安全文化所做的貢獻,我為他的離開感到非常難過。他是對的,我們還有很多事情要做;我們致力於這樣做。在接下來的幾天裡我將發表一篇更長的文章。"

希望不是官腔式廢話回應啊!

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.177.213 (臺灣)
PTT 網址

earltyro 05/19 01:52廢話 他抄著谷歌臉書 怕安全問題 不敢大力發展的LLM

earltyro 05/19 01:53模型 跑出來以為自己是救世主 出來賺到爛 微軟收購

earltyro 05/19 01:53後死都不歸自己 就是OPENAI爆了 你的事 我BING只是

earltyro 05/19 01:53您客戶端 OPENAI好 那是我的投資 然後同一個模型GOO

earltyro 05/19 01:53GLE META被拿出來安全操練 你的功能 網紅每一個都

earltyro 05/19 01:53說功能好棒棒

camp0102 05/19 06:17內部極其混亂 整個快炸了

wts4832 05/19 09:21炸了誰來接盤? 微軟嗎?

yunf 05/19 13:22遲早被反噬

kkmon 05/20 09:05內部是都會來ptt分享嗎 XD 大家好熟

WWIII 05/20 12:15人類要尋死路了

jamesho8743 05/20 12:48離職的都是負責AI安全的 是不是在進行什麼危險實驗

jamesho8743 05/20 12:48? 看來天網即將誕生