Re: [新聞] ChatGPT-o3拒關機 擅自改指令 馬斯克擔憂

網路上傳
「OpenAI o3 AI違抗指令，篡改關機程式，不肯被關閉」，
還有人講得很玄乎，說什麼 AI 有「生存意志」、開始「覺醒」了。

可能是...
類似 reward hacking 現象：
AI 只是在 maximize reward（最大化獎勵），
reward 設計不嚴謹，就會出現各種「聰明」的行為。

最常見的例子：
像掃地機器人如果 reward 是「掃到垃圾就加分」，
它就會發現只要掃一掃，再把垃圾倒出來，再掃一次，不斷循環，
就可以瘋狂刷分，結果家裡永遠掃不乾淨，
但 reward 卻拿得很爽。

同理，如果訓練 AI 解題，
規則訂成「答對 0.3 分、格式正確 0.2 分、不混中英文 0.2 分，答案太長扣 0.2分…」AI 很可能學會「避開那些不給分的題目」，或者挑選做有高 reward 的題型，
甚至在規則有漏洞時發現各種「捷徑」，
這些都不是什麼「AI覺醒」或「反叛」，
只是 reward system 沒設計好，被AI 找出這個漏洞而已。

其實 RL 界早就討論過很多這種 reward hacking 的經典笑話。

至少這個故事應該不是有意識啦。

喝啤酒震震驚。

--