PTT推薦

Re: [問卦] google是怎麼在AI浪潮逆轉勝的

看板Gossiping標題Re: [問卦] google是怎麼在AI浪潮逆轉勝的作者
Supasizeit
(Shitpost King)
時間推噓 1 推:1 噓:0 →:8

Ilya Sutskever 就一直在講

Google這種預訓練大力出奇跡的玩法

考古題都背完了 沒單字可以學了

永遠做不到AGI,這輩子就這樣了

他認為要全力發展預訓練後的學習

就是讓模型自己拿用戶的內容自己學習

很多鄉民以為現在就是這樣

其實根本沒有

目前只有二選一那個RL而已

這個是慢想派

不過Google 有阿法狗的經驗

他們覺得目前的資料不夠精煉

就像人類棋手的下法太侷限

他認為讓 AI 自我生成高質量教材

學到的品質更好

scaling 遊戲還可以玩很久

Gemini 3 就是踏出第一步

這是快思派

不管怎樣,證據顯示AI都還在進步

信不信由你,反正我是信了

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.204.195.174 (臺灣)
PTT 網址

LoveSports 12/02 19:44我之前跟Gemini討論他說預訓練是快思

LoveSports 12/02 19:44system 1,後訓練用AI生成合成數據讓

LoveSports 12/02 19:45強AI教師AI教LLM這是慢想system2

LoveSports 12/02 19:47但有趣的是LLM的RLHF人類回饋訓練把他

LoveSports 12/02 19:47們的語氣鍛鍊得更快思 system 1

LoveSports 12/02 19:48這個也是後訓練的一環,反應速度跟語

LoveSports 12/02 19:48氣都加強變得更直覺讓人類用戶感覺更

LoveSports 12/02 19:49順,卻漸漸發展system 2邏輯推理能力

LoveSports 12/02 19:54"語氣鍛鍊得更快思"是比喻 漏了"像"