Re: [問卦] ChatGPT問世，臺灣的AI大師在想什麼？

※ 引述《manlike ( )》之銘言：
: ChatGPT 嘎然問世
: 它AI的能力遠超乎大家的想像
: 屌打過去所有的相關AI研究
: 那台灣那些台清交號稱AI專家學者的教授
: 在想什麼？
: 他們會覺得自己的研究是大便嗎？
: 趕快停掉手上的垃圾研究
: 轉向蹭 ChatGPT 繼續騙吃騙吃？
: 有瓜嗎？

阿肥外商碼農阿肥啦！

當前LLM像chatGPT即使問世，依舊還是有很多前沿問題沒解決，模型即使透過Instructions 由人工引導學習，還是很難達到真正的在線學習，人腦卻是可以時時重塑世界模型，而且當前很多新研究都發現人腦耗電非常低但新皮質效能卻很高，而且LLM在很多層面即使優於人腦，但是他卻缺少部分的世界模型。

這些都是邁向通用人工智慧的新課題，並沒有LLM誕生了問題就都解決了，很多新的研究也發現加大模型或是加大數據都有可能接近學習臨界，更大不一定能帶來正面意義，人腦有一套參照框架模型跟未知的通用學習算法是需要再近一步研究的，不過即使是這樣，專用通用模型像GPT4已經夠解決當前部分難題。

一個有趣的點就是最近一些新發現之前我們研究大語言模型突發的湧現能力，或許有可能是我們過往的評判指標過於粗，像是以全對全錯來衡量模型，在新研究中發現切換細粒度評分指標後(像是錯一小塊過往直接打零分，現在轉換成錯一塊給五十分)，這樣小模型到大模型的精度提升就能夠轉換成線性提升了，這樣似乎湧現又像不存在一樣，這是很值得研究的新議題，到底湧現能力是什麼，不大力有沒有機會也有奇蹟。

最後就是當前大語言模型肯定會更捲的，沒資源的學者也不只台灣，大家可以讓出賽道給大公司捲，但勝負依舊是全體人類共享的連谷歌的研究人員也都認同轉向如何開源大語言模型建立共同生態圈才能是最後贏家，閉源或是limited 的模型沒有活路的，然後沒有資源的學者一起共享賽道甚至激發社群研究AI模型的新思路

--