Re: [問卦] ChatGPT改變了什麼行為模式？

※ 引述《ffreakk ()》之銘言：
: ※ 引述《loveyou9527 (小弟)》之銘言：
: : 大家好，最近我對AI技術非常感興趣，特別是OpenAI所開發的ChatGPT。聽說它在各行?
: : 業都發揮著重要作用，對許多人的生活產生了深遠影響。我想請問各位前輩，究竟Chat
: : T改變了哪些行為模式呢？
: : 希望大家能分享一些寶貴的經驗和看法，讓我對ChatGPT及其對社會行為模式的影響有?
: : 深入的了解。謝謝大家！
: : -----
: : Sent from JPTT on my Xiaomi 2201117SY.

阿肥外商碼農阿肥啦！認真回應，chatGPT其實整體的技術在學界甚至業界兩年前就不是新聞了。

很多內容其實去年一堆Paper都在探討大模型的湧現能力，稍微深入一點的可以看我在TechJob之前的一些文章，不過這不代表openAI做的這個事情沒有技術含金量在裡面，光是偏好模型就有很大的著墨點，有效性跟毒性在某種程度上是有衝突的，你想要模型能回答更偏向有用一點，那他必然要減少拒絕回答的機率更高，但你想要他更安全，勢必要增加他拒絕回答一些有毒性的問題，這是非常難取得平衡的問題。

還有這麼大的參數模型即使要微調也都不是很簡單的問題，很大的程度訓練中斷壞掉爆GPU記憶體錯誤都是很費時的，openAI這幾年跟Azure合作改善他們的系統錯誤率光是這樣就是非常有價值的，上千張顯卡並聯能夠完全不會意外崩潰加上能夠一次迭代到最後一步，更可怕的是他們能夠預測到最終scaling loss，這完全就是工藝的極致，沒有在這個領域的不會知道大語言模型訓練可能會有一堆意外，Meta自己在訓練OPT-175B(可以理解為開源版的GPT-3)光是重啟回到上一步就重啟了50次才完成，所以openAI可以標榜他們未來新訓練的模型可以穩定到不行而且量產就知道這絕對是可怕的事情。

最後就是LLM其實在去年就已經做到多模態，包含微軟、谷歌等都正在做這件事情，就是模型不只能理解語言更透過語言整合視覺模型、影片或是音頻模型，最後就是機械手臂。

可以看看谷歌的Palm-E
https://youtu.be/Q_pH-dhU8QM

透過大語言模型驅動機械臂，可以讓模型理解透過語言模型進行控制指令，這才是LLM做到多模態的真正威力，而且這在去年就已經是進行式，現在群眾感知到的只是學界、業界的成果而已。

未來模型只會更加進步，這邊已經是落地的未來，接著還有很多研究像是Hinton的膠囊網路其實已經有一些初步的成果模仿人類手臂感知物體的部件跟分解組合，更加具有生物邏輯(生物智能其實更確切來說是多器官神經系統，人類更是神經系統演化的極致，很多近期研究也發現人類可能不只有一個中央大腦主掌決策，甚至手腳可能都有自我思維）。

這也是人類進化的必然趨勢，我們正在第四次工業革命也就是智能革命的初階段，未來人類我相信一定能完全理解智力的運作機制克隆自己實現數位永生體。

以上

--

如果是要賺快錢，想想有什麼新應用還沒有人做的趁現在成立公司肯定有機會，在過一個 月就沒機會了。投資者的話，就通用聊天模型請投資大公司、小公司請投資應用或是市場 應用更窄的那邊還是藍海，LLM基礎開發兩三年內都還會是只有大公司玩得起的。至於求 職像詠唱師這種很快就會被取代了，現在學界已經在玩soft prompt(你可以理解為自己訓 練詠唱的模型)，軟體工程師大概幾年內會變更捲，不過高階能獨立思考研究產生價值的 工程師依舊會是稀缺職位。差不多是醬