PTT推薦

Re: [黑特] 有一說一 拿政治歷史問題去問ai的都是87?

看板HatePolitics標題Re: [黑特] 有一說一 拿政治歷史問題去問ai的都是87?作者
sxy67230
(charlesgg)
時間推噓 X 推:2 噓:3 →:21

※ 引述 《ivorysoap》 之銘言:
: 有一說一 拿政治歷史問題去問ai的都是87?
: 這幾天看到最多說ds ai沒用的說法之一就是
: 它不回答政治問題 連歷史問題也答錯或不答
: 那就好笑了

這邊應該要說的比較清楚的是模型的背後其實就是統計建模的概念,不管是LLM或vLLM都是。像LLM越是沒有信心的知識在取樣下一個Token時越難取樣出事實,所以模型其實是很好控制的,越是複雜或是有爭議的事件模型除非人工強化不然他就越容易產生幻覺(Hallucination)。所以拿某些歷史尤其是冷門的歷史事件或政治人物他越不容易回答正確。

不過模型也需要為人服務,所以當初不管OpenAI或是DeepSeek 再訓練時才會引入強化學習,透過關鍵的獎勵模型大量調整模型變成盡可能不觸犯當地政策法律以及讓他變得有用無害,像chatGPT也被揭露針對特定敏感人物也會盡可能拒絕回答,還有種族問題也會配合美國政策避免觸及。同理,DeepSeek 也是。

不過DeepSeek 有一個優點就是他不像OpenAI完全閉源而是選擇開源模型,既然開源那你要微調成你喜歡
的樣子倒是沒什麼問題,開源的llama也是有辦法微調成中國政府喜歡的形狀。

不過DeepSeek 回歸技術面,我認為他優秀的是他是首個用COT的稀疏模型,雖然他全部的參數有到6710億但因為稀疏MoE架構所以激活狀態只用到370億,這個在Mistral等開源模型已經證實有用了,剩下還有MLA跟MTP等可以加速跟壓縮模型的方法。這個在技術上確實都證明可以減少GPU卡的消耗,所以什麼亂七八糟媒體說得用到很多GPU可以確定是唬爛的,激活狀態根本連8張卡都不用。即使真的DS公司大量收購五萬張好了,但訓練跟推理根本用不到那麼多就是了。

然後R1比較優秀的是用純強化學習免去OpenAI當時訓練o1還要經過大量人工標註(主要是因為PPO的Reward model需要用到PRM等過程獎勵模型),轉而使用規則加冷啟動方式分階段式提升避免模型跑偏,這個算是蠻關鍵的技術,領域內也是覺得是很優秀的工作。

我覺得不管是哪邊有色眼鏡都太多了,技術人員還是回歸技術面談技術,畢竟人生活成只有仇恨跟政治的人蠻可悲的。

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.81.196 (臺灣)

※ 文章網址:
https://www.ptt.cc/HatePolitics/E.uco3YrbP5iV4

※ 編輯: sxy67230 (1.162.81.196 臺灣), 01/28/2025 15:35:31

Gedu 01/28 15:35你罵到我了

ivorysoap 01/28 15:39難得在政黑版也能看到專業文

ivorysoap 01/28 15:40我還以為這種文只會出現在八卦板

ivorysoap 01/28 15:41那些政治狂連開源代表什麼意義都不懂

ivorysoap 01/28 15:42記得一年前我讓chatgpt用學生口吻寫一

ai2311 01/28 15:42你這篇沒罵中國必須噓

ivorysoap 01/28 15:42篇台灣景點的遊記 結果內容亂編一通

ivorysoap 01/28 15:43只要是真台灣人都看得出內容亂湊

ivorysoap 01/28 15:43剛才我試著叫ds寫一篇高美溼地遊記

ivorysoap 01/28 15:44我得承認 我台中人都找不出破佔了

ivorysoap 01/28 15:44當然了 chatgpt 現在有沒有進步我沒試

ivorysoap 01/28 15:45但至少代表ds有能力幫學生編照假遊記了

iamm 01/28 15:47嗯,中共國確實人才濟濟,不僅DS, 淘寶,TE

iamm 01/28 15:47MU,AliExpress 都把美國亞馬遜打得鼻青臉腫

iamm 01/28 15:47。他們的缺點在制度,即使有這些成功企業,

iamm 01/28 15:47社會大眾卻無法共享,反而越拉越遠,導致經

iamm 01/28 15:47濟下行。台灣人少,要比人才還真比不過。

meblessme 01/28 15:51總算有夠專業的分析了 雖然還是不太懂

iamm 01/28 15:52如果你有跟中共國人共識過,就能體會他們工

iamm 01/28 15:52作態度比一般台灣人更投入,可惜他們的制度

iamm 01/28 15:52沒有人權,生活變數太多,在台灣生活過的人

iamm 01/28 15:52不會想過那種生活,除了少數像陳玉珍蕭敬騰

iamm 01/28 15:52這些人。

cytochrome 01/28 19:58中國在疫情時防疫政策可以一日三變,

cytochrome 01/28 19:58他們現在消費萎靡儲蓄率很高和疫情當

cytochrome 01/28 19:58時的政策應該不能說完全沒關係