Re: [黑特] 有一說一 拿政治歷史問題去問ai的都是87?
※ 引述 《ivorysoap》 之銘言:
: 有一說一 拿政治歷史問題去問ai的都是87?
: 這幾天看到最多說ds ai沒用的說法之一就是
: 它不回答政治問題 連歷史問題也答錯或不答
: 那就好笑了
這邊應該要說的比較清楚的是模型的背後其實就是統計建模的概念,不管是LLM或vLLM都是。像LLM越是沒有信心的知識在取樣下一個Token時越難取樣出事實,所以模型其實是很好控制的,越是複雜或是有爭議的事件模型除非人工強化不然他就越容易產生幻覺(Hallucination)。所以拿某些歷史尤其是冷門的歷史事件或政治人物他越不容易回答正確。
不過模型也需要為人服務,所以當初不管OpenAI或是DeepSeek 再訓練時才會引入強化學習,透過關鍵的獎勵模型大量調整模型變成盡可能不觸犯當地政策法律以及讓他變得有用無害,像chatGPT也被揭露針對特定敏感人物也會盡可能拒絕回答,還有種族問題也會配合美國政策避免觸及。同理,DeepSeek 也是。
不過DeepSeek 有一個優點就是他不像OpenAI完全閉源而是選擇開源模型,既然開源那你要微調成你喜歡
的樣子倒是沒什麼問題,開源的llama也是有辦法微調成中國政府喜歡的形狀。
不過DeepSeek 回歸技術面,我認為他優秀的是他是首個用COT的稀疏模型,雖然他全部的參數有到6710億但因為稀疏MoE架構所以激活狀態只用到370億,這個在Mistral等開源模型已經證實有用了,剩下還有MLA跟MTP等可以加速跟壓縮模型的方法。這個在技術上確實都證明可以減少GPU卡的消耗,所以什麼亂七八糟媒體說得用到很多GPU可以確定是唬爛的,激活狀態根本連8張卡都不用。即使真的DS公司大量收購五萬張好了,但訓練跟推理根本用不到那麼多就是了。
然後R1比較優秀的是用純強化學習免去OpenAI當時訓練o1還要經過大量人工標註(主要是因為PPO的Reward model需要用到PRM等過程獎勵模型),轉而使用規則加冷啟動方式分階段式提升避免模型跑偏,這個算是蠻關鍵的技術,領域內也是覺得是很優秀的工作。
我覺得不管是哪邊有色眼鏡都太多了,技術人員還是回歸技術面談技術,畢竟人生活成只有仇恨跟政治的人蠻可悲的。
--
※ 編輯: sxy67230 (1.162.81.196 臺灣), 01/28/2025 15:35:31
你罵到我了
難得在政黑版也能看到專業文
我還以為這種文只會出現在八卦板
那些政治狂連開源代表什麼意義都不懂
記得一年前我讓chatgpt用學生口吻寫一
你這篇沒罵中國必須噓
篇台灣景點的遊記 結果內容亂編一通
只要是真台灣人都看得出內容亂湊
剛才我試著叫ds寫一篇高美溼地遊記
我得承認 我台中人都找不出破佔了
當然了 chatgpt 現在有沒有進步我沒試
但至少代表ds有能力幫學生編照假遊記了
嗯,中共國確實人才濟濟,不僅DS, 淘寶,TE
MU,AliExpress 都把美國亞馬遜打得鼻青臉腫
。他們的缺點在制度,即使有這些成功企業,
社會大眾卻無法共享,反而越拉越遠,導致經
濟下行。台灣人少,要比人才還真比不過。
總算有夠專業的分析了 雖然還是不太懂
如果你有跟中共國人共識過,就能體會他們工
作態度比一般台灣人更投入,可惜他們的制度
沒有人權,生活變數太多,在台灣生活過的人
不會想過那種生活,除了少數像陳玉珍蕭敬騰
這些人。
中國在疫情時防疫政策可以一日三變,
他們現在消費萎靡儲蓄率很高和疫情當
時的政策應該不能說完全沒關係
爆
Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高預teamblind 匿名的可能有人不信 與其聽匿名、鄉民互吹/貶 不如來聽聽 Meta 現任 CEO Mark Zuckerberg 本人對於 Deepseek AI 模型的看法 2025/01/11 Mark Zuckerberg 接受美國知名喜劇演員 Joe Rogan 專訪 截至今日有 840 萬人看過這個影片47
[討論] Deepseek就之前吹過頭了呀 XD來看看DEEPSEEK之前怎麼吹的 「DeepSeek R1的問世,宣告AI訓練與推理成本大幅縮減,在不到600萬美元的極低投入成本 和2048塊性能遠低於H100與Blackwell的H800芯片條件下,DeepSeek團隊打造出性能堪比Ope nAI o1的開源AI模型,相比之下Anthropic與OpenAI訓練成本高達10億美元。該模型每百萬 個token的查詢成本僅爲0.14美元,而OpenAI的成本爲7.50美元,成本降幅高達驚人的98%。29
Re: [討論] OpenAI GPT o1模型OpenAI 最近推出了 GPT-o1,但很多人可能還沒意識到這件事的嚴重性。事實上,OpenAI 已經找到了一條通往 AGI(通用人工智慧)的階梯!這個新模型的關鍵在於,它已經整合了 ToT(思維樹)和 RL(強化學習),在大型語言模型(LLM)領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」,記住了大量的資料,所以我們在人類記憶力上輸了20
Re: [問卦] 為什麼deepseek會影響台積電 不懂?DeepSeek厲害的地方不是他便宜,不是他厲害,最重要的地方是他開源。 他的原始碼開源,權重開源(資料沒有開源),而且開放商業授權,他的 原始碼是MIT授權,權重則是基於OpenRail的特殊開源架構,也就是只有 一些特別場合他沒有授權,例如製造有害軟體,製造毒品等等 簡單來說你現在馬上就可以在你的電腦,你的公司使用了,你只要用很普X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。11
Re: [心得] DeepSeek將是刺破本輪泡沫的那根釘子DeepSeek其實真正的創新在model的高效設計,其真正的關鍵在efficient MOE還有MLA設計 這其實是2024年初DeepSeek V2就發表的東西 R1是把這個高效model設計+O1推理模型的LLM+RL合併出來的效應 我覺得歐美廠商因為本錢大所以忽略了降本增效的飛輪效應,所以第二個推理模型反而是中 國公司出圈了,推理模型的Test Time Compute對模型效率的敏感性就非常強烈了,訓練中8
[問卦] 如何利用deepseek開源模型 建構台灣AI聽說 deepseek-R1 是目前開源AI模型第一名 我有一個大膽的想法 既然這個模型是開源的 我們可以使用這個模型來建構台灣的 openAI 擺脫對美國AI大廠的依賴 是不是很聰明啊?1
[問卦] DeepSeek 就只是仿造ChatGPT 還吹成這樣剛看了DeepSeek R1原始文件 Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., ... & He, Y. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint arXiv:2501.12948. 看完結論就是4
[問卦]DeepSeek是不是台積電的救世主?[問卦] DeepSeek是不是台積電的救世主? 最近看到DeepSeek在那邊吹什麼MLA架構、MoE模型,說什麼訓練效率超高、推理速度超快 ,笑死,還不是靠台積電的5nm、3nm製程在撐?沒了GG的晶片,你這些所謂的「創新」還 能跑得動? DeepSeek這種吃硬體怪獸,光是訓練一個模型就要幾萬顆A100、H100,這些GPU還不都是3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事
爆
[討論] 你是公務員上班去打牌,扯打牌合法幹小 ?爆
[討論] 徐巧芯「下班玩樂恐有違社會觀感」24
[討論] 盧秀燕妳批的假單喔 ? 請假事由:去打牌47
[討論] 青鳥看到新光三越爆炸死人真很開心28
[討論] 鏡週刊公布橘子出境台灣照片38
[討論] 柵欄仔推文一定包含關鍵字的情況好嚴重42
[討論] 劉彥澧沒回應的部分42
[討論] 徐巧芯坦言社會觀感不佳9
[討論] 藍白是不是很沒料19
[討論] 徐巧芯老公請假打牌違反公務員服務法囉22
Re: [討論] 盧秀燕妳批的假單喔 ? 請假事由:去打牌23
[討論] 溫朗東是不是有點猛?20
[討論] 賭博跟幹小三哪一個道德比較高18
[討論] 柯文哲7點半那麼早進辦公室在做什麼?13
[討論] 黃國昌:民進黨搞大罷免搞到灰頭土臉16
[討論] 徐永明加入民眾黨15
[討論] 罷免領銜人算從政嗎?(Y/N?)14
[討論] 有人查賽程是快一個月欸,所以主委很閒13
Re: [討論] 盧秀燕妳批的假單喔 ? 請假事由:去打牌11
[討論] 有外遇不配當罷免領銜人但可以選總統??1
[討論] 為什麼親綠支持者對私德要求低?7
[討論] 機關首長准自己假去打撲克9
[討論] 台灣工資趕上日本了?9
[討論] 有外遇該死,那蔣萬安怎麼辦9
[討論] 最衰的是不是趙天麟9
[討論] 為什麼盧秀燕出事媒體就不報?3
[討論] 徐巧芯老公怎樣干罷免徐巧芯什事6
[討論] 綠畜上班時間打砲比較過份吧9
Re: [討論] 盧秀燕妳批的假單喔 ? 請假事由:去打牌7
[討論] 希望阿北早日去陪柯爸爸