[爆卦] 50美元訓練出媲美DeepSeek R1
李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型
https://arxiv.org/pdf/2501.19393
李飛飛等斯坦福大學和華盛頓大學研究人員近日以不到50美元的雲計算費用訓練了一個名叫s1的人工智能推理模型。該模型在數學和編碼能力測試中的表現與OpenAI的o1和DeepSeek的R1等尖端推理模型類似。研究人員表示,s1是通過蒸餾法由谷歌推理模型Gemini 2.0 Flash Thinking Experimental提煉出來的。
https://i.imgur.com/kFg9GjU.jpeg

斯坦福大學以及華盛頓大學的研究團隊展示了一種極低成本的 AI 訓練方法,被稱為 S1。
S1 僅使用 6 美元就能達到 OpenAI o1-preview 級別的推理性能!同時匹敵Deepseek R1
推理時間可控:S1 通過簡單的“Wait”機制,控制大模型的思考時間,提高推理能力。
S1 不是 OpenAI o1 或 DeepSeek R1 的直接復刻,但它揭示了在推理時微調 AI 的潛力,甚至可以媲美 Reinforcement Learning(強化學習)。
OpenAI 和 DeepSeek 早期研究發現,AI 在回答問題時“思考得更久”,往往能得出更好
的答案。但過去並沒有清楚解釋:如何在推理階段控制 AI 的思考時間?
S1 的創新點: S1 論文提供了推理時間擴展(Inference Scaling)的具體實現方法:
核心思想:如何在不改變 AI 訓練過程的情況下,提高 AI 解決複雜問題的能力?
方法:讓 AI 在推理時“多想幾秒”,自動檢查自己的答案,從而減少錯誤,提高正確率
!
結果證明,這種方法比 OpenAI o1-preview 還要好!
最重要的是:而且只用了 1000 道題! 這比一般 AI 訓練的數據少了 800 倍,但效果仍然很強!
此外,該模型可以在筆記本電腦上運行,並且其訓練成本僅為 6 美元。
--
好
多頂的筆電阿?_?
一樓我爸爸
去墾丁大街吃個晚餐還不夠花
硬體跟算力都人家的,當然花不到50美
元
蒸餾可以幹嘛
完了
濃縮再濃縮 提煉再提煉 這帖飲落 穩系A!!!
協尋唐鳳
就是同樣的問題 多問幾遍的意思
還敢笑中國卷啊 美國自己更卷
查了一下 基礎模型其實是通義千問2.5
只是拿Gemini 2.0蒸餾出來的答案微調
再蒸餾一次說不定只要0.1美元
越蒸餾度數越高
用中國人對付中國人 這很中國
重無到有才是厲害的…
濃縮再濃縮 提煉再提煉
有開源嗎?
先開源,再看看中國能卷出啥來,嘻嘻
蒸餾法=利用別人訓練好的模型 幫忙訓練自己
的模型
XDDDDDDDDD
別人訓的模型啊==
只要開源 過幾天就是白菜價
爆
[情報] 50美元訓練出媲美DeepSeek R1標題: 李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型 來源: Futu 網址:![[情報] 50美元訓練出媲美DeepSeek R1 [情報] 50美元訓練出媲美DeepSeek R1](https://i.imgur.com/kFg9GjUb.jpeg)
47
[討論] Deepseek就之前吹過頭了呀 XD來看看DEEPSEEK之前怎麼吹的 「DeepSeek R1的問世,宣告AI訓練與推理成本大幅縮減,在不到600萬美元的極低投入成本 和2048塊性能遠低於H100與Blackwell的H800芯片條件下,DeepSeek團隊打造出性能堪比Ope nAI o1的開源AI模型,相比之下Anthropic與OpenAI訓練成本高達10億美元。該模型每百萬 個token的查詢成本僅爲0.14美元,而OpenAI的成本爲7.50美元,成本降幅高達驚人的98%。![[討論] Deepseek就之前吹過頭了呀 XD [討論] Deepseek就之前吹過頭了呀 XD](https://i.imgur.com/94BvQMzb.jpg)
50
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據OpenAPI 的 Chief Research Officer (首席研究員) Mark Chen 2025/01/29 凌晨發了一波推文評價 Deepseek R1 的論文 恭喜 DeepSeek 產出了一個 o1 級別的推理模型!他們的研究論文顯示,他們獨立發現了![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/A73X07xb.png)
40
Re: [閒聊] DeepSeek是不是真的很強?這串一堆外行 首先 DeepSeek模型特點是 1. 訓練成本低 2. 推理成本低 先說訓練成本低33
Re: [情報] 50美元訓練出媲美DeepSeek R1基本上這是一個完全由美國本土的大學團隊成員 研究的成果,李飛飛是從小就移民美國的美國 人,本身是美國國家工程學會院士,如果這個也 算捲的話應該是美國人自己也在卷AI科技而且 還比之前的DS更狠,就看之後能不能提供上傳![Re: [情報] 50美元訓練出媲美DeepSeek R1 Re: [情報] 50美元訓練出媲美DeepSeek R1](https://img.youtube.com/vi/3O7b2HZCXKM/mqdefault.jpg)
23
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/ey5mX61b.png)
18
Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援Musk贊同投資公司Atreides Management合夥人兼資訊長貝克(Gavin Baker)在X提到 DeepSeek的R1低成本來自在訓練和推理效率上,取得了真正的算法突破 例如 FP8 訓練、MLA(機器學習加速)和多 token 預測。 訓練過程中涉及大量的知識蒸餾(distillation) 這意味著在沒有無限制存取 GPT-4o 和 o1 的情況下,這項訓練幾乎不可能完成。![Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援 Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援](https://i.imgur.com/wNCJOYBb.jpg)
11
Re: [心得] DeepSeek將是刺破本輪泡沫的那根釘子DeepSeek其實真正的創新在model的高效設計,其真正的關鍵在efficient MOE還有MLA設計 這其實是2024年初DeepSeek V2就發表的東西 R1是把這個高效model設計+O1推理模型的LLM+RL合併出來的效應 我覺得歐美廠商因為本錢大所以忽略了降本增效的飛輪效應,所以第二個推理模型反而是中 國公司出圈了,推理模型的Test Time Compute對模型效率的敏感性就非常強烈了,訓練中10
Re: [問卦] deepseek的天才少女不出來救場嗎?5 微軟CEO納德拉在電話會上強調,DeepSeek R1模型目前已可通過微軟的AI平台Azure AI Fou ndry和GitHub獲取,並且很快就能在Copilot+電腦上運行。納德拉稱DeepSeek“有一些真的 創新”,AI成本下降是趨勢:“縮放定律(Scaling Law)在預訓練和推理時間計算中不斷![Re: [問卦] deepseek的天才少女不出來救場嗎? Re: [問卦] deepseek的天才少女不出來救場嗎?](https://i.imgur.com/QqCGkqvb.jpeg)
8
Re: [新聞] 專訪杜奕瑾:DeepSeek被炒作過頭阿肥外商碼農阿肥啦! 這幾天都在休假陪老婆本來懶得說什麼,但這咖就沒什麼料,還覺得自己是專家。 Deepseek R1真正的貢獻就是在方法論上證明讓大語言模型直接走真正的RL去鼓勵模型生成 思考鏈的格式以及讓模型去想更久就會出現語言模型的啊哈時刻(AHA moment),而且是無 論模型的大小只要強化學習給模型指導規則讓AI模型持續接受指導跟環境學習模型就會在某![Re: [新聞] 專訪杜奕瑾:DeepSeek被炒作過頭 Re: [新聞] 專訪杜奕瑾:DeepSeek被炒作過頭](https://img.youtube.com/vi/5bgeHE3rI8M/mqdefault.jpg)