[爆卦] 50美元訓練出媲美DeepSeek R1
李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型
https://arxiv.org/pdf/2501.19393
李飛飛等斯坦福大學和華盛頓大學研究人員近日以不到50美元的雲計算費用訓練了一個名叫s1的人工智能推理模型。該模型在數學和編碼能力測試中的表現與OpenAI的o1和DeepSeek的R1等尖端推理模型類似。研究人員表示，s1是通過蒸餾法由谷歌推理模型Gemini 2.0 Flash Thinking Experimental提煉出來的。
https://i.imgur.com/kFg9GjU.jpeg
斯坦福大學以及華盛頓大學的研究團隊展示了一種極低成本的 AI 訓練方法，被稱為 S1。
S1 僅使用 6 美元就能達到 OpenAI o1-preview 級別的推理性能！同時匹敵Deepseek R1
推理時間可控：S1 通過簡單的“Wait”機制，控制大模型的思考時間，提高推理能力。
S1 不是 OpenAI o1 或 DeepSeek R1 的直接復刻，但它揭示了在推理時微調 AI 的潛力，甚至可以媲美 Reinforcement Learning（強化學習）。
OpenAI 和 DeepSeek 早期研究發現，AI 在回答問題時“思考得更久”，往往能得出更好
的答案。但過去並沒有清楚解釋：如何在推理階段控制 AI 的思考時間？
S1 的創新點： S1 論文提供了推理時間擴展（Inference Scaling）的具體實現方法：
核心思想：如何在不改變 AI 訓練過程的情況下，提高 AI 解決複雜問題的能力？
方法：讓 AI 在推理時“多想幾秒”，自動檢查自己的答案，從而減少錯誤，提高正確率
！
結果證明，這種方法比 OpenAI o1-preview 還要好！
最重要的是：而且只用了 1000 道題！ 這比一般 AI 訓練的數據少了 800 倍，但效果仍然很強！
此外，該模型可以在筆記本電腦上運行，並且其訓練成本僅為 6 美元。
--
好
多頂的筆電阿？_？
一樓我爸爸
去墾丁大街吃個晚餐還不夠花
硬體跟算力都人家的，當然花不到50美
元
蒸餾可以幹嘛
完了
濃縮再濃縮 提煉再提煉 這帖飲落 穩系A!!!
協尋唐鳳
就是同樣的問題 多問幾遍的意思
還敢笑中國卷啊 美國自己更卷
查了一下 基礎模型其實是通義千問2.5
只是拿Gemini 2.0蒸餾出來的答案微調
再蒸餾一次說不定只要0.1美元
越蒸餾度數越高
用中國人對付中國人 這很中國
重無到有才是厲害的…
濃縮再濃縮 提煉再提煉
有開源嗎？
先開源，再看看中國能卷出啥來，嘻嘻
蒸餾法=利用別人訓練好的模型 幫忙訓練自己
的模型
XDDDDDDDDD
別人訓的模型啊==
只要開源 過幾天就是白菜價
爆
[情報] 50美元訓練出媲美DeepSeek R1標題： 李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型 來源： Futu 網址：![[情報] 50美元訓練出媲美DeepSeek R1](https://i.imgur.com/kFg9GjUb.jpeg "[情報] 50美元訓練出媲美DeepSeek R1")
47
[討論] Deepseek就之前吹過頭了呀 XD來看看DEEPSEEK之前怎麼吹的 「DeepSeek R1的問世，宣告AI訓練與推理成本大幅縮減，在不到600萬美元的極低投入成本 和2048塊性能遠低於H100與Blackwell的H800芯片條件下，DeepSeek團隊打造出性能堪比Ope nAI o1的開源AI模型，相比之下Anthropic與OpenAI訓練成本高達10億美元。該模型每百萬 個token的查詢成本僅爲0.14美元，而OpenAI的成本爲7.50美元，成本降幅高達驚人的98%。![[討論] Deepseek就之前吹過頭了呀 XD](https://i.imgur.com/94BvQMzb.jpg "[討論] Deepseek就之前吹過頭了呀 XD")
50
Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據OpenAPI 的 Chief Research Officer (首席研究員) Mark Chen 2025/01/29 凌晨發了一波推文評價 Deepseek R1 的論文 恭喜 DeepSeek 產出了一個 o1 級別的推理模型！他們的研究論文顯示，他們獨立發現了![Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據](https://i.imgur.com/A73X07xb.png "Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據")
40
Re: [閒聊] DeepSeek是不是真的很強?這串一堆外行 首先 DeepSeek模型特點是 1. 訓練成本低 2. 推理成本低 先說訓練成本低33
Re: [情報] 50美元訓練出媲美DeepSeek R1基本上這是一個完全由美國本土的大學團隊成員 研究的成果，李飛飛是從小就移民美國的美國 人，本身是美國國家工程學會院士，如果這個也 算捲的話應該是美國人自己也在卷AI科技而且 還比之前的DS更狠，就看之後能不能提供上傳![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://img.youtube.com/vi/3O7b2HZCXKM/mqdefault.jpg "Re: [情報] 50美元訓練出媲美DeepSeek R1")
23
Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強![Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據](https://i.imgur.com/ey5mX61b.png "Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據")
18
Re: [新聞] DeepSeek 遇大規模網路攻擊，暫時只支援Musk贊同投資公司Atreides Management合夥人兼資訊長貝克（Gavin Baker）在X提到 DeepSeek的R1低成本來自在訓練和推理效率上，取得了真正的算法突破 例如 FP8 訓練、MLA（機器學習加速）和多 token 預測。 訓練過程中涉及大量的知識蒸餾（distillation） 這意味著在沒有無限制存取 GPT-4o 和 o1 的情況下，這項訓練幾乎不可能完成。![Re: [新聞] DeepSeek 遇大規模網路攻擊，暫時只支援](https://i.imgur.com/wNCJOYBb.jpg "Re: [新聞] DeepSeek 遇大規模網路攻擊，暫時只支援")
11
Re: [心得] DeepSeek將是刺破本輪泡沫的那根釘子DeepSeek其實真正的創新在model的高效設計，其真正的關鍵在efficient MOE還有MLA設計 這其實是2024年初DeepSeek V2就發表的東西 R1是把這個高效model設計+O1推理模型的LLM+RL合併出來的效應 我覺得歐美廠商因為本錢大所以忽略了降本增效的飛輪效應，所以第二個推理模型反而是中 國公司出圈了，推理模型的Test Time Compute對模型效率的敏感性就非常強烈了，訓練中10
Re: [問卦] deepseek的天才少女不出來救場嗎？5 微軟CEO納德拉在電話會上強調，DeepSeek R1模型目前已可通過微軟的AI平台Azure AI Fou ndry和GitHub獲取，並且很快就能在Copilot+電腦上運行。納德拉稱DeepSeek“有一些真的 創新”，AI成本下降是趨勢：“縮放定律（Scaling Law）在預訓練和推理時間計算中不斷![Re: [問卦] deepseek的天才少女不出來救場嗎？](https://i.imgur.com/QqCGkqvb.jpeg "Re: [問卦] deepseek的天才少女不出來救場嗎？")
8
Re: [新聞] 專訪杜奕瑾：DeepSeek被炒作過頭阿肥外商碼農阿肥啦！ 這幾天都在休假陪老婆本來懶得說什麼，但這咖就沒什麼料，還覺得自己是專家。 Deepseek R1真正的貢獻就是在方法論上證明讓大語言模型直接走真正的RL去鼓勵模型生成 思考鏈的格式以及讓模型去想更久就會出現語言模型的啊哈時刻（AHA moment)，而且是無 論模型的大小只要強化學習給模型指導規則讓AI模型持續接受指導跟環境學習模型就會在某![Re: [新聞] 專訪杜奕瑾：DeepSeek被炒作過頭](https://img.youtube.com/vi/5bgeHE3rI8M/mqdefault.jpg "Re: [新聞] 專訪杜奕瑾：DeepSeek被炒作過頭")