Re: [新聞]不,你無法用 600 萬美元複製一個 DeepSee
建議先去看LATS 比較好理解什麼叫方法論
簡單說R1是一套"如何讓LLM可以做深度思考"的方法論
原本要讓LLM做深度思考 之前的做法一律都是COT
比如把每次LLM的輸入輸出當作一個節點
把多個節點做評分 最終選擇整條鏈評分最高的項目 即MCTS概念
這就像是alphago那樣 每次棋步後面都要估算後面幾十步對於這步的總評分(勝率)
LATS就是用LangGraph去實現MCTS的COT 這是方法論 所以可以套用任何LLM
你替換任何LLM LATS都能提升輸出成果
GPT-o1(原q* project)採用人工先寫好大量的推論步驟去保證COT品質
並非直接讓AI去隨意生成許多條節點再自我評分 而是人工先標註什麼是好推論
因此人工撰寫教科書等級的推論就是o1高成本最主要的因素
(這也是CloseAI藏起來的主因 這個很貴不能給其他人看到XD)
就像alphago master需要挖出所有頂尖對局棋譜然後數位化
R1則是捨棄了節點拆步驟思維 直接讓LLM去隨意探索可能方式
在這個情況下R1反而做出了各種有創意的推論方式
就像是alphago zero 自行探索反而下出自己一套邏輯
如同LATS可以替換任何的LLM R1也可以使用任何的LLM去做這件事
實驗室復現R1是指拿一個LLM 做這個方法論 看可以拿到AI怎麼做推論過程
復現的結論也高度一致 使用越優秀的LLM當作基底 可以拿到更好的推論過程
所以任何LLM都可以做R1 就跟任何LLM都可以套LATS類似
--
Openapi 都跳出來質疑有distill 痕
跡了,你回那麼嗆小心被打臉啊
你說的跟本不是什麼新技術,也跟di
stilled 不衝突
馬上就飛一隻出來了 不是什麼新技術 那openai google meta怎麼不先做(挖鼻
不然這樣啦 deepseek開直播訓練
用2000塊 H800訓練來看看啊
才剛講完馬上就來兩個青鳥XDDDD 都有實驗室用30鎂就復現了
可以用30鎂就復現,那DS花550萬鎂
幹嘛XDD!!
一個是先人研究出方法 一個只是照用別人的方法 你會說你高中就學會牛頓高斯想幾十年的東西 所以牛頓高斯在浪費人生?
以你的邏輯,R1是用人家砸大錢訓練
出來的LLM來前進,那些砸大錢的公
司在浪費人生?
"可以用30鎂就復現,那DS花550萬鎂幹嘛XDD!" 這句話是你說的又不是我說的 我現在一整個黑人問號
一句話啦,你敢保證Deepseek沒有用
Distill技術?如果不敢保證,就把
隨便罵人青鳥字眼吞回去
對不起讓你誤會了 我絕對沒有說你是青鳥
我是覺得盡量不要一開始就把人打入
某一族群,科技板不該這樣
政治立場帶入單純技術討論 碩士用
雞腿換的?
如果要像這樣"純技術討論" 我還是繼續用雞腿吧
![圖 不,你無法用 600 萬美元複製一個 DeepSee](https://i.imgur.com/2BDUqa7.png?e=1738651394&s=WCJeuZiTdPXbryhVrzE_hg)
純技術討論? 我信你個鬼!
但我也不是耶XD 單純就事論事
看我以往推文就知道我不是XD
抱歉 我不該說你是青鳥
這樣受益良多感謝,另外想詢問因為
deepseek 似乎沒有公開他們這套方
法論是對哪個LLM模型,現在openai
質疑distill 是質疑他們使用的LLM
對chatgpt distill然後再用這套方
法論嗎?
這麼說很有可能 deepseek v3本身應該就是幹了很多資料XD
因為本身不是做NLP相關的,以前也
沒接觸多少ai研究,如果問了蠢問題
敬請見諒
LLM終於來到了zero的時代 我對這點是蠻興奮的
※ 編輯: KanzakiHAria (36.231.98.6 臺灣), 01/29/2025 19:44:13反而覺得distill還好 那些模型
在訓練時也沒少盜用別人著作權文章
LATS也是用MCTS,只是評分方式改成
用LLM自己的機率函式?
自己把生出來的subtree再丟給LLM自己評分擇優 不一定是打分數 只要能選較好的路徑 當然衍生方式就很多 要不要另外用一個LLM專門做路徑的評分? 就可以發下一篇XD 或者專門訓練一個評分系統 發下一篇 博士生要論文生論文就是這樣做
※ 編輯: KanzakiHAria (36.231.98.6 臺灣), 01/29/2025 20:44:12知識蒸餾要有模型 OpenAI沒有公開
模型 DS頂多用OpenAI模型去標注數
據
沒有公開不代表DS拿不到啊
反對你的人就說是青鳥是三小,反民
進黨也不要反到這麼弱智操,很丟返
民進黨派的臉
只會噓文的ID 花這麼久才找到這麼小的噓點
※ 編輯: KanzakiHAria (36.231.97.33 臺灣), 01/30/2025 18:42:0335
Re: [請益] AI到底是遇到什麼問題?技術跟應用場景的問題我不談,之前的人已經談過了,大致上沒有問題。 不同領域的人可能體驗不太一樣,但LLM普及的程度並沒有這麼低,具體而言,主要是 ChatGPT ,在部分領域已經是不可或缺的必要工具,到了掛掉會影響到正常工作或不能工作的程度。 首先是 coding,就我而言,至少有50%的程式碼已經是由 ChatGPT 完成的,遇到 bug 我幾乎沒有再用 Google 或是 stackoverflow ,log 直接丟進 ChatGPT , 大部分情況下它都能大幅減少我的工作時間。 除了遇到有關於 pydantic 的問題,因為這個 module 最近出了V2,模型的回答經常會混合V1的答案,而且傻傻分不清楚,在之前舊的沒有納入 pydantic 的版本時,這問題更為嚴重,必須要自己先提供文件用RAG 讓它知道。 但是就我實際的觀察周邊的人,發現LLM 對於低階的工程師,高階的工程師的幫助個別顯著,但是對於中階工程師而且有使用上的困難。29
Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高目前就在旁邊吃瓜觀望@@ 成本這種本就是用開源後的可以拿已有的模型去當輔助下降成本 最常見作法就是拿gpt-4o當judge或者當數據產生器 去精煉數據集 如果再沒有gpt-4o 情況下 很多高質量資料去產生就花很錢 最經點例子就是LLaVa 一個博士班學生 用gpt-4o 去產生高質量多模態數158k 極小量數據集 用8xA100 1天時間 就幹爆之前所有 多模態大模型 能打贏saleforce的一間大公司堆出來的多模態BLIP-2模型29
Re: [討論] OpenAI GPT o1模型OpenAI 最近推出了 GPT-o1,但很多人可能還沒意識到這件事的嚴重性。事實上,OpenAI 已經找到了一條通往 AGI(通用人工智慧)的階梯!這個新模型的關鍵在於,它已經整合了 ToT(思維樹)和 RL(強化學習),在大型語言模型(LLM)領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」,記住了大量的資料,所以我們在人類記憶力上輸了20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦! 剛好看到這篇文章就回覆一下,這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力,我其實不贊同LeCun說的LLM是歪路,畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證), 但科學上不去驗證你沒辦法證明某些事情的。11
[問卦] 所以LLM到底是什麼?看今天臉書上好多粉絲團都在討論LLM 所以板上的大家啊 到底什麼是LLM啊? 那個可以幹嘛?能吃嗎? --10
Re: [討論] OpenAI GPT o1模型阿肥外商碼農阿肥啦! 目前技術太多都說得太雲裡霧裡,但是截至目前為止針對o1其實OpenAI透露出來的技術細 節都不如過往得多,像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探,所以就 不做過份的臆測了。 以目前的一些文件上有提到的可以確定這次o1使用了CoT這絕對是一個Agent沒錯(跟過往10
Re: [討論] 大家會擔心 ai 寫 code 讓工程師飯碗不解決幻覺,不一定要從LLM解, 而是靠系統架構解。 例如,做一個問答系統,很多人減少幻覺是這樣做的: 0. 預先整理好QA問答資料集 (人工整理,或機器輔助整理)6
[討論] 讀完現今LLM的運作邏輯後...我發現我們距離真正產出一個「人」還是差得太遠了 光是目前LLM的算法就已經預示了要讓機器產生出價值觀基本上非常難 用機率分布跟加權的方式來決定下一個文字是什麼的這種方式 就代表LLM絕對會一直傾向產出最合乎邏輯且合乎她所學習的文本的回答 然而一個人的價值觀所帶來的獨特性 甚至是「我和別人相信的不一樣」的這種特性1
[黑特] 審計部最應該導入LLM吧立委諸公們對預算都很有意見 不過查預算結算很多眉角 一般民眾沒時間只能看報告跟立委質詢 導入LLM 可以讓更多人了解我們的錢花哪裡去- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬