Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據
※ 引述《mangle (mangle123)》之銘言:
: 比較好奇這段:
: 儘管蒸餾是AI業界常見做法,但DeepSeek若利用蒸餾技術來打造自家模型,並與OpenAI競 爭,將違反OpenAI服務條款,因此產生疑慮。
: OpenAI的服務,或是「利用輸出結果,來開發與OpenAI競爭的模型」。
: 各個ai 大語言模型不是都會互相參照比較和訓練嗎? 我以為這是業界常識…
: 不過要怎麼定義「與openai 競爭的模型」? 因為deepseek 也沒盈利而且也開源學習,他也承認他不只從chatgpt訓練也參照不少,deep seek 也認為自己是chatgpt
: 所以是真有盜竊疑慮,還是業界常識的互相學習使用? 如何定義這部分
各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣
AI = 模型的程式碼+訓練
能開源的部分只有程式碼, 訓練是看各自調教
模型的能力夠, 差不多的調教方式就會得到差不多的結果
訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強
自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法
預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識
監督微調: 有了基本能力之後, 模型開始有推理能力
這時候由人類介入, 告訴模型怎麼想是對的, 怎麼想是錯的
之前所謂的貼標籤, 就是這個階段
獎勵建模: 把對錯的判斷建立模型, AI想對了, 這個模型就獎勵他
強化學習: AI自己跟自己練習
不管是meta還是google, 之前都是照OpenAI這個成功模式做
所以這些公司能做的就是拚算力, 透過更大量的訓練, 希望最終可以暴力超車
但蒸餾就不同, 蒸餾是直接拿另一個模型的推理結果, 讓另一個模型照著得到同樣結果
譬如我要我剛剛問ChatGPT, 要他給舉例說明什麼是擬人法
他的回答是這樣
https://i.imgur.com/ey5mX61.png
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/ey5mX61.png?e=1738608161&s=U3o_ZtWWD_PFHdnEzOW4KA)
ChatGPT要回答這個問題, 中間要經過很多推理, 譬如他要先理解我的問題
這裡面就牽涉到, 他要理解我講的擬人法是修辭當中的擬人法
然後再從這一個理解, 去思考擬人法的意思是甚麼, 最後再想出一個符合範例
蒸餾的話, 就是學生模型已經預先知道這個問題的答案是甚麼
有頭有尾, 要生出中間的推理就會比較容易
但這裡有個問題
你要用蒸餾讓一個模型得到另一個模型類似的能力
通常就是需要老師模型產生極大量的練習後結果
才能傳授畢生功力給學生模型
如果ChatGPT是開源模型, 可以自己部署在自己平台上
要做這樣大規模訓練是有可能
但ChatGPT無法部署在自己平台
(剛剛有人說ChatGPT 2可以, 但蒸餾頂多只能逼近老師, 用ChatGPT 2只能蒸出垃圾)
所以要做蒸餾只能透過API, 而要透過API做幾千萬甚至幾億規模的蒸餾訓練
這難度極高啊....
(ChatGPT剛剛教我另一個方法
就是拿一個原本就有ChatGPT4能力的模型
這樣只要少量訓練, 就能超越ChatGPT 4
但原本就有ChatGPT 4能力的新模型難道自己會生出來嗎XD
你還是得先得到這個模型啊...就是V3
那V3怎麼來?)
--
你先讓美吹上車完再焊死車門好嗎
支那粉蛆說好的重擊美股呢?? 怎又開始自卑了???????
deepseek已經不重要 openai原本商法已經沒用 市場
投資都要重新估值
接下來怎麼圈錢才是問題
學生只要念會考試的範圍就好了
大規模使用的LLM平台, 會考的範圍就是全部了
題庫就在那裡了
大規模LLM平台的題庫, 差不多就是全世界所有問題了..
openAI不是說有兩個可疑帳號大量使用API
你ban我算力我直接偷抄答案 很符合對岸的邏輯
LLM沒辦法只抄答案 LLM必須具備推理能力才能應付
18
所有問題 只能說 有頭有尾 要生出推理比較容易
所以蒸餾可以讓學生得到比老師還口語化的結果?
就像計算題已經知道答案要寫算式 總是比較容易
學生比老師厲害不是很正常嗎 人類社會不就這樣@@a
蒸餾通常沒辦法比老師厲害
蒸餾就是讓學生模仿老師 逼近老師
如果ai模型 沒辦法做到學生比老師強 那不就廢了@@?
目前用的蒸餾法沒辦法
目前的蒸餾法會劣化
chatgpt 全名generative pre-trained transformer
等等…….股點勒 現在也要把股版蒸餾成柵欄版喔?
一直蒸下去 會越來越笨
越練越笨 那就不叫ai好嗎 =.=a
我好奇 deepseek也是transformer architecture嗎?
deekseek的呈現方式 沒理由不是transformer
transformer指的是 理解輸入資訊->推理->轉成輸出
蒸的丸子
應該這樣 輸入資訊->理解+推理->轉成輸出
openai裡面有中國的內鬼 外洩機密給中國公司
中間的理解跟推理 是用數學模型 利用大量文本訓練
deepseek 的 weights 也是公開的阿
找出自然語言每個片段意義之間的關聯性
估狗到有針對一般蒸餾法做改良的,可以用更少的資料
達到舊有的蒸餾效果,像google有開發個Distilling
Step-by-Step技術
google上面那個"較少資料"是80%耶
transformer 其實就是複雜一點的attention model
你用的是基於事實的分析來進行推理,這邊的人是用主
觀意識形態扣帽子來反駁 雙方沒有交集點
那所謂80%,照我的閱讀理解,應該不是指相較傳統蒸
餾可以減少的工作量,只能看有無專業的能解釋一下吧
我之所以提transformer 是因為它可以做transfer
learning (遷移學習)
等於openai把95% transformer架構做好後 別人用此
架構做遷移學習去訓練調教很類似的LLM
transfer learning是直接提取模型的特徵到另一個
模型用 你沒辦法把openai拿出來用
r1奠基在v3上,v3是ds自己train的不是?只是站在巨
人的肩膀上,以及工程的精進使得成本較低
每一個模型都是啊
如果是特定任務的小語言模型要騙騙補助/投資用上面
那套確實可行,但像DS這種大的這樣搞可能還更貴
推科普
o1 站在4的肩膀上 據說還是花了相當於2億的gpu時間
這個不是R1成本較低的原因
這問題直接問R1啊,他自己都說有可能了...
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/JGz4wJ8.jpeg?e=1738605069&s=NsAo8XbInMFRg8iCffm8_g)
v3蠻難用的 大概就跟others差不多
r1套上去才有點看頭
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/DE9E1Ro.png?e=1738658879&s=aYILOpV85K5ZllWB1ZgXCA)
這個是我直接問R1, deepseek R1是否有可能從chat
gpt o1蒸餾而來, R1的答覆
其實他的第二段就是我講的
你無法部署chatGPT o1, 所以你只能用API做蒸餾
I大圖好像壞掉了?
是不是有可能? 可能性不是零
我貼的圖好像只能手機看
是不是有可能?用API做蒸餾 可能性不是零
但幾千萬上億次的調用...
問o1-mini也說可能。專有名詞叫黑盒蒸餾
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/ykW4LOG.jpeg?e=1738666660&s=tMGsWCvCXBAQDuvr-ZdDhA)
遇到一個不講武德的,用暴力式創新
股價說明一切XD
可能性不為零 只能這麼說
我這邊也是告訴你可能性不為零 但這個規模的調用
難度極高
而且說實在 R1一點也不像模仿o1
對話過就知道了
現在最好奇的是,如果真的大外宣為什麼不叫R1寫
大外宣我是覺得不像啦 之前聽都沒聽過 @@a
一直沒呼叫過o1,o1的chain of thought也是會條列嗎
OpenAI 指的是R1嗎 我怎麼覺得指的是v3
還是跟o1-mini一樣直接生結果?
v3跟4o回答是有點像。但v3真的不強
難道OpenAI不是基於事實指控?
B站搜了一下 ds去年6-7月就有了 沒啥影片@@a
v3就便宜而已 https://i.imgur.com/RAjyN65.jpeg
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/RAjyN65.jpeg?e=1738642684&s=HM0vXYV2bGjb2YNmWOHpbw)
爆紅也是這幾天的事 說大外宣其實蠻怪的 @@a
爆紅的是R1 上週1/22才公佈R1論文 DS去年就不強
說盜用,也不是指百分百都靠蒸餾,關鍵部分調整方向
蠻有可能的
o1會條列 但是沒DS詳細
DS思考步驟說得很細 O1只會大概說一點
我呼叫o1-preview沒條列...o1有鎖api key不給中介
價值3塊台幣的o1-preview 回答如下
DS某些方面來說 解決部分AI黑箱思考的問題
![圖 OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/Xxfekfz.jpeg?e=1738622335&s=5YarYgr-GSXSOFb-LENTcA)
學生學習老師 當然要更厲害啊
所以你就知道很多人完全沒用過完全是在瞎討論
它們不知道左下角R1沒點下去 就只是在用v3
甚至不知道v3 r1 o1 o3 在說什麼
如果不知道R1跟v3的差別 那討論什麼蒸餾?
照這樣理解以後中國一直抄(蒸餾)就好啦除非美國鎖國
阿所以要限制啊 別人花了大錢訓練的模型給你吃豆腐
以後誰還要花錢訓練
是有這樣的意見沒錯 昨天就有人說通用型的會非常捲
類似當年搜尋引擎大戰 近乎永遠免費給你用這樣
專用型的ASIC與相關軟體可能會更快實現獲利
openAI現在是要收錢的阿 你要叫它們也課個關稅嗎
有一說一,openai自己也是搜刮網路上別人的智財當
基底訓練的,他好意思說吃豆腐? 第二,訓練花錢也是
各個巨頭把毛利擴張到50%以上以近壟斷方式堆出來的
,拿證實體公司,毛利給你15-25%,訓練成本會高到哪
可以蒸芝麻包ㄇ?芝麻包豪好粗
拿別人的蒸餾酒來提煉自己的酒,大概是這概念吧
人真好 解釋給一堆笨蛋聽
剛剛OpenAI說去年下半有超大量API請求啊,
他以此推論的
想也知道怎麼可能靠call api 很貴的
也不需要解釋這麼多,投資就是靠認知的落差賺錢,
看好看衰選一台車上,讓時間來決定勝者就是了
所以openai說有call api就知道人家有抄襲?這只有
智障青鳥會信
以AI 模型來說,公開推理計算方式不是什麼新聞。大
部分AI “系統” 比得是前處理功力,要先生出夠有意
義的邊境資料,後段訓練才有意義。而訓練資料的清理
/篩選的成本,則不一定會被算進所謂的“訓練成本”
。至於 針對特定,處理過的資料來源,以另一套系統
的推演結果,直接當第二套的來源,在實務上不算罕見
,實作上很多跨領域系統都這樣搞。但,學術上一般是
不認可這種應用方式就是。
一般是把第一套系統當成前處理,第二套系統的範圍比
前套小但針對特定領域更細分的預測系統。整體訓練成
本會更低,特定小範圍的結果品質會比的第一套系統好
。這種算是特化架構,缺點是:擴張困難。處理的問題
,領域數目增加到一個程度,整體效能(結果的品質)
會比原系統差...
思考步驟可以用prompt,看回答不能判斷
讚耶 拿openAI來開源 叫蒸餾 簡直是改包裝加12道功
法
不會去科技版討論?
模型是程式碼??18124你可以不要LLM問幾個問題就出
來造謠了嗎?我建議你先去了解pytorch跟transformer
不然一知半解出來發文真的讓人不忍直視…
科技版當年嘲笑Chatgpt的現在質疑DeepSeek 水準低
推文是不是有文盲,哪個字看到模型是程式碼
模型的程式碼跟模型是程式碼天差地遠好不好
57
DeepSeek這玩意不管是真是假,但的確撼動到US金融市場 所以過去24小時的劇情是這樣發展的 1.正在為聯邦預算頭痛的DOGE馬,開了第一槍,畢竟社保基金還一籮筐在 股市,這錢無論如何是不能賠的,NVDA不小心搞崩,會帶垮七仙女的 先不管有沒有驗證,既然屁股在那裡,先喊詐騙再說44
比較好奇這段: 儘管蒸餾是AI業界常見做法,但DeepSeek若利用蒸餾技術來打造自家模型,並與OpenAI競 爭,將違反OpenAI服務條款,因此產生疑慮。 OpenAI婉拒進一步說明或提供證據細節。根據該公司的服務條款,用戶不得「複製」任何 OpenAI的服務,或是「利用輸出結果,來開發與OpenAI競爭的模型」。 各個ai 大語言模型不是都會互相參照比較和訓練嗎? 我以為這是業界常識…16
現在全網路上的開源數據資料是屬於pre-training端 大多都是野生數據 無標籤 那東西只是讓模型去向鸚鵡一樣 去做文字接龍 但第二階段訓練會用到RLHF (Reinforcement Learning from Human Feedback) 就是要人類針對不同數據給意見 這個是要給標籤 所以你才會聽到狗家之前要求全公司員工去給意見讓Gemini前身 Bard 去做人類feedback32
各位是不是忘了 中國人文化 先說ㄛ 我沒深究 但我六年前影像的 我猜原理應該還是差不多 AI 發展幾十年 論文裡從沒看過 模型能只接把算力幹掉90%的 偏偏中國人就可以,雖說中國人也發表過幾篇幾十萬引用的優秀模型 但經典開源模型裡 通常會給出爆
以下部分資訊來自於Reddit anitakirkovska文章的翻譯 LDPC哥哥講到一個重點 Reinforcement Learning =/= Reinforcement Learning from Human Feedback 這也是R1為什麼爆紅的原因1
前文恕刪 : 看到這東西,反正是開源的,程式碼都攤開在那邊給你看 : 應該是要想著怎麼去利用,而不是討論中/美或成最大贏家嗎? : 怎麼搞到變成政治意識形態的爭執了? : 有些推文一直扯到超導體,我就不懂有什麼可比性...50
OpenAPI 的 Chief Research Officer (首席研究員) Mark Chen 2025/01/29 凌晨發了一波推文評價 Deepseek R1 的論文 恭喜 DeepSeek 產出了一個 o1 級別的推理模型!他們的研究論文顯示,他們獨立發現了7
這篇文章的核心意思就是 我們掌握著一些竅門,可以提升回答質素的那些,我們早就實踐,而且怕被快速追上,所以把他們閉源了 但是這些訣竅被中國人自己研究出來了 還有一些技巧,早就可打破一味堆算力的瘋狂勢頭,但是為了保護美國七巨頭現在 極好的股票上升勢頭。我們把它們擱置了,ds一出,我們不得不把低成本部署的算法都拿出來準備實施了
57
Re: [討論] 其實Deepseek真的很厲害了OpenAI:已掌握DeepSeek盜用模型證據 (中央社倫敦29日綜合外電報導)中國新創公司「深度求索」(DeepSeek)引發的疑慮日 增。OpenAI今天表示已掌握證據,顯示DeepSeek盜用其模型進行開發;業界也指DeepSeek 握有大量輝達H100高階晶片,形同直接挑戰美國出口管制規定。55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的,不過既然都有人把討論串回起來了我丟點資訊, 既然都會看網紅發表對ChatGPT的看法(沒有貶義),我覺得也可以看看這個: 台大電機副教授李宏毅老師的ChatGPT講解(先回到PTT還是學術論壇XD) ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程31
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據只有我看不是很懂嗎? 「儘管蒸餾是AI業界常見做法,但DeepSeek若利用蒸餾技術來打造自家模型,並與OpenAI 競 爭,將違反OpenAI服務條款,因此產生疑慮。 OpenAI婉拒進一步說明或提供證據細節。根據該公司的服務條款,用戶不得「複製」任何29
Re: [討論] OpenAI GPT o1模型OpenAI 最近推出了 GPT-o1,但很多人可能還沒意識到這件事的嚴重性。事實上,OpenAI 已經找到了一條通往 AGI(通用人工智慧)的階梯!這個新模型的關鍵在於,它已經整合了 ToT(思維樹)和 RL(強化學習),在大型語言模型(LLM)領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」,記住了大量的資料,所以我們在人類記憶力上輸了18
Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援Musk贊同投資公司Atreides Management合夥人兼資訊長貝克(Gavin Baker)在X提到 DeepSeek的R1低成本來自在訓練和推理效率上,取得了真正的算法突破 例如 FP8 訓練、MLA(機器學習加速)和多 token 預測。 訓練過程中涉及大量的知識蒸餾(distillation) 這意味著在沒有無限制存取 GPT-4o 和 o1 的情況下,這項訓練幾乎不可能完成。17
Re: [新聞] DeepSeek爆紅 藍委放話「台灣等著被智看這篇文章 -its-model-to-train-competitor/ai/amp/ 如果所言不假 那其實就是deepseek 拿人家的大模型訓練自己的小模型1
[問卦] DeepSeek 就只是仿造ChatGPT 還吹成這樣剛看了DeepSeek R1原始文件 Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., ... & He, Y. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint arXiv:2501.12948. 看完結論就是3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事X
Re: [黑特] 有一說一 拿政治歷史問題去問ai的都是87?這邊應該要說的比較清楚的是模型的背後其實就是統計建模的概念,不管是LLM或vLLM都是 。像LLM越是沒有信心的知識在取樣下一個Token時越難取樣出事實,所以模型其實是很好控 制的,越是複雜或是有爭議的事件模型除非人工強化不然他就越容易產生幻覺(Hallucinat ion)。所以拿某些歷史尤其是冷門的歷史事件或政治人物他越不容易回答正確。 不過模型也需要為人服務,所以當初不管OpenAI或是DeepSeek 再訓練時才會引入強化學習
96
[標的] 聯發科 空74
[情報] 3481群創 股東會紀念品:白米一公斤38
[請益] 台灣貿易順差超大 但為何台幣貶成這樣?41
[心得] 資料中心投資方向17
[情報] 3189景碩 113EPS 0.11(Q4 -0.55) 股利118
Re: [新聞] 首檔 ETF 分割來了!0050將重返發行價 418
[情報] 2942京站 獨董彭振聲 因個人生涯規劃辭任73
[情報] 0217 上市外資買賣超排行19
Re: [新聞] 營收衰退10.72% 台旅館業憂倒閉潮12
Re: [新聞] 首檔 ETF 分割來了!0050將重返發行價 4爆
[標的] 大盤 空26
Re: [標的] TYO 7803 武士道無腦多X
[標的] 台指期 多8
[情報] 00946 114/03/06 預估除息0.025元47
[心得] 哲哲: 以後滿街自駕車 台股今年260007
[心得] 券商app年度回顧21
Re: [新聞] 輝達GB200出貨量遭爆砍3成 一掛AI伺服器4
[情報] 8028 昇陽半導體1月自結0.431X
Re: [新聞] 遭聯電切割「已非榮譽董事長」曹興誠回應8
Re: [新聞] 三大國營事業去年虧損 水電油價都要檢討4
Re: [請益] 戰爭時的資產安排56
[情報] 114年02月17日 三大法人買賣金額統計表16
Re: [新聞] DeepSeek推動1.3兆美元回流中國股市 大18
[情報] 0217 上市投信買賣超排行20
Re: [請益] 台積電被勒索救Intel 沒有涉嫌背信罪喔6
Re: [新聞] 2024年GDP飆升至4.3% 重返亞洲四小龍之首X
Re: [新聞] 環狀線災損雙北求償逾19億 中工:鑑定單位黑