Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據

s213092921 01/29 23:23你先讓美吹上車完再焊死車門好嗎

tangolosss 01/29 23:25支那粉蛆說好的重擊美股呢?? 怎又開始自卑了???????

uv5566 01/29 23:25deepseek已經不重要 openai原本商法已經沒用 市場

uv5566 01/29 23:25投資都要重新估值

uv5566 01/29 23:26接下來怎麼圈錢才是問題

etset 01/29 23:27學生只要念會考試的範圍就好了

etset 01/29 23:27題庫就在那裡了

good5755 01/29 23:31openAI不是說有兩個可疑帳號大量使用API

good5755 01/29 23:31你ban我算力我直接偷抄答案 很符合對岸的邏輯

IBIZA 01/29 23:32LLM沒辦法只抄答案 LLM必須具備推理能力才能應付

Windtears 01/29 23:32https://substack.com/@cloudedjudgement/p-1557935

Windtears 01/29 23:3218

IBIZA 01/29 23:33所有問題 只能說 有頭有尾 要生出推理比較容易

sickshadow 01/29 23:33所以蒸餾可以讓學生得到比老師還口語化的結果?

IBIZA 01/29 23:33就像計算題已經知道答案要寫算式 總是比較容易

saisai34 01/29 23:34學生比老師厲害不是很正常嗎 人類社會不就這樣@@a

IBIZA 01/29 23:34蒸餾通常沒辦法比老師厲害

IBIZA 01/29 23:35蒸餾就是讓學生模仿老師 逼近老師

saisai34 01/29 23:35如果ai模型 沒辦法做到學生比老師強 那不就廢了@@?

IBIZA 01/29 23:35目前用的蒸餾法沒辦法

IBIZA 01/29 23:35目前的蒸餾法會劣化

lovepork 01/29 23:35chatgpt 全名generative pre-trained transformer

liscp 01/29 23:35等等…….股點勒 現在也要把股版蒸餾成柵欄版喔？

IBIZA 01/29 23:35一直蒸下去 會越來越笨

saisai34 01/29 23:36越練越笨 那就不叫ai好嗎 =.=a

lovepork 01/29 23:36我好奇 deepseek也是transformer architecture嗎?

IBIZA 01/29 23:38deekseek的呈現方式 沒理由不是transformer

IBIZA 01/29 23:39transformer指的是 理解輸入資訊->推理->轉成輸出

ohlong 01/29 23:40蒸的丸子

IBIZA 01/29 23:40應該這樣 輸入資訊->理解+推理->轉成輸出

Aliensoul 01/29 23:41openai裡面有中國的內鬼 外洩機密給中國公司

IBIZA 01/29 23:41中間的理解跟推理 是用數學模型 利用大量文本訓練

Yahweh 01/29 23:41deepseek 的 weights 也是公開的阿

IBIZA 01/29 23:42找出自然語言每個片段意義之間的關聯性

linzero 01/29 23:42估狗到有針對一般蒸餾法做改良的，可以用更少的資料

linzero 01/29 23:43達到舊有的蒸餾效果，像google有開發個Distilling

linzero 01/29 23:43Step-by-Step技術

wangrg 01/29 23:43https://imgur.com/YXsUSJL

IBIZA 01/29 23:44google上面那個"較少資料"是80%耶

lovepork 01/29 23:45transformer 其實就是複雜一點的attention model

gn02118620 01/29 23:46你用的是基於事實的分析來進行推理，這邊的人是用主

gn02118620 01/29 23:46觀意識形態扣帽子來反駁 雙方沒有交集點

linzero 01/29 23:51那所謂80%，照我的閱讀理解，應該不是指相較傳統蒸

linzero 01/29 23:52餾可以減少的工作量，只能看有無專業的能解釋一下吧

lovepork 01/29 23:52我之所以提transformer 是因為它可以做transfer

lovepork 01/29 23:53learning (遷移學習)

lovepork 01/29 23:53等於openai把95% transformer架構做好後 別人用此

lovepork 01/29 23:55架構做遷移學習去訓練調教很類似的LLM

IBIZA 01/29 23:57transfer learning是直接提取模型的特徵到另一個

IBIZA 01/29 23:58模型用 你沒辦法把openai拿出來用

sunpedro020201/29 23:59r1奠基在v3上，v3是ds自己train的不是？只是站在巨

sunpedro020201/29 23:59人的肩膀上，以及工程的精進使得成本較低

IBIZA 01/30 00:00每一個模型都是啊

DA3921999 01/30 00:01如果是特定任務的小語言模型要騙騙補助/投資用上面

DA3921999 01/30 00:01那套確實可行，但像DS這種大的這樣搞可能還更貴

KrisNYC 01/30 00:01推科普

IBIZA 01/30 00:02o1 站在4的肩膀上 據說還是花了相當於2億的gpu時間

IBIZA 01/30 00:02這個不是R1成本較低的原因

kinda 01/30 00:03這問題直接問R1啊，他自己都說有可能了...

kinda 01/30 00:03https://i.imgur.com/JGz4wJ8.jpeg

KrisNYC 01/30 00:05v3蠻難用的 大概就跟others差不多

KrisNYC 01/30 00:05r1套上去才有點看頭

IBIZA 01/30 00:05https://i.imgur.com/DE9E1Ro.png

IBIZA 01/30 00:06這個是我直接問R1, deepseek R1是否有可能從chat

IBIZA 01/30 00:06gpt o1蒸餾而來, R1的答覆

IBIZA 01/30 00:07其實他的第二段就是我講的

IBIZA 01/30 00:07你無法部署chatGPT o1, 所以你只能用API做蒸餾

ksjr 01/30 00:07I大圖好像壞掉了?

IBIZA 01/30 00:08是不是有可能? 可能性不是零

IBIZA 01/30 00:08我貼的圖好像只能手機看

IBIZA 01/30 00:08是不是有可能?用API做蒸餾 可能性不是零

IBIZA 01/30 00:08但幾千萬上億次的調用...

kinda 01/30 00:11問o1-mini也說可能。專有名詞叫黑盒蒸餾

kinda 01/30 00:11https://i.imgur.com/ykW4LOG.jpeg

jen1121 01/30 00:11遇到一個不講武德的，用暴力式創新

BoyceChu 01/30 00:11股價說明一切XD

IBIZA 01/30 00:12可能性不為零 只能這麼說

IBIZA 01/30 00:12我這邊也是告訴你可能性不為零 但這個規模的調用

IBIZA 01/30 00:13難度極高

IBIZA 01/30 00:13而且說實在 R1一點也不像模仿o1

IBIZA 01/30 00:13對話過就知道了

kinda 01/30 00:14現在最好奇的是，如果真的大外宣為什麼不叫R1寫

saisai34 01/30 00:15大外宣我是覺得不像啦 之前聽都沒聽過 @@a

kinda 01/30 00:17一直沒呼叫過o1，o1的chain of thought也是會條列嗎

newwu 01/30 00:17OpenAI 指的是R1嗎 我怎麼覺得指的是v3

kinda 01/30 00:17還是跟o1-mini一樣直接生結果？

kinda 01/30 00:18v3跟4o回答是有點像。但v3真的不強

phoenixtwo 01/30 00:19難道OpenAI不是基於事實指控?

saisai34 01/30 00:19B站搜了一下 ds去年6-7月就有了 沒啥影片@@a

kinda 01/30 00:19v3就便宜而已 https://i.imgur.com/RAjyN65.jpeg

saisai34 01/30 00:19爆紅也是這幾天的事 說大外宣其實蠻怪的 @@a

kinda 01/30 00:22爆紅的是R1 上週1/22才公佈R1論文 DS去年就不強

newwu 01/30 00:23說盜用，也不是指百分百都靠蒸餾，關鍵部分調整方向

newwu 01/30 00:23蠻有可能的

Flyingheart 01/30 00:27o1會條列 但是沒DS詳細

Flyingheart 01/30 00:28DS思考步驟說得很細 O1只會大概說一點

kinda 01/30 00:29我呼叫o1-preview沒條列...o1有鎖api key不給中介

kinda 01/30 00:29價值3塊台幣的o1-preview 回答如下

Flyingheart 01/30 00:29DS某些方面來說 解決部分AI黑箱思考的問題

kinda 01/30 00:29https://i.imgur.com/Xxfekfz.jpeg

kotorichan 01/30 00:30學生學習老師 當然要更厲害啊

KrisNYC 01/30 00:30所以你就知道很多人完全沒用過完全是在瞎討論

KrisNYC 01/30 00:31它們不知道左下角R1沒點下去 就只是在用v3

KrisNYC 01/30 00:31甚至不知道v3 r1 o1 o3 在說什麼

KrisNYC 01/30 00:32如果不知道R1跟v3的差別 那討論什麼蒸餾?

ksjr 01/30 00:33照這樣理解以後中國一直抄(蒸餾)就好啦除非美國鎖國

Sianan 01/30 00:36阿所以要限制啊 別人花了大錢訓練的模型給你吃豆腐

Sianan 01/30 00:36 以後誰還要花錢訓練

KrisNYC 01/30 00:37是有這樣的意見沒錯 昨天就有人說通用型的會非常捲

KrisNYC 01/30 00:37類似當年搜尋引擎大戰 近乎永遠免費給你用這樣

KrisNYC 01/30 00:38專用型的ASIC與相關軟體可能會更快實現獲利

ksjr 01/30 00:39openAI現在是要收錢的阿 你要叫它們也課個關稅嗎

gowet 01/30 00:39有一說一，openai自己也是搜刮網路上別人的智財當

gowet 01/30 00:40基底訓練的，他好意思說吃豆腐? 第二，訓練花錢也是

gowet 01/30 00:41各個巨頭把毛利擴張到50%以上以近壟斷方式堆出來的

gowet 01/30 00:41，拿證實體公司，毛利給你15-25%，訓練成本會高到哪

MoonCode 01/30 00:42

fakelie 01/30 00:55可以蒸芝麻包ㄇ？芝麻包豪好粗

sanos168 01/30 01:02拿別人的蒸餾酒來提煉自己的酒，大概是這概念吧

watashino 01/30 01:04人真好 解釋給一堆笨蛋聽

wahaha99 01/30 01:05剛剛OpenAI說去年下半有超大量API請求啊,

wahaha99 01/30 01:05他以此推論的

vi000246 01/30 01:07想也知道怎麼可能靠call api 很貴的

blueballer 01/30 01:16也不需要解釋這麼多，投資就是靠認知的落差賺錢，

blueballer 01/30 01:16看好看衰選一台車上，讓時間來決定勝者就是了

davis5566 01/30 01:27所以openai說有call api就知道人家有抄襲？這只有

davis5566 01/30 01:27智障青鳥會信

esheep 01/30 01:38以AI 模型來說，公開推理計算方式不是什麼新聞。大

esheep 01/30 01:38部分AI “系統” 比得是前處理功力，要先生出夠有意

esheep 01/30 01:38義的邊境資料，後段訓練才有意義。而訓練資料的清理

esheep 01/30 01:38/篩選的成本，則不一定會被算進所謂的“訓練成本”

esheep 01/30 01:38。至於 針對特定，處理過的資料來源，以另一套系統

esheep 01/30 01:38的推演結果，直接當第二套的來源，在實務上不算罕見

esheep 01/30 01:38，實作上很多跨領域系統都這樣搞。但，學術上一般是

esheep 01/30 01:38不認可這種應用方式就是。

esheep 01/30 01:52一般是把第一套系統當成前處理，第二套系統的範圍比

esheep 01/30 01:52前套小但針對特定領域更細分的預測系統。整體訓練成

esheep 01/30 01:52本會更低，特定小範圍的結果品質會比的第一套系統好

esheep 01/30 01:52。這種算是特化架構，缺點是：擴張困難。處理的問題

esheep 01/30 01:52，領域數目增加到一個程度，整體效能（結果的品質）

esheep 01/30 01:52會比原系統差...

AudiA4Avant 01/30 03:13思考步驟可以用prompt，看回答不能判斷

dingading 01/30 03:53讚耶 拿openAI來開源 叫蒸餾 簡直是改包裝加12道功

dingading 01/30 03:53法

ketter 01/30 05:11不會去科技版討論?

mdkn35 01/30 07:32模型是程式碼？？18124你可以不要LLM問幾個問題就出

mdkn35 01/30 07:32來造謠了嗎？我建議你先去了解pytorch跟transformer

mdkn35 01/30 07:32不然一知半解出來發文真的讓人不忍直視…

straggler7 01/30 09:06科技版當年嘲笑Chatgpt的現在質疑DeepSeek 水準低

IBIZA 01/30 16:11推文是不是有文盲，哪個字看到模型是程式碼

IBIZA 01/30 16:13模型的程式碼跟模型是程式碼天差地遠好不好