[問卦] ChatGPT o3新模型怎麼防蒸餾?
Deepseek公布了低成本蒸餾法
能把現成的LLM模型以另一個模型蒸餾出來
省去初期開發成本以極低的成本搶佔資本市場
o3新模型就面臨抉擇
1.開放API等著被模型各種蒸餾
2.限縮API 單次成本太高影響市佔跟估值模型
感覺有點死局
有沒有o3怎麼防蒸餾的八卦?
-----
Sent from JPTT on my iPhone
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.59.131.238 (美國)
※ PTT 網址
噓
錢給貪汙媽寶比較爽
推
他國事務 反正台灣做不出來 只會騙補助
→
中美大國之間AI戰爭的事
→
白色貪污黨能把錢放進自己口袋比這強多了
→
就法律戰呀 服務規則就說不准用
推
自己先蒸餾一次
→
竹崎綠畜比較扯吧 買兇殺人
推
開源才是根本解決方法
推
白痴才接API蒸
→
才判15年
推
不就鎖IP而已,電商也一堆爬蟲人工網路
→
查價,說穿就很低階的手段,人事開銷也
→
不低,要查到猴年馬月?
→
蒸餾也是很低階的質疑,要訓練機器人變
→
成精,開銷不小,除非小精靈佛心
→
爬蟲爬一年要不被發現,會有幾個帳號
→
會不會有上萬個帳號啊
噓
問化工系
→
怎麼可能串 API 蒸餾,又不是不用錢
→
鎖ip,大量使用要企業簽約
推
現在把焦點引到蒸餾上了。 沒有蒸餾成本
→
高一些而已 模型演算法效率還是屌打你啊
推
靠杯 你不懂什麼叫蒸餾吧
→
等o3出了之後問他啊
→
deepseek平台有中介chatgpt api
→
比較有可能就是中國使用者付費用chatgpt
→
deepseek拿中介的訊息去蒸餾 這樣很省錢
推
就反爬蟲的技術
推
互相蒸餾不就好了 大家在一起成長
→
台灣的廢物政府八年過去了到底做了什
→
麼?蒸餾也沒個影
57
Re: [討論] 其實Deepseek真的很厲害了OpenAI:已掌握DeepSeek盜用模型證據 (中央社倫敦29日綜合外電報導)中國新創公司「深度求索」(DeepSeek)引發的疑慮日 增。OpenAI今天表示已掌握證據,顯示DeepSeek盜用其模型進行開發;業界也指DeepSeek 握有大量輝達H100高階晶片,形同直接挑戰美國出口管制規定。44
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據比較好奇這段: 儘管蒸餾是AI業界常見做法,但DeepSeek若利用蒸餾技術來打造自家模型,並與OpenAI競 爭,將違反OpenAI服務條款,因此產生疑慮。 OpenAI婉拒進一步說明或提供證據細節。根據該公司的服務條款,用戶不得「複製」任何 OpenAI的服務,或是「利用輸出結果,來開發與OpenAI競爭的模型」。 各個ai 大語言模型不是都會互相參照比較和訓練嗎? 我以為這是業界常識…23
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強21
[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾阿肥實在受不了一堆文盲吵不對焦還硬要吵 來先來看看 GPT是怎麼解釋蒸餾的 覺得太長的可以直接下滑到總結 Q: 在Deep learning領域 什麼是蒸餾? 以下來自ChatGPT的回答:17
Re: [新聞] DeepSeek爆紅 藍委放話「台灣等著被智看這篇文章 -its-model-to-train-competitor/ai/amp/ 如果所言不假 那其實就是deepseek 拿人家的大模型訓練自己的小模型8
Re: [新聞]不,你無法用 600 萬美元複製一個 DeepSee呃,這新聞是哪個平行時空新聞,當前一堆美國大學實驗室都已經成功用其他小型模型像ll ama或Qwen 復刻R1實驗了,而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更 長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用 deepseek的模型架構。 一堆知名的框架也開始嘗試復刻開源版的R1 Code,我覺得R1幾個比較可行的思路就是改用8
Re: [新聞] DeepSeek暴紅不單純?OpenAI質疑中國對openai只有開源好幾年前的模型 現在meta google m$ 的開源模型都屌打好幾條街了 用過deepseek的人都知道,deepseek是蒸餾上面那幾個開源模型 況且deepseek也有把自己的模型和程式碼都公布出來 開源的精神不就是這樣嗎?6
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據這段一定很多人沒看懂。 正確的說法是,蒸餾可以讓較小的模型(學生)在特定任務上得到比原本的小模型更好, 近似於大模型(教師)的結果。 近似,就不可能比教師模型更好,只會更差。另外由於OpenAI沒有開源,所以這種叫做 黑箱蒸餾。如果可以蒸餾把模型變小可以維持原來的品質,那就一直蒸餾一直蒸餾蒸餾- 我先講我非AI專業 但這件事情基本就是鬼扯 甚麼叫做利用O1蒸餾出R1 你要用API抓多少資訊量跟TOKEN才做得出來 然後這件事情OPENAI還會不知道?
1
Re: [新聞] 成本低廉 中國AI初創DeepSeek震撼矽谷前文恕刪 : 據報導,DeepSeek僅用2048片H800顯示卡 (GPU)、耗時兩個月,就訓練出了一個6710億參 : 數的DeepSeek-V3。相較於Meta訓練參數量4050億的Llama 3,用了1萬6384片更強的H100 : 顯示卡,花了54天。DeepSeek的訓練效率提升了11倍。 這比法很不公平
爆
Re: [問卦] 糖尿病真的有可能痊癒嗎?爆
Re: [新聞] 力挺曹興誠!綠:陸女親密照是深偽、人爆
Re: [新聞] 何謂本土、進步政黨? 王婉諭邀黃國昌來場辯論爆
[爆卦] 美國達美航空CR900墜機 (影80
[問卦] 為何BTS都不閃兵?66
[爆卦] 陳妍希 離婚59
[問卦] 有些人覺得曹和小三的照片是假的?80
[爆卦] 「台灣任天堂股份有限公司」設立公告57
[問卦] 太多韓籍啦啦隊來台會有什麼影響62
[爆卦] 曹興誠砸千萬養小三蓋博物館洗中國文化?爆
[問卦] 幹你娘 在台灣殺兩人出來繼續殺人喔50
[問卦] 我妹說體脂率超過15趴都算胖?52
Re: [問卦] 哇我竟然還沒死!!!(血腥慎入47
[問卦] 星海爭霸人族是白癡嗎==?47
[問卦] 高雄月薪65k的國營 要硬著頭皮買房嗎46
[問卦] 如何排出體內溼氣?40
[問卦] Energy 全員不能當兵可以十六蹲?41
[問卦] 曹董跟牙醫差在哪38
[問卦] 無本當沖是不是很好賺?39
[問卦] 丁特代儲這一波到底怎麼看35
[問卦] 免役症狀名單33
[問卦] 黑熊學院開院以來最厲害的戰績是什麼34
[問卦] 王大陸逃兵新聞是要掩蓋什麼?67
[問卦] 為什麼台灣這麼少人開賓士G33
Re: [新聞] 快訊/王大陸驚傳涉逃兵役遭逮 檢方偵訊中26
[問卦] 四叉甲說幸好還有媽媽是什麼意思啊23
[問卦] 「沒當過兵就不是男人」是不是幹話?23
[問卦] 單忠華外表pr多少?25
[問卦] 軟體工程師大量失業中