PTT推薦

[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾

看板Gossiping標題[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾作者
SkyIsMyLimit
(天空才是我的極限的鍵盤)
時間推噓21 推:23 噓:2 →:57

阿肥實在受不了一堆文盲吵不對焦還硬要吵
來先來看看 GPT是怎麼解釋蒸餾的
覺得太長的可以直接下滑到總結

Q: 在Deep learning領域 什麼是蒸餾?

以下來自ChatGPT的回答:

在深度學習 (Deep Learning) 中,「蒸餾 (Distillation)」是一種模型壓縮 (Model Compression) 技術,主要用來將一個大型且性能優越的「教師模型 (Teacher Model)」的知識轉移到一個較小、較輕量的「學生模型 (Student Model)」,從而減少計算成本,同時保持高性能。這個過程通常被稱為 知識蒸餾 (Knowledge Distillation, KD)。

知識蒸餾的基本概念

知識蒸餾的核心思想是,與其單純用標籤 (Hard Labels) 訓練學生模型,不如讓學生模型學習來自教師模型的軟標籤 (Soft Labels),即教師模型對輸入數據的輸出機率分佈。這樣可以讓學生模型學習到更多關於數據的隱含信息,例如不同類別之間的關聯性。

知識蒸餾的主要步驟
1. 訓練教師模型 (Teacher Model)
先用大量數據訓練一個強大的深度學習模型,如大型 CNN 或 Transformer。
2. 獲取軟標籤 (Soft Targets)
用教師模型對訓練數據進行預測,獲取「軟標籤」,即教師模型的輸出機率分佈。
軟標籤通常透過「溫度 (Temperature) 參數」來調節,使輸出機率更平滑:

其中, 是溫度超參數, 是某類別的 logits。較高的溫度 會使分佈變得更平滑,讓學生模型更容易學習類別間的關聯性。
3. 訓練學生模型 (Student Model)
使用教師模型的軟標籤和原始標籤共同訓練一個較小的學生模型。
損失函數 (Loss Function) 一般是普通的交叉熵損失 (Hard Label Loss) 與蒸餾損失 (Distillation Loss) 的組合:

其中:
是基於真實標籤的交叉熵損失。
是基於教師模型軟標籤的交叉熵損失。
是控制兩者權重的超參數。

知識蒸餾的應用
模型壓縮與加速:例如,把大型的 BERT 轉化為輕量的 DistilBERT,或將大型 CNN 壓縮為 MobileNet。
增強小模型的性能:即使學生模型的容量較小,透過學習教師模型的知識,它仍然可以達到比直接訓練更好的效果。
多模型集成 (Ensemble Distillation):可以用多個教師模型來蒸餾一個學生模型,使其學習多種不同視角的知識。

知識蒸餾的變體
Self-Distillation:學生模型與教師模型相同,只是利用自身的過去版本作為教師來提升性能。
Task-Specific Distillation:應用於特定領域,如 NLP、CV 等,優化模型的某些特性。
Contrastive Distillation:利用對比學習來提升蒸餾效果。

總結
知識蒸餾是一種強大的技術,能夠幫助小型模型學習來自大型模型的知識,在不顯著犧牲性能的情況下提高計算效率,是當前深度學習模型壓縮與優化的重要方向。

阿肥開示:
簡單講就是記者用詞不精確
導致抄襲這種說法有點歪樓
因為ChatGPT是閉源的 DS根本無從抄起
蒸餾ㄧ說是 Open AI指控DS拿ChatGPT去訓練DS的模型
但卻沒有提供證據 所以現在焦點應該是
1.
Open AI需有證據證明DS拿ChatGPT訓練模型
2.
如果1成立 那蒸餾的訓練方式構成侵權嗎?

阿肥觀點:
AI是個新的領域 智慧財產定義應該不完善
拿一個模型去訓練另一個模型應該是目前常態
雖然我不知道DS是不是真的這樣幹
但如果這樣就算侵權的話
那ChatGPT拿各種網路資訊訓練是不是也算?
-----
Sent from JPTT on my iPhone

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.46.76 (臺灣)
PTT 網址

dlam002 01/29 23:48太長

Basket0205 01/29 23:49一樓蒸餾五樓屁眼

greensaru 01/29 23:50鳥兒說抄襲就是抄襲

Aliensoul 01/29 23:50又在貼中國大外宣的文章喔?

ChatGPT的回答是大外宣喔?

doig 01/29 23:50就CloseApi帶風向而已,沒人在意,NVDA又大跌

Barbarian123 01/29 23:50這麼急著闢謠做什麼

是不忍看八卦版吵不對焦 阿肥是幫大家搞清楚狀況

freeclouds 01/29 23:51不管啦 只要能抗中保台 其他都不重要

doig 01/29 23:51網路爬蟲也是用Google、Bing搜尋的成果

※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/29/2025 23:54:09

Warheart 01/29 23:52就雙標啊笑死 當初訓練時用爬蟲爬人類

Warheart 01/29 23:52智慧財產就喊新技術發展不應被版權限制

boboking2 01/29 23:52去跟OpenAI 講 跟八卦講也聽不懂 嘻嘻

doig 01/29 23:52OpenApi這就嘴炮一下而已,應該不了了之

ggbi4zzz 01/29 23:52來不及了,三民自和笨鳥已經定調抄襲!

Warheart 01/29 23:52 資料練完你們沒用了馬上翻臉

whyyeswhynot 01/29 23:52105度

newforte 01/29 23:52山寨垃圾一直吹

ggbi4zzz 01/29 23:53照這個邏輯,AI也是偷網路上的知識

ggbi4zzz 01/29 23:53OpenAI也是抄襲

Norme 01/29 23:54青鳥:不管啦!美國說抄襲就是抄襲,藍白

Norme 01/29 23:54崩潰。川普:加台灣晶片關稅。青鳥:窩不

Norme 01/29 23:54知道

zelkova 01/29 23:55塔綠班說抄襲就抄襲 你懂什ㄇ?

doig 01/29 23:55Unsupervised learning非監督式學習

doig 01/29 23:55本來就是塞一大堆資料來訓練:網路爬蟲

doig 01/29 23:56ChatGPT之前也爬了一堆紐約時報文章被告

doig 01/29 23:56網路爬蟲(web crawler/web spider)

現在Open AI也可以 但先要有證據 不過某群組那些垃圾不會懂的 牠們認為應該是被 要自己澄清自己沒犯罪

※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/29/2025 23:59:53

doig 01/29 23:58可以一次撈幾千篇文章,不可能慢慢取得授權

WowProctor 01/29 23:58都開源了 不放消息股票要賣給誰

doig 01/29 23:58舊的方式是Supervised learing監督式學習

doig 01/29 23:59就是訓練資料要有固定格式,訓練效果不好

fpso 01/29 23:59小草在土城看守所門口蒸餾新台幣會讓貪哲興

Warheart 01/29 23:59現狀是這些大企業已經把人類過去的重要

Warheart 01/29 23:59資料都練完了 你如果過去是反AI抄襲的陣

Warheart 01/29 23:59營 現在能做的也只剩加入DS這種跳出來砸

Warheart 01/29 23:59盤的勢力 先把這些偷你們資料的企業打出

Warheart 01/29 23:59屎來再說 賽博共產總好過賽博龐克

doig 01/30 00:00新式的非監督式就是資料越亂越好,訓練效果好

doig 01/30 00:00要最多資料,就是直接去網路上撈

doig 01/30 00:01這樣就抄襲,那大家Ai Chatbot都可以關門了

selfhu 01/30 00:03高溫茶有它的優點誰反對

tdlions 01/30 00:09和青鳥一樣隨便亂抹造謠就得了

gk1329 01/30 00:10其實人類睡眠就是一種蒸餾過程

gk1329 01/30 00:10把學到的知識濃縮

moerstw 01/30 00:11如果是全開源應該可以複製測試吧 到時要

moerstw 01/30 00:11靠gpt才能產生一樣模型就鬧笑話了

ppdogininder 01/30 00:15沒經過chatgpt同意就拿去訓練 這就

ppdogininder 01/30 00:16不能吹成本了

嗯嗯 不過Open AI要先有證據證明DS真的拿ChatGpt去訓練

gueswmi 01/30 00:171. 關注結果:老師模型的輸出

gueswmi 01/30 00:172. 忽略解答過程

gueswmi 01/30 00:181+1=2? 老師模型會給證明: 學生模型1+1=2

gueswmi 01/30 00:19多問?考北喔 問這麼多幹嘛?

hsu0612 01/30 00:19沒關係啦 就讓傻子繼續洗 反正就騙騙外

hsu0612 01/30 00:20行的 他們爽就好了 不過釣出一大堆小丑

hsu0612 01/30 00:20好幾年前就在吵資料的問題了 這些人當時

hsu0612 01/30 00:20怎不幫那些被盜資料的講一下話 可撥

不能這樣放任 之前就是因為台灣人都不懂才會有垃圾畜牲拿中國的模型騙你我的稅金

gueswmi 01/30 00:201+1=2 還要問?

wike 01/30 00:20有這個味道喔--填鴨式教學+狂寫考古題

圖 別雞同鴨講說抄襲 先搞懂什麼是蒸餾

ipipi304 01/30 00:22我只知道105c的蒸餾水

圖 別雞同鴨講說抄襲 先搞懂什麼是蒸餾

nakayamayyt 01/30 00:22openai有賣蒸餾服務啊 大概是用了沒

doig 01/30 00:22OpenApi自己就亂盜用別人資料被提告

nakayamayyt 01/30 00:22付錢 沒付錢就用

wike 01/30 00:22聰明的學生會發現 原來答案就在題目裡

wike 01/30 00:24從題目與題目間找到矛盾處 確認某題目出錯了

xylinum 01/30 00:26可以講白話文嗎?

總結以下的文字就是白話文惹

※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/30/2025 00:31:48

wike 01/30 00:29聰明學生在寫過各類型題目後 也會出題目了

wike 01/30 00:31甚至還能創出新的題型

selfhu 01/30 00:4257樓,這不就是國高中時常遇到的

JackTheRippe 01/30 00:57大小綠:不管啦,說你抄襲就抄襲,

JackTheRippe 01/30 00:57趁機操作仇中情緒就對了

justiceyes 01/30 01:13之後變法律戰會很有趣

c24253994 01/30 01:44侵權不侵權先告再說不是嗎?哪有時間跟

c24253994 01/30 01:44你先搞定義?

要有證據啊 你以為跟台灣一樣是被 要自證清白喔?

※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/30/2025 02:00:03

Iperfection 01/30 04:58班上資優生說你抄了 不管你有沒有抄

Iperfection 01/30 04:58 你就是抄了

VSshow 01/30 06:20弄到法律戰才好笑!被那群食古不化無知的

VSshow 01/30 06:20法官判誰對誰錯?

VSshow 01/30 06:20然後也不懂其中內涵,只懂皮毛就可以判定

VSshow 01/30 06:20誰是有道理的,最終還不是政治判決,然後

VSshow 01/30 06:20搭配媒體狂嘴,畢竟多數人只會盲從不願意

VSshow 01/30 06:20深層思考