Re: [問卦] 為什麼現在新的深度學習模型都很少割

※ 引述《ruthertw (督人無數就是我)》之銘言：
: "為什麼現在新的深度學習模型都很少割出test dataset?"
: 在進行實驗的時候,
: 發現近三年來的研究工作,
: 很多都沒有切割test dataset,
: 論文裡也沒有列出test dataset的實驗結果.
: 反而都直接以validation dataset包含test dataset.
: 比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
: 變成 train:val = 8:2
: 很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
: 為什麼現在新的深度學習模型都很少割出test dataset?
: 這些新模型其實只是舉手之勞就可以做這到件事,
: 而且按照指導教授的要求,
: 論文裡要是沒有test dataset的實驗結果,
: 應該是不能被刊登.
: 不得其解...
: 大大們可以詳細說明解釋這個原因嗎?
: 還有,
: 想知道指導教授的堅持是對的嗎?
: 以及有沒有上述眾多問題的八卦?
: 先謝謝各位深度學習的高手~

看到我以為我跑錯版了，嚇死寶寶，
阿肥我來回答一下啦。

傳統訓練集就是拿來擬合模型參數的，驗證集是拿來做超參估計，然後鐵定要是無偏的樣本，跟訓練集彼此獨立的。

然後測試集就是最後評估整體模型的，也是要無偏獨立上面兩種。

還有一種方法是k-fold，就是把原始訓練集切成多個子集，再進一步把其中一個子集做驗證，其他子集就訓練，輪k次，很多文獻就乾脆把原本的測試集直接寫是驗證集，就變成80:20。

然後最後有一點就是其實現在很多模型尤其是OPEN AI那些超巨量模型你也很難做超參估計跟模型選擇，訓練一次就耗費幾億的，乾脆就一樣分80:20訓練跟驗證，反正只要確認20%是無偏獨立樣本就好了。

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.168.15 (臺灣) ※ 編輯: sxy67230 (49.216.168.15 臺灣), 08/14/2021 17:08:40