Re: [問卦] 為什麼現在新的深度學習模型都很少割
※ 引述《ruthertw (督人無數就是我)》之銘言:
: "為什麼現在新的深度學習模型都很少割出test dataset?"
: 在進行實驗的時候,
: 發現近三年來的研究工作,
: 很多都沒有切割test dataset,
: 論文裡也沒有列出test dataset的實驗結果.
: 反而都直接以validation dataset包含test dataset.
: 比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
: 變成 train:val = 8:2
: 很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
: 為什麼現在新的深度學習模型都很少割出test dataset?
: 這些新模型其實只是舉手之勞就可以做這到件事,
: 而且按照指導教授的要求,
: 論文裡要是沒有test dataset的實驗結果,
: 應該是不能被刊登.
: 不得其解...
: 大大們可以詳細說明解釋這個原因嗎?
: 還有,
: 想知道指導教授的堅持是對的嗎?
: 以及有沒有上述眾多問題的八卦?
: 先謝謝各位深度學習的高手~
看到我以為我跑錯版了,嚇死寶寶,
阿肥我來回答一下啦。
傳統訓練集就是拿來擬合模型參數的,驗證集是拿來做超參估計,然後鐵定要是無偏的樣本,跟訓練集彼此獨立的。
然後測試集就是最後評估整體模型的,也是要無偏獨立上面兩種。
還有一種方法是k-fold,就是把原始訓練集切成多個子集,再進一步把其中一個子集做驗證,其他子集就訓練,輪k次,很多文獻就乾脆把原本的測試集直接寫是驗證集,就變成80:20。
然後最後有一點就是其實現在很多模型尤其是OPEN AI那些超巨量模型你也很難做超參估計跟模型選擇,訓練一次就耗費幾億的,乾脆就一樣分80:20訓練跟驗證,反正只要確認20%是無偏獨立樣本就好了。
--
只有我看不懂嗎
就是 siae 夠大也夠不偏差,dataset一筆分
兩份,不另外生test set出來用
size
76
Re: [問卦] 刺槍無用論?80
Re: [問卦] 范琪斐有料嗎??52
Re: [新聞] 綠委沈伯洋喊控管幾十萬民眾 郭正亮痛批38
[問卦] 如果要打巷戰要怎麼應付中共的機器狗啊?26
Re: [問卦] 潮州副站長拒絕沒人陪同的身障搭火車對嗎37
[問卦] 李多慧林襄到味全龍後就過氣了?15
[問卦] 沒人發現台灣公務員根本沒有淘汰制度嗎!爆
[問卦] 鍾明軒&蕭敬騰&楊丞琳三位一體流出21
[問卦] 剛剛在脆看到年輕人股票要違約25
[爆卦] 竹科工程師搞出全台最強公立國中!32
[問卦] 五權到底哪裡分立了?28
[問卦] 大家都怎麼處理鼻子過敏19
[問卦] 潮州副站長拒絕沒人陪同的身障搭火車對嗎爆
[問卦] 核能的新名詞是什麼?25
[問卦] 輝達晚上聚餐吃這道菜是什麼?23
[問卦] 青鳥覺青如果知道衣服家電是中國製會怎樣15
[問卦] 質疑AI在吹牛需要多大勇氣20
[問卦] 貓貓壓住我的腳該怎麼辦?86
Re: [問卦] 范琪斐有料嗎??33
[問卦] 王菲最紅的歌是紅豆嗎?19
[問卦] 美國警察年薪也太多了吧?20
Re: [問卦] 如果要打巷戰要怎麼應付中共的機器狗啊?16
[問卦] 刺槍無用論?14
[問卦] 范琪斐的斐姨所思上傳黃國昌未剪訪談17
[問卦] 日本不是偷襲珍珠港,為何美日關係這麼52
[問卦]副站長看完PTT的文章 說要去報警了13
[問卦] 當年麥卡錫主義要在台灣重現了嗎15
[問卦] 路上有人跟你要20元買水,你會給嗎?13
Re: [問卦] 潮州副站長拒絕沒人陪同的身障搭火車對嗎22
Re: [問卦] 范琪斐有料嗎??