Re: [討論] 跑實驗數據要跑多次取平均嗎
路過看到這篇 自己剛好有參與過幾篇ML相關PAPER 來隨手回一下
想到啥就打啥可能有點亂 另外有錯也麻煩推文講一下我再修改
以下只講正規作法 先不討論一些偷雞做法
首先 實驗的目的就是為了證明自己的架構/做法比別人更好
那實驗重點就是要用嚴謹的方式來證明這一點
以下先把資料來源分成三種
1. 公開Dataset
2. 自己產生Dataset (假資料)
3. 自己收集的Dataset (真實資料)
然後看文中似乎沒有很熟所以這邊稍微講一次
Training Dataset : 丟下去訓練的Dataset
Validation Dataset : 訓練"時"驗證的Dataset
Testing Dataset : 訓練"完"驗證Model成效的Dataset
其中Train Val選擇上都比較自由
而Testing則是要固定 才能在不同Model間有統一比較標準
再來"通常"來說 Train Val Testing 應該彼此獨立
不該有重疊資料
但某些做法Train Val可以在特殊情況下重疊 例如要觀察某個Data是否無法學習之類的
而Test則是完全不該重疊
Test有重疊基本上就等於作弊了
----
以下討論不同種類資料來源時的分割法
1:
如果是1的話 那就比較簡單了
Training Validation 使用公開Dataset中Trainning data
數量比例任意
而Testing則是跑完公開Dataset中"所有" Testing data
結果一般而言是選自己Train出來Model中最好的那個
2:
由於是自己產生的假資料
所以可以先假設資料本身算是均勻的
再來因為是自己產生 所以數量理論上可以看自己心情要加多少就多少
那這時候通常是Train Val任意
Test則是參考相關Paper中 他們最後Testset使用的Data數量 再自己稍微加多一點
例如別人通常用2000~4000張來Test的話 自己可以抓個4000張~5000張之類的
選好之後Testing應該要固定
*注意A
由於是自己產的Data 所以跟別人做比較時 會有Model使用不同Data Train所造成的差異
如果要證明自己架構比較好 那應該要將別人的Model使用自己的Data Train過之後
再跑同一組Test data做比較
3:
自己收集的真資料
這時候可以假設資料是真實性高 並且不均勻的
如果想要驗證自己Model不會因為Data本身的Bias而造成結果差異過大
可以跑推文中所提到的K-Fold 來證明
選擇Testing的部分 由於你資料是不均勻的
所以選擇通常來說
是均勻選擇資料本身的分布
例如以人的年齡來說 可能以5歲唯一級距
然後從0~80歲分成16個Group
每1個Group中隨機選擇n張 以保證最後Testdata的年齡分布是平均的
選擇完Test data之後 一樣Train Val自己任意分
Test data數量可以參考相關Paper中Real world Data的數量
以及自己收集難度去估計
例如別人Test Real World 300張 自己只收集了600張 那可能就拿其中200張當Test
另外 驗證別人Model時同樣需要注意前面的注意A
最後 通常來說
Train : Val 大約都是8:2
Test越多越好 實務上通常是參考別人的數量自己做差不多數字
---
Model選擇上
標準做法是選擇自己Validation最好的去跑Test
實際發Paper做法通常是把所有Model都拿去跑Test然後選最好的那組當結果...
至於時間上就自己看能負擔到哪吧
更偷雞的做法就不提了
多看多跑多比較 就知道....
--
推
推
寫的很好 建議學生不要偷雞 務實嚴謹 現在抓抄襲 難保
以後不會抓無法重現
推
所以存下每個epoch看testing最好是可以的嗎?
回樓上 可以 但更嚴謹的做法是 存最好的Val去測test
當作結果
或是結合kflod還有你的作法也可以
推
所以跑100個epoch,假設在第80個epoch 的Val accurac
y是最高的,就把那次的model 跑Test嗎? 那假設發現t
est accuracy比Val爛很多怎麼辦?
推
推
回樓上上上 這就是你要去研究的問題(老闆調
推
16F 真的XD
頂會也一堆沒辦法reproduce 的source code,老實說他聲稱
有做什麼實驗設置的也無從驗證
確實,樓上說到重點= =
推
test的結果輸valid太多最大的可能就是valid洩漏進
training data
cross validation 算最可靠的指標了
推
同意樓上上 基本上交叉驗證的話就
很有參考性了
推
爆
[灑花] 分享自己的喜餅自己做今年一月底時剛好是跟男友的三週年 想了一想就把男友變先生了(害羞 後來一直覺得外面的喜餅吃不喜歡 又想想自己會做甜點,那就自己做好了! 從小吃別人家的喜餅,都對鐵盒喜餅很有憧憬爆
[心得] 致40歲的自己前情提要(? 40歲時,妳想用什麼樣的姿態來跨越這道年齡線? 這個問題對38歲剛瘦下來的我而言輪廓好模糊, 除了想要維持瘦下來的成果不復胖之外,我還想要什麼?爆
[心得] 自己的電腦桌自己來從小用到大的桌子 100*70真的太小了 而且會晃 除了桌面原木 其他都是合板 有點受潮 原先打算買現成的97
Re: [閒聊] AI終於進化到這步了嗎剛好我本身在做AI相關 下班閒暇之餘就做自己的side project, 分享成果給大家看看 用stylegans train的, 用的是公開的anime dataset 以下是隨機生成的幾張88
Re: [問卦] 有SPSS的掛嗎??????????????????????????做研究之前要先有一個Model 通常以台灣碩班生的程度,這個Model都是引用已發表的期刊 一個Model裡面會有因果關係 比如: A → C17
[創作] 分享 FinMind 股票視覺化工具大家好,我是 FinMind 作者 分享一個正在開發中的股市視覺化工具 使用現代化 BI tool - Redash 結合 FinMind data 只要寫 SQL 撈資料就能做 dashboard 以下是其中一個範例11
[討論] bz4x 實際續航(以model3 性能版對照)當大家一路酸儀表開個冷氣就剩三百多,說北高一定開不完 就想說拿個對照基準來算一下好了 資料來源為公開資料(包含西台灣與東台灣) 雖然CLTC WLTP 兩種標準測試方式不同, 但用比例去推算轉換值,以統計的立場來講,應該還說得過去吧11
[黑特] 真相大白:檳榔 引用國衛院的預測兼論預測真相大白:檳榔 引用國衛院提供給各縣市的數據 當作自己的預測 , 無恥 PS: 國衛院數據是用數學模型跑出來的,不是用感覺 這一篇要寫的東西其實滿多的,真要寫可以寫很多(尤其是科學預測部分) 但這裡只提一些基本觀念來說明 (真的寫都可以寫成論文了) 首先第一點 :先來踢爆檳榔說的每日 5萬人確診