Re: [閒聊] 回測期間設定應該多長?
※ 引述《FA88124 (超弩級☆肥宅)》之銘言:
: 最近在做策略回測
: 數位貨幣的價格變化
: 跟傳統股票差異蠻大的
: 以ETH為例從2019年至今
: 價格的跨度其實就不小
: 從數百~好幾千 到現在穩定一千多
: 如果是股票指數期貨的話
: 可以算一點多少錢
: 然後點數高低的差距也
: 不會像上述ETH價格差異那麼大
: 那麼開發策略時
: 應該看多長的時間跨度比較好?
: 2022-2023年有效的策略
: 往前經歷2019-2020期間or5月大崩
: 可能最後結果就不同
: 從嚴謹的角度上來說
: 可以考慮資料的結構性變化
: 但從實務上來說
: 會回測多久的期間來認定策略有效呢?
自身也有在開發這塊 想說可以回應一下
數位貨幣變化真的很大 一般來說在會以時段區間裡面的最後值
(往往是收盤價)做normalization
小弟蒐集的是2023年9月30前的以USDT為交易對的現貨資料
扣除掉低交易量 太過新的交易對 或是穩定幣交互的交易對 (剩下334組 65GB資料)
透過幣安的API蒐集從開始到現在每分鐘的資料 (感恩R CRAN 的 binancer package)
訓練策略分成三部分
從創建交易對到2022年12月31日為訓練資料集 (訓練AI策略用的)
2023年1月開始到2023年12月31日為非實際入場測試(AI策略沒學過的資料 給他跑跑看)
以及如果結果還不錯
預計2024年1月開始透過API製作auto-trader自行讓AI實際入場買賣測試
我個人的經驗在測試上很難做長期投資變化預測
一方面波動巨大另一方面各種黑天鵝事件根本無法去由一些資料提前知道入場出場時機
至少以我自行訓練的結論是勝率大都在30-55%徘徊 = =
不過短期的預測入出場時機倒是相對可行 AI設計的策略也是在短線操作為主
在一開始的時候 只使用了BNB/BTC/ETH的交易資料對來訓練
但出現了嚴重的overfitting 即使用了drop out/L1/L2 regulerization
還有batch normolization以及layer normolization都無法順利消除.....= =
以BNB為例 (https://lurl.cc/glZ6J)
前兩張是回溯training資料集 confusion matrix其實表現不錯
但在後面的第三張是抓2023年9月10月的資料變化就發現差強人意...
但其他月份的資料表現又還不錯
所以這樣的觀察可以知道大事件發生時對AI學習來說資料diversity可能不夠
也因為如此才心一橫抓了所有USDT交易對讓AI嘗試學習不同山寨幣崩盤等等的時機要退出(https://lurl.cc/BPBBG) 這張圖是當時分析不同交易對最適合進出場cutoff時機
不過這張圖是根據交易策略跑出來的 不同策略是不一樣的
回到你前面的問題
回溯要看多久這件事情
我的觀點是如果以前的資料已經拿來訓練了 那回溯其實就不是重點了
因為策略已經學習過了 那他表現可以預期很好
需要判斷是否為適當策略應該要給予沒見過或是沒學習過的資料
我目前大都抓半年到一年 我看其他股票或是加密或幣的論文大多抓1年 給你參考
--
推經驗分享,不過連結可以獨立一行,才不會讀取錯誤
明朝的劍是斬不了清朝的官的,LTCM都不能成功,何況是一般
人
一分鐘的K其實一年的資料就可以做出東西了
我也曾經走過你這段思路
但可惜....結果上來說並不算成功
別再用分k來當訓練資料了,偷懶只會得到無效爛結果
LTCM失敗的原因是過度槓桿加上忽視系統性風險好嗎
19
Re: [討論] Ai 與 工程師我認為應該不太可能 因為AI要訓練的資料(網路上有發布的code)很多都是簡單的專案 例如整理資料類或者簡單的一小段功能 複雜的大型專案是幾乎沒有資料讓AI訓練的 除非訓練AI的團隊自己產出這類code,不過不太可能就是了14
Re: [新聞] 股票老師將失業?ChatGPT 能預測股市未來1. 我認為未來的AI應該會分科 也就是說不會有全才的AI 其實這個概念在 20幾年以前就有了 就是所謂的專家系統 分科指的是 根據某專業而形成的 AI 例如 醫學的癌症AI , 股票的 AI ............. 現在的 ChatGPT 基本上你問他股票的問題都不會回答你17
Re: [新聞] 學家:美股AI熱潮像是2000年網際網路泡沫是這樣啦 現在市場在反應經濟輕度衰退 或是銀行危機啦 很多非必需消費板塊 跟金融相關板塊14
Re: [心得] 演算法交易實用與否。大概自介一下,小弟是個放棄手操又不甘於定期定額拿大盤收益的韭菜,研究所做AI,目 前在量化交易公司上班,雖然公司主要是做高 頻套利/造市的,但還是不乏賺delta的策略,應該還有點資格回答這個問題。 基本上大多統計、AI應用於股票投資沒用不外乎就下面兩個問題, 1. 資料量太少: 舉例一個商品做日K,你抓個10年也通共就2000多筆資料,你用一堆特9
Re: [心得] 暫時退出市場的小小心得與請益感謝大家的回應,連假期間整理了一下 希望能有系統的跟大家交流 如果有漏掉的可以再跟我說,私信待會也會一併回覆 開始之前,還是先強調這個領域最重要的就是加強風險控管跟心理素質 沒有策略是永遠賺錢的、環境也一直在變化8
Re: [問題] 繪師有權力禁止別人學習畫風?不提心理學,我們就講個看得的部分 現行AI 跟 人類 在學習上有一個顯著的不同是: 人類只要很少的資料點(data point),就可以在判斷上產生很大的變化 人類可以在給予很少、甚至只有一個不符合之前判斷的案例下, 大幅地修正以前長期使用的策略。5
[閒聊] AI的訓練集未經授權是個問題?(日本)恩,我不確定要怎麼下標題,先暫時用這個想到再說好了。 AI主要的大問題是兩個,1.訓練資料的授權 2.成品的版權,這邊只討論1。 以之前我看到的說法,我以為使用有版權的訓練資料要嘛違法要嘛就是灰色地帶, 也就理論上會觸犯版權,只是藝術家沒辦法考證AI到底有沒有學習自己的作品, 只要AI不公佈學習來源你也拿他沒辦法,但如果有辦法證明的話就可以考慮侵權告訴;4
[情報] AWS GameDay : 英雄聯盟 (AI競賽)AWS GameDay : 英雄聯盟 AWS GameDay 與《英雄聯盟》聯名活動首度來台! 邀請您用真實對戰資料與 AWS 服務,打造《英雄聯盟》對戰贏家 AI 預測模型! 活動時間:2023 年 8 月 3 日 ( 四 ) 11:30 AM - 17:00 PM ( 15:30 最後入場,- 勞動部補助課程全程遠距教學【Python人工智慧與資料科學人才養成班第04期】 兩個月成為最受企業歡迎的AI資料分析技術人才 344小時完整學習AI大數據九個必備職能 程式語言、資料庫、網路爬蟲、資料探勘、資料視覺化、機器學習、影像辨識 、深度學習、自然語言處理