[討論] AI模型討論
FourCastNet
程式跟Model Weight
https://github.com/NVlabs/FourCastNet
論文
https://arxiv.org/abs/2202.11214
Fourier + vision transformer。最早成功運用vision transformer?
Pangu Weather
程式跟Model Weight
https://github.com/198808xc/Pangu-Weather
論文
https://www.nature.com/articles/s41586-023-06185-3
3D mesh + vision transformer。暴力解法,model weight最龐大,1.1G
GraphCast
程式跟Model Weight
https://github.com/google-deepmind/graphcast
不想login拿weight 可到下面link
https://huggingface.co/shermansiu/dm_graphcast
論文
https://arxiv.org/abs/2212.12794
graph + vision transformer。model weight不到200MB
這3個模型,家用電腦就可以輕鬆運算。
GraphCast跟PanguWeather都強調,颱風/颶風/氣旋的路徑預測,AI比傳統運算準確。但沒講的就....
然後最重要的事,AI以後會不會大幅進步?答案是,不會,除非有新的AI演算法,或者找到新的資料來源。
AI(deep learning)要進步,就是要更多的資料,但氣象的資料就這麼多了,每年的新增資料也有限,所以AI天氣的準確度,大概就停滯在這裡吧。
--
GraphCast真的不錯,只是Deepmind又把重心放到其他
領域了
感謝分享
出道即巔峰的概念嗎
可以了啦,已經不給傳統模式活路
資料來源就那幾個reanalysis,training結果差很大嘛!
插更多測站放更多氣球取得更細緻資料能再改善嗎
這些AI模型都離不開 NVDA H100 還有模組Earth -2
AI會進步的....即使演算法不變
但演算法是會持續進化的
單純算力的增加都會提高準確率
然後隨時都會有新資料進入
會release的只是basic model
真正在評估的都是實時在更新資料的
資料,算力,演算法,都在讓AI更準確
怎麼可能不會....光AI會自我學習 未來就有無限可能
AI自我學習?股版看太多了
所以資料要錢 演算法要錢 算力要錢
data augmentation跟GAN: am i a joke to you?
什麼樣的discriminator才能GAN?如果有這樣的discriminator,傳統預測早就飛天了。 data augmentation也行不通,LLM已經玩過了。好的curated dataset才有好的AI
砸錢買最強的老黃顯卡RTX4090就有可能吧?
我有個同事,他的公司電腦就插了4090來算AI的說
Deep learning把網絡層數加深,相同的資料可以榨出
更多細節特徵,其實對於準確性都大有幫助
演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明
很多。
嗯,好像真的在培養一個小孩的說
除非AI能自創出新的模型,不然用現有的模型去餵能算
出來的東西還不是一樣
問題是你每年只有幾個颱風颶風的資料可以訓練
這就是最大的侷限。DL需要大量正確的data來進步
AI只會持續進化,而且速度加快,毋庸置疑
你如果有能力預測AI的極限,應該忙到沒時間在ptt發
文
AI會進化 而且不會累 真的是未來趨勢
AI以後如果是像黃爸說的 連地面建築物對風的影響都
能算進去 那精準度一定是很高的
如果這次路徑真能提早這麼多天精準預測 其實以時間
序列模型來說已經非常厲害了 同時也達到可提早防颱
的任務
主要是人類用數學模型還不足以描述大氣現象,AI可以
彌補這部分
運算能力、模型架構、資料量都能夠讓AI能力提升
氣象你怎用GAN生資料==
每年的資料就只會多那一點點
重train會怎樣誰也不保證
但是算力提升應該可以做到更早預測
增加節點數量和網路深度算最直關粗暴的方法了
另外更細部的接近前地形效應,這個還很有潛力
算力提升不會更早預測,這不是LLM
掌握強化學習的方向,使模型遵守物理定律更重要
現在對AI的期待太高了,AI是好用,但有它的侷限。
就像5年前的AI自駕,吹太高了,如果當初簡單
開始,只專注高速公路,也許現在早就有普及的自駕
你有足夠的資料量和數據給他學習 很可怕的
放給AI隨機自己去產模型,等等就算出人類應當是三頭
六臂這種東西,沒有人類糾正算出來就是一坨垃圾。交
給隨機的話怎麼不乾脆去廟裡擲杯,反正是一樣的
16樓標準的普通人思維 問題是有多少東西可以給AI學
什麼方法學
我看到了不懂AI的人在談論AI....
AI算颶風大概就是給定一個曾經出現的颱風,然後給他
當時的大氣環境,最後就是不停的給他算,算到最後要
無限接近吻合當時的真實情形,AI訓練不是普通的機器
人做事,給他訓練他就會無限變好,要給於懲罰與獎勵
,除了已發生的真實案例,可以明確的讓算法設計者知
道如何給予目標獎勵外,要他憑空捏造一個人類都不知
道正確解答的問題,只會越來越歪像樓上講的一樣算出
個三頭六臂,按照樓上什麼架構優化 運算算法什麼算
力進步都根本不是重點
不過AI應該很早就出現了吧?只是因為去年開始嶄露頭
角,會有人不懂好像也很正常?
就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦,
最後兩者根本是不同類型的工具
AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂
好像只要加上AI就是一個很厲害的東西?@@
這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大
聲還以為來到股民討論區
Ai平台和模型的重大突破也只是去年的事,怎麼老有人
愛扯到祖宗十八代
如同工業革命前早有蒸汽機,只是瓦特做了突破性的
改良,日後世界就產生重大變革
地球平均一年80個熱帶氣旋,每年能餵的資料也不少
吧
問題是,要減少誤差,你需要多多少資料?減半是需要
一年80個,觀測的數據抓個50年也才4000筆算少的
多50%?多2x?3x?4x?。這幾個model都是用約40年的資料
來訓練。你要減半誤差,要多少個40年的資料?
一般模型訓練資料大小至少要是feature10倍以上
上面最小的graphcast每個網格點都要474個input fea
tures了
自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤
自駕車最大的問題不是因為人嗎
自駕車的問題是車禍責任歸屬,就像有人吹AI看病一樣
醫療糾紛算誰的?
你可以信與不信 科學的盡頭是玄學
自駕你隨便google waymo就知道了 =.=
人家都在盈利了
然而隨便Google也能看到在加州發生重大車禍
台灣也天天在車禍 XD
AI準,下周股票大漲, 反之。。。
ChatGPT 去年才出來,今年開始熱絡。 可以期待十年
後吧
然後到時就可以唱「十年之前 我不認識你...(下略)」
爆
[颱風] 2403 凱米中國14:34起編 ZCZC WSCI40 BABJ 200600 TO BCSY BCHK BCSH BCCD BCGZ BETY BEXA BETJ BESZ BEJN BEZZ BEBJ爆
Re: [颱風] 2403 凱米AI模型 【0721 00Z GFS資料源】 華為Pangu 谷歌GraphCast89
[問卦] Nvidia已經用AI在預測颱風 數發部勒?誒誒 我看新聞 黃仁勳用AI搞了一個第二個地球 然後研發一個新的軟體去預測天災 他直接拿台灣來舉例24
[分享] 2020 Audi RS6 vs Tesla Model 3 Perfor.影片: 2020 Audi RS6 vs Tesla Model 3 Performance Drag Race 雙方車輛基本資料: 2020 Audi RS620
Re: [閒聊] NovelAI程式碼被外洩了那個啊....有code不等於你能免錢產圖或是人人都變成那家公司。 所謂的AI是需要"訓練"的,以台灣資工所來說,大部分論文時間都會花在"訓練"上。 為的就是讓機器學到所謂的"weight",那個才是整個model最精華的地方。 你訓練"1次"可能就動輒3~4天、一周,如果這次結果不好你要調整model又可能要重練。 用的顯卡還都會是頂規、RAM插滿、電腦全天候滿載、冷氣開到最強。18
Re: [新聞] 輝達A100、H100獨家供應商!法人調高緯創前陣子自家公司GPU也不夠用了...在測試一堆想法時候 決定自掏腰包去租外面GPU 找了幾間像是 結果...wtf 也是大爆滿 看了幾個AI論壇 一堆自行開發者都自己測試各種pretrained model的下游fine-tune 也是各種哀嚎搶GPU 以前這幫個人開發者在自己的RTX 就可以簡單測試 但現在的 LLaMA也好 Diffusion也好 越來越難在家用遊戲顯卡上跑5
[問卦] 有多少人知道chatgpt就是文字接龍GPT全名Generative Pretraining Transformer 身為今年最火紅的工具 可以多國語言翻譯 可以做摘要 可以寫文案4
Re: [請益] 什麼程度履歷上才能說自己會AI手機排版,請見諒 小弟的職位名稱上就有個AI,不過從來不敢跟別人說會AI。 現在大家口中說的AI實際上就只是learning-based的model,沒什麼特別厲害的地方。 數學上, 你只要會線性代數、微積分跟機率統計就可以開始了。3
Re: [心得] 演算法交易實用與否。看過Physics of Wall Street 嗎?基本上所有的機器交易背後最重要的是人寫的model, 有牽涉到AI的話 使用哪一種AI algo 就是重點。但是不論哪一個都沒有穩賺的 所有的model 都有flaws. RT 在2008大賺 但是同樣策略在疫情時卻不行 當你在用程式在跑的時候 千萬要記得 做判斷的 寫程式的都是人 如果你自己沒法找到一個賺多賠少的策略 你開發出來的程式會有意義嗎?更不用說AI了 一般人都太神話AI了 有沒有聽過 AI is only as good as its training data. 如果資料量不夠或是太雜 或是不知如何tagging 或牽涉到主觀判斷的權重 那這AI 還不如沒有的好 我自己做的是先找到一個可以獲利的策略 然後再寫成程式來自動化 提高liquidity ------ 我認為要先釐清楚一點,要做AI的模型並非只能透過Python, 大家都用Python原因在於AI套件都已經由國外的大神做好了, 甚至有些套件都事先訓練好資料,提供weight檔案,可以直接使用應用在某些專案, 若只是要用這些AI套件,使用Python非常方便 Python的優點: