PTT推薦

[討論] AI模型討論

看板TY_Research標題[討論] AI模型討論作者
oopFoo
(3d)
時間推噓38 推:38 噓:0 →:63

FourCastNet
程式跟Model Weight
https://github.com/NVlabs/FourCastNet
論文
https://arxiv.org/abs/2202.11214
Fourier + vision transformer。最早成功運用vision transformer?

Pangu Weather
程式跟Model Weight
https://github.com/198808xc/Pangu-Weather
論文
https://www.nature.com/articles/s41586-023-06185-3
3D mesh + vision transformer。暴力解法,model weight最龐大,1.1G

GraphCast
程式跟Model Weight
https://github.com/google-deepmind/graphcast
不想login拿weight 可到下面link
https://huggingface.co/shermansiu/dm_graphcast
論文
https://arxiv.org/abs/2212.12794
graph + vision transformer。model weight不到200MB

這3個模型,家用電腦就可以輕鬆運算。

GraphCast跟PanguWeather都強調,颱風/颶風/氣旋的路徑預測,AI比傳統運算準確。但沒講的就....

然後最重要的事,AI以後會不會大幅進步?答案是,不會,除非有新的AI演算法,或者找到新的資料來源。

AI(deep learning)要進步,就是要更多的資料,但氣象的資料就這麼多了,每年的新增資料也有限,所以AI天氣的準確度,大概就停滯在這裡吧。

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣)
PTT 網址

aegis43210 07/21 21:52GraphCast真的不錯,只是Deepmind又把重心放到其他

aegis43210 07/21 21:53領域了

mark0204 07/21 21:54感謝分享

HellFly 07/21 22:07出道即巔峰的概念嗎

JuiFu617 07/21 22:08可以了啦,已經不給傳統模式活路

dildoe 07/21 22:26資料來源就那幾個reanalysis,training結果差很大嘛!

hedgehogs 07/21 22:39插更多測站放更多氣球取得更細緻資料能再改善嗎

zxc445567 07/21 22:40這些AI模型都離不開 NVDA H100 還有模組Earth -2

shiauber 07/21 23:04AI會進步的....即使演算法不變

shiauber 07/21 23:04但演算法是會持續進化的

shiauber 07/21 23:04單純算力的增加都會提高準確率

shiauber 07/21 23:04然後隨時都會有新資料進入

shiauber 07/21 23:04會release的只是basic model

shiauber 07/21 23:04真正在評估的都是實時在更新資料的

shiauber 07/21 23:04資料,算力,演算法,都在讓AI更準確

handfoxx 07/21 23:04怎麼可能不會....光AI會自我學習 未來就有無限可能

AI自我學習?股版看太多了

shiauber 07/21 23:06所以資料要錢 演算法要錢 算力要錢

lsd25968 07/21 23:09data augmentation跟GAN: am i a joke to you?

什麼樣的discriminator才能GAN?如果有這樣的discriminator,傳統預測早就飛天了。 data augmentation也行不通,LLM已經玩過了。好的curated dataset才有好的AI

canandmap 07/21 23:10砸錢買最強的老黃顯卡RTX4090就有可能吧?

canandmap 07/21 23:11我有個同事,他的公司電腦就插了4090來算AI的說

fajita 07/21 23:14Deep learning把網絡層數加深,相同的資料可以榨出

fajita 07/21 23:15更多細節特徵,其實對於準確性都大有幫助

ryan823520 07/21 23:20演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明

ryan823520 07/21 23:21很多。

canandmap 07/21 23:30嗯,好像真的在培養一個小孩的說

hnjsh 07/21 23:37除非AI能自創出新的模型,不然用現有的模型去餵能算

hnjsh 07/21 23:37出來的東西還不是一樣

newsnew 07/21 23:50問題是你每年只有幾個颱風颶風的資料可以訓練

這就是最大的侷限。DL需要大量正確的data來進步

ludwig0201 07/21 23:52AI只會持續進化,而且速度加快,毋庸置疑

ludwig0201 07/21 23:55你如果有能力預測AI的極限,應該忙到沒時間在ptt發

ludwig0201 07/21 23:56

timidwei 07/22 00:08AI會進化 而且不會累 真的是未來趨勢

kevin0316 07/22 00:14AI以後如果是像黃爸說的 連地面建築物對風的影響都

kevin0316 07/22 00:14能算進去 那精準度一定是很高的

yamelody 07/22 00:20如果這次路徑真能提早這麼多天精準預測 其實以時間

yamelody 07/22 00:20序列模型來說已經非常厲害了 同時也達到可提早防颱

yamelody 07/22 00:20的任務

OBTea 07/22 00:22主要是人類用數學模型還不足以描述大氣現象,AI可以

OBTea 07/22 00:22彌補這部分

steven3abc 07/22 00:36運算能力、模型架構、資料量都能夠讓AI能力提升

orze04 07/22 00:58氣象你怎用GAN生資料==

orze04 07/22 00:58每年的資料就只會多那一點點

orze04 07/22 01:00重train會怎樣誰也不保證

OBTea 07/22 01:01但是算力提升應該可以做到更早預測

orze04 07/22 01:03增加節點數量和網路深度算最直關粗暴的方法了

orze04 07/22 01:06另外更細部的接近前地形效應,這個還很有潛力

aegis43210 07/22 01:08算力提升不會更早預測,這不是LLM

aegis43210 07/22 01:11掌握強化學習的方向,使模型遵守物理定律更重要

oopFoo 07/22 06:33現在對AI的期待太高了,AI是好用,但有它的侷限。

oopFoo 07/22 06:36就像5年前的AI自駕,吹太高了,如果當初簡單

※ 編輯: oopFoo (58.114.66.74 臺灣), 07/22/2024 06:39:40

oopFoo 07/22 06:42開始,只專注高速公路,也許現在早就有普及的自駕

CCNK 07/22 07:50你有足夠的資料量和數據給他學習 很可怕的

hnjsh 07/22 08:00放給AI隨機自己去產模型,等等就算出人類應當是三頭

hnjsh 07/22 08:00六臂這種東西,沒有人類糾正算出來就是一坨垃圾。交

hnjsh 07/22 08:00給隨機的話怎麼不乾脆去廟裡擲杯,反正是一樣的

wj12240522 07/22 09:4516樓標準的普通人思維 問題是有多少東西可以給AI學

wj12240522 07/22 09:45 什麼方法學

down 07/22 09:48我看到了不懂AI的人在談論AI....

wj12240522 07/22 09:54AI算颶風大概就是給定一個曾經出現的颱風,然後給他

wj12240522 07/22 09:54當時的大氣環境,最後就是不停的給他算,算到最後要

wj12240522 07/22 09:54無限接近吻合當時的真實情形,AI訓練不是普通的機器

wj12240522 07/22 09:54人做事,給他訓練他就會無限變好,要給於懲罰與獎勵

wj12240522 07/22 09:54,除了已發生的真實案例,可以明確的讓算法設計者知

wj12240522 07/22 09:54道如何給予目標獎勵外,要他憑空捏造一個人類都不知

wj12240522 07/22 09:54道正確解答的問題,只會越來越歪像樓上講的一樣算出

wj12240522 07/22 09:54個三頭六臂,按照樓上什麼架構優化 運算算法什麼算

wj12240522 07/22 09:54力進步都根本不是重點

canandmap 07/22 09:57不過AI應該很早就出現了吧?只是因為去年開始嶄露頭

canandmap 07/22 09:57角,會有人不懂好像也很正常?

wj12240522 07/22 09:59就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦,

wj12240522 07/22 09:59最後兩者根本是不同類型的工具

t95912 07/22 10:24AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂

t95912 07/22 10:24好像只要加上AI就是一個很厲害的東西?@@

minervava 07/22 11:34這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大

minervava 07/22 11:34聲還以為來到股民討論區

ludwig0201 07/22 12:21Ai平台和模型的重大突破也只是去年的事,怎麼老有人

ludwig0201 07/22 12:21愛扯到祖宗十八代

ludwig0201 07/22 12:26如同工業革命前早有蒸汽機,只是瓦特做了突破性的

ludwig0201 07/22 12:26改良,日後世界就產生重大變革

savishu 07/22 12:56地球平均一年80個熱帶氣旋,每年能餵的資料也不少

savishu 07/22 12:57

oopFoo 07/22 13:30問題是,要減少誤差,你需要多多少資料?減半是需要

KyuubiKulama07/22 13:32一年80個,觀測的數據抓個50年也才4000筆算少的

oopFoo 07/22 13:32多50%?多2x?3x?4x?。這幾個model都是用約40年的資料

oopFoo 07/22 13:34來訓練。你要減半誤差,要多少個40年的資料?

djmez 07/22 13:52一般模型訓練資料大小至少要是feature10倍以上

djmez 07/22 13:54上面最小的graphcast每個網格點都要474個input fea

djmez 07/22 13:54tures了

hinajian 07/22 14:27自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤

kevin0316 07/22 14:50自駕車最大的問題不是因為人嗎

nuc1earsub 07/22 15:05自駕車的問題是車禍責任歸屬,就像有人吹AI看病一樣

nuc1earsub 07/22 15:05醫療糾紛算誰的?

shiauber 07/22 15:20你可以信與不信 科學的盡頭是玄學

shiauber 07/22 15:20自駕你隨便google waymo就知道了 =.=

shiauber 07/22 15:20人家都在盈利了

snocia 07/22 16:09然而隨便Google也能看到在加州發生重大車禍

shiauber 07/22 16:51台灣也天天在車禍 XD

anachronism 07/22 17:00AI準,下周股票大漲, 反之。。。

sus304 07/23 00:08ChatGPT 去年才出來,今年開始熱絡。 可以期待十年

sus304 07/23 00:08後吧

canandmap 07/23 00:53然後到時就可以唱「十年之前 我不認識你...(下略)」