PTT推薦

Re: [問卦] 為什麼AI 這2-3年進步這麼神速?

看板Gossiping標題Re: [問卦] 為什麼AI 這2-3年進步這麼神速?作者
DarkerDuck
(達克鴨)
時間推噓21 推:21 噓:0 →:13

我剛好研究所讀資工領域的。

你應該知道在這次AI大模型震撼世人之前,電腦科學界在紅啥嗎??

就是Big Data,大數據,資料探勘

但是因為"算力"不足,所以在十年前,幾乎都是關注於儲存與基礎處理而已。

譬如NoSQL數據庫與一些簡單的資料探勘,那個時候SVM分析歸類資料可火的。

就是用一些通用數學演算法把資料分群分類,但也就這樣。

並不能"生成"。



這個時候Deep learning的基礎原理其實十年前就已經有了,說到更早的多層神經網路,

甚至是50年前的事情,那為什麼現在才爆發,其實也就是硬體總算跟上了。

量變產生質變,大力出奇蹟,自我加速迭代改進。

你看一下他們的參數是如何巨量成長的:

GPT-1:
發布於2018年,約有1.17億個參數。

GPT-2:
發布於2019年,提供了不同版本的模型,其中最大的版本有15億個參數。

GPT-3:
發布於2020年,具有1750億個參數,是當時最大的語言模型之一。

ChatGPT:
發布於2022年,將GPT語言模型用強化學習回饋訓練成人類喜好的聊天機器人。

GPT-4:
發布於2023年,據說有1.8兆個參數。

這就是量變產生質變,大力出奇蹟的威力。

也要歸功於老黃的GPU才能讓"大數據"變成"AI大模型"

十年前大數據可透過資料探勘變成資訊。

現在大數據透過AI訓練則可以變成AI大模型,也就是智慧。


這次的sora其實也差不多,用的是Diffusion Model為基礎,去年也都有網站公開展示了。http://tinyurl.com/78tezvev

但OpenAI啥沒有,算力最多,我用更大的算力去處理數據,

OpenAI還有什麼?GPT-4,我用GPT-4把影像的tag的訓練集,

"生成"能更仔細描述影片的長文,甚至用生成的影片再訓練。

這也就是AI的自我加速迭代改進,也就是一些AI加速主義者,奇點的成因。

你看看從一年間從威爾史密斯吃麵到現在吃漢堡的改進有多驚人
https://twitter.com/newsNZcn/status/1759150630470599150

所以現在能夠抵擋AI指數成長的限制器大概就剩下GPU與能源了。

大家好自為之。

====
反觀區塊鏈的Blockstream不用GPU與能源,自己用blocksize把自己限制住。

真是幹他媽的。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.236.237.31 (臺灣)
PTT 網址

SaintSeven 02/17 17:21認真文先推一把

ricky525 02/17 17:22這樣看來硬體無限 所以要投資nv跟核能

deann 02/17 17:24區塊鍊到底要幹嘛用的...

就被限制死了啊,所以當然是無用電子訊號,1MB區塊我也不知道能幹嘛

https://jochen-hoenicke.de/queue/#BTC,24h,weight

給你看看被拘束器限制住的永恆的mempool,大家都在排隊,哈哈哈~~~

https://cryptostreets.io/v/btc

james732 02/17 17:24所以AI就是比賽誰買到的GPU最多就贏ㄇ

james732 02/17 17:24區塊鍊的概念很屌耶,不過被炒過頭ㄌ

gankgf 02/17 17:25都是騙局 AI沒應用 核能會爆炸 豪可怖

j8630222 02/17 17:27我有用gpt4 每天都看到共用的人在用ai工

j8630222 02/17 17:28作 繪圖寫文案寫程式還有算數學題 超扯

uohZemllac 02/17 17:28

lavign 02/17 17:322017年Google的Transformer論文是關鍵

的確是演算法的關鍵,但硬體也要指數成長才能有用。 不過當初發表的Google坐擁強大硬體優勢卻沒看到,真的是老了。

※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/17/2024 17:34:45

g5637128 02/17 17:36

soulmola 02/17 17:38推 大師請問再過10年 AI 會有情緒嗎

你可以直接去問Neuro-sama會比較準

https://www.youtube.com/@Neurosama/videos

greenpine 02/17 17:39天網還有多久出來?!

Max112358 02/17 17:51還有一個原因 找到一個參數越多表現越

Max112358 02/17 17:51好的AI模型

amethystboy 02/17 18:00每錯 你各位耗子尾汁

emissary 02/17 18:07距離通用ai還要多久阿?

https://lifearchitect.ai/agi/

s90002442 02/17 18:09ai 到底什麼時候可以應用到自動控制

我不知道是什麼領域的自動控制,但現代AI是種"黑箱"。 假如是要求高度安全性與穩定性的自動控制通常不敢貿然採用

potionx 02/17 18:12特斯拉玩了那麼久都搞不好自動駕駛

potionx 02/17 18:12看來要被其他AI公司取代了 嘻嘻

nicejeffery 02/17 18:16為什麼感覺ai用在醫學腳步很慢?

一直都有用在輔助判斷上面,譬如影像判讀。 但不可能取代醫師,因為法律問題要有人負責。 跟藥師也可以完全被AI與包藥機取代一樣。 基礎研究的部分倒是早就大量採用AI去研發藥物了。

potionx 02/17 18:18法規先定好就可以 就像自動駕駛LV1-5分級

potionx 02/17 18:19醫學同樣用法規 讓使用者簽同意書就好

fransice7 02/17 18:25AI能生成A片的時候再叫我

我都用NAI3生成A漫,自產自用,劇情無限制。

sdbb 02/17 18:41推加密貨幣板主

linbasohigh 02/17 19:05認真文推推

somanyee 02/17 19:22推版主

bluefancy 02/17 19:51幫推

※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/17/2024 20:12:02

prestigejoM 02/17 21:43

romeie06 02/18 01:02

roter 02/18 01:13

ru04hj4 02/18 01:27看到sora 真的會顛覆很多產業

yamelody 02/18 01:31數據驅動模型最大致命傷在於沒學過的知

yamelody 02/18 01:32識 你不能期待它可以給出可靠的結果

※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/18/2024 18:21:37 ※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/18/2024 18:37:46