Re: [問卦] 為什麼AI 這2-3年進步這麼神速？

我剛好研究所讀資工領域的。

你應該知道在這次AI大模型震撼世人之前，電腦科學界在紅啥嗎??

就是Big Data，大數據，資料探勘。

但是因為"算力"不足，所以在十年前，幾乎都是關注於儲存與基礎處理而已。

譬如NoSQL數據庫與一些簡單的資料探勘，那個時候SVM分析歸類資料可火的。

就是用一些通用數學演算法把資料分群分類，但也就這樣。

並不能"生成"。

這個時候Deep learning的基礎原理其實十年前就已經有了，說到更早的多層神經網路，

甚至是50年前的事情，那為什麼現在才爆發，其實也就是硬體總算跟上了。

量變產生質變，大力出奇蹟，自我加速迭代改進。

你看一下他們的參數是如何巨量成長的：

GPT-1：
發布於2018年，約有1.17億個參數。

GPT-2：
發布於2019年，提供了不同版本的模型，其中最大的版本有15億個參數。

GPT-3：
發布於2020年，具有1750億個參數，是當時最大的語言模型之一。

ChatGPT：
發布於2022年，將GPT語言模型用強化學習回饋訓練成人類喜好的聊天機器人。

GPT-4：
發布於2023年，據說有1.8兆個參數。

這就是量變產生質變，大力出奇蹟的威力。

也要歸功於老黃的GPU才能讓"大數據"變成"AI大模型"

十年前大數據可透過資料探勘變成資訊。

現在大數據透過AI訓練則可以變成AI大模型，也就是智慧。

這次的sora其實也差不多，用的是Diffusion Model為基礎，去年也都有網站公開展示了。http://tinyurl.com/78tezvev

但OpenAI啥沒有，算力最多，我用更大的算力去處理數據，

OpenAI還有什麼？GPT-4，我用GPT-4把影像的tag的訓練集，

"生成"能更仔細描述影片的長文，甚至用生成的影片再訓練。

這也就是AI的自我加速迭代改進，也就是一些AI加速主義者，奇點的成因。

你看看從一年間從威爾史密斯吃麵到現在吃漢堡的改進有多驚人
https://twitter.com/newsNZcn/status/1759150630470599150

所以現在能夠抵擋AI指數成長的限制器大概就剩下GPU與能源了。

大家好自為之。

====
反觀區塊鏈的Blockstream不用GPU與能源，自己用blocksize把自己限制住。

真是幹他媽的。

--

就被限制死了啊，所以當然是無用電子訊號，1MB區塊我也不知道能幹嘛

給你看看被拘束器限制住的永恆的mempool，大家都在排隊，哈哈哈~~~

的確是演算法的關鍵，但硬體也要指數成長才能有用。 不過當初發表的Google坐擁強大硬體優勢卻沒看到，真的是老了。

你可以直接去問Neuro-sama會比較準

我不知道是什麼領域的自動控制，但現代AI是種"黑箱"。 假如是要求高度安全性與穩定性的自動控制通常不敢貿然採用

一直都有用在輔助判斷上面，譬如影像判讀。 但不可能取代醫師，因為法律問題要有人負責。 跟藥師也可以完全被AI與包藥機取代一樣。 基礎研究的部分倒是早就大量採用AI去研發藥物了。

我都用NAI3生成A漫，自產自用，劇情無限制。