PTT推薦

Re: [請益] NVDA跟AMD怎麼突然崩了

看板Stock標題Re: [請益] NVDA跟AMD怎麼突然崩了作者
EvilSD
(星塵遠征君)
時間推噓43 推:48 噓:5 →:116

本來中午要去吃飯剛好看到這篇,雖然我說的內容可能大部分人也可能不太理解,
但巷子內的看到應該會覺得還是蠻怪的,當然有更多大神指點是更好的




※ 引述《LDPC (Channel Coding)》之銘言:
: 週末有點時間 之前寫的老黃故事 https://disp.cc/ptt/Stock/1aVG4__D
: 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力
: 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料
: 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情
: 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理
: 但在pre-trained model/foundation model出來後 一切都不同了

Pre-trained model的概念從開山祖師爺Alexnet誕生以來就有了
早期AI的爆發起源於李飛飛辦了一場視覺的辨識比賽,但為此比賽就需要資料庫
因此建立了Imagenet,人類第一個大數據影像庫,有一千種類別

當年應該是第二屆吧,Alexnet的橫山出世,靠著與其他人完全不同的架構
壓倒性的準確率獲得了當年冠軍(比前一年冠軍提高了10%左右)
這個架構就是當年類神經模型的延續,也就是俗稱的深度學習Deep Learning架構

因此後來開源了此架構模型跟參數,也就是俗稱的Pre-train model,因此就開起了大
AI時代的序幕,大家蜂擁而上的發展新架構,Fine-tuning新模型

而當時要訓練十幾萬張的照片光用CPU是跑不動的,因此Alex還有一個很大的貢獻是
他手刻調用兩張GPU顯卡進行運算,也是老黃AI王朝的開始

在此技術突破後帶來的就是各種影像上突破,例如人臉辨識、停車場進出、智駕車等
也讓智駕車從空談變成了可能


: 大體而言就是 模型透過某種學習(self-supervised) 機器能從無註記資料學習一定法則: 而能做到超出原本數據沒有做過的事情 甚至簡單調整 (zero-shot)再不需要重新訓練: 或者少量訓練(fine-tuning) 機器就能根據落地場景 能達到最佳化結果
: 甚至因為self-supervised關係 許多網路上的野生數據 也不需要人工標註
: 因為機器會在這些大量野生數據 自我學到法則 從而產生推理的效果
: 而這些最大的意義就是 機器能做到超乎原本數據給的標籤效果 理解數據 創造法則
: 這些意味者AGI的那個聖杯 有機會可以摸到邊了 而OpenAI最大的概念就是
: 大力出奇蹟 也就是堆疊數據多樣性(multi-tasking)及 透過龐大算力跟模型
: 而所達到的模型泛化(zero-shot)以及AGI效果更明顯

其實這邊算是一堆概念混在一起使用了,首先zero-shot在現階段是很難訓練的,
通常必須要有一個大模型,才有辦法使用zero-shot,或是few-shot learning

簡單來說就是你無法從零開始,事到如今一定還是必須要有資料
而且是高品質的標記資料,再加上暴力式硬體進行學習,才有機會變大模型

所以我接續上面的故事繼續說後續好了,這樣可能讓一般人也比較能夠看得懂

在影像上取得突破後,是不是就能套用在全部的影像環境的,答案是否定的
因為在影像環境中有各式各樣的難題,例如你是個分類問題還是物件偵測問題等等等

因此首先突破的是分類問題變得更精準,突破的方式就是將類神經網路建構的更深層
,就出來了例如resnet、inception等架構

後續就解決了辨識更精準,甚至到後來YOLO架構的出現解決了物件偵測的問題
隨著影像上的突破,大家就漸漸地將這些方式導入到其他的領域中,例如訊號、音訊
、文字、控制等

後來出現了GAN的架構,帶給人們另一種啟發的思想,所謂的GAN也可以當作是生成式架
構的發想開創,讓大家知道原來可以讓AI創作出東西,而不是單純地進行識別而已

後續講快一點,在這段年間AI的論文架構基本上是一週小改一個月大改,過了半年就是落後技術,但隨著google發表了Attention與Transformer後,開始有了異質性結合的可能,也就是現在gpt
的始祖,可以分解文字,可以將文字輸入變成影像輸出等

也就是從此之後AI漸漸地從開源導向了不開源,而且某些程度上是閉鎖的
上一個這樣的領域應該是強化式學習(Reinforcement learning)

在當年OpenAI發表GPT2的時候,就對他巨量的參數量感到吃驚,因為可想而知是背後
有著巨型不開源的資料庫,所以在後續GPT3的成功,也開啟了LLM的朝代

一個AI成為軍備競爭的朝代,你需要有夠多夠高品質準確的資料,加上巨型的模型跟
龐大的顯卡庫,就能越接近AGI,這也是為啥美國拼命禁中國生產晶片進口顯卡,最主要的目的除了5G手機以外就是避免他們比美國更快發展出AGI

那關於老黃的起飛呢,一開始靠著個人版或是主機板的顯卡吃片天下,再來是靠著挖虛擬貨幣吃掉了所有消費型顯卡的量,接下來就是奧特曼發現現在的GPU量是源源不足以誕生出AGI以及能用於落地,所以就造就了現在NV的盛況,大家可以想像原先的資料中心,原本Server一半以上都要換成GPU(基本級別),如果要導入生成式架構應用,或是未來的AGI,那可能是現今十倍甚至更高到百倍的用量

這也是我們一般人難以想像的

最後補充一些我看好的市場吧,因為生成式架構的誕生,讓文字生成,影像生成已經變了可能,未來就是3D影像領域與控制領域也會變成了可能

例如建立了大量標準動作庫,讓機器人只要看懂一次,就能夠完整的操作此動作,
又或著是在AR/VR領域,現在建立虛擬場景成本很高,之後都靠生成架構,就能降低
很多成本,因此VR MMORPG也會漸漸出現

因此陪伴機器人、家居型機器人會是下一個市場,以及生成式投影機或相關虛擬生成
的產業也會越來越龐大,但我想應該是還要一段時間

題外話,最近OPENAI出了生成式影片的功能,早在一年前我們還在看巨石強生吃石頭,隔不到一年就有如此大的進步,只能說可能AGI的時代會比我們想像中的還快到達


雖然我是傾向AGI不是已經誕生,就是需要在遙久的以後才會出現吧



--
那片有座高塔哭著朝北方奔去的天空,是我此刻片尋不著的風景

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.242.104 (臺灣)
PTT 網址

w60904max 03/09 13:56看樣子要因為AI失業 只能在家玩刀劍神域了

roseritter 03/09 13:56

LDPC 03/09 13:58clip, wave2vec都不需要label data 而wave2vec是後

clip跟wave2vec都要進行預訓練的,並不是不用 只是你直接拿他們訓練好的參數就能夠直接fine tune或是直接映射

jecint1707 03/09 13:58VR補習 我已經遇見未來了

LDPC 03/09 13:58來audio encoder幾時(e.g. Meta M4T)

fakelie 03/09 13:59我自己覺得照護類機器人應該沒這ㄇ快

ImHoluCan 03/09 14:00台積電工程師準備被取代

ImHoluCan 03/09 14:00變成決測師

fakelie 03/09 14:01現在最新model一樣base attention machanism

dosiris 03/09 14:01最先會被取代的是櫃檯人員和Uber Eat

LDPC 03/09 14:01On the Opportunities and Risks of Foundation Mo

fakelie 03/09 14:02跟人體有關ㄉ不能出錯 容錯率高產業比較有發展空間

LDPC 03/09 14:02odel裡面有時間軸解釋pretrained model歷史緣由

LDPC 03/09 14:04甚至Bert也是透過無需標註的數據來做pretrianing

fakelie 03/09 14:05因為attention導入有weight, softmax,一樣改變不了

fakelie 03/09 14:05NN 本身base on rateㄉ事實

LDPC 03/09 14:06你所謂高品質標籤數據現在的做法用在finetune

roseritter 03/09 14:06未來城市規劃裡面 智慧運輸載具專用道 也許會變重要

fakelie 03/09 14:06bert fine-tune看用途 一樣需要標籤

littlesss 03/09 14:06可以娶兔子老大的女兒了嗎?

ImHoluCan 03/09 14:06HR 可以取代掉不是嗎?

LDPC 03/09 14:07且以現在模型大小來看wave2vec,bert,clip都小於1b

LDPC 03/09 14:07根本不能算作大模型

fakelie 03/09 14:08對ㄟ hr的確能取代掉xd

sawadiga 03/09 14:08克隆打的贏ai不

LDPC 03/09 14:08我摘錄李非非pretrained model 2021那份報告

LDPC 03/09 14:09A foundation model is any model that is trained

LDPC 03/09 14:10on broad data (generally using self-supervision

LDPC 03/09 14:10e.g., fine-tuned) to a wide range of downstream

LDPC 03/09 14:12zero shot在clip來說 一個ccf12資料就可以train出來

LDPC 03/09 14:12我不知道你那些立論是從哪來的....

你沒發現我說的是pre-trained model而不是foundation嗎 其實兩者的概念是有點歷史推移的

inoce 03/09 14:12跟我想得差不多

ae8450 03/09 14:14人類要滅亡了~

※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:19:03

ProTrader 03/09 14:14AI HR 有產品了 但是說取代真人HR還太早

LDPC 03/09 14:15而z-shot clip/bert/wav2vec就是從零開始train啊..

ImHoluCan 03/09 14:15HR 與櫃台 那些都可以砍ㄧ砍,還有什企劃什麼的,

ImHoluCan 03/09 14:15根本肥貓ㄧ群,我是不信這些東西要靠多強大的AI 才

ImHoluCan 03/09 14:15能取代掉

LDPC 03/09 14:16且你理解有錯誤耶 文字輸入變成影像輸入是clip

LDPC 03/09 14:16融合了embedding 讓文字和影像embedding投射到同空

LDPC 03/09 14:17DALL-E就是拿clip弄出來的

這是後面直接省略掉沒細說,不然可能要在再半小時以上...

LDPC 03/09 14:18yolo並不是解決精確 而是解決速度上...QQ

現在算是又準又快了,至少導入Anchor free架構後,小物件開始抓的準了

rooberte 03/09 14:18十幾年前就在炒機器人了,現在普及的只有掃地機器人

LDPC 03/09 14:19AGI是現在一個叫做世界模型的議題也跟embedding有關

j8630222 03/09 14:21需要真人實際勞力操作的沒那麼快 要等機器人 但對於

j8630222 03/09 14:21靠電腦介面工作的 還有創意類 AI可以做大部分 留部

j8630222 03/09 14:21分審核修正的人力就好 未來幾年內變化應該非常快速

LDPC 03/09 14:21現在pretrained大多意指就是foundation

※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:23:44

LDPC 03/09 14:21https://arxiv.org/abs/2302.09419 比方說這篇敘述

mrmowmow 03/09 14:23vr勒,vr建場景成本高一般遊戲就不高嗎?vr遊戲的

mrmowmow 03/09 14:23問題一直都是不適感,不管是配戴上或是身眼感受不

mrmowmow 03/09 14:23同步的不適,跟什麼建模成本沒半點關係

ProTrader 03/09 14:25本篇內容太專業 沒在追的人根本看不董吧XD

ProTrader 03/09 14:26VR 有聽說是視覺演算法議題 目前meta最認真

LDPC 03/09 14:27"clip跟wave2vec都要進行預訓練的,並不是不用"

ProTrader 03/09 14:27元宇宙失敗不過meta沒有放棄 短期內不會有結果

LDPC 03/09 14:28clip就是拿不需要標籤的數據去做的founcaiton model

LDPC 03/09 14:28他就是從零開始 而且模型不大 這跟你內文講的牴觸

LDPC 03/09 14:28foundation model就大多是self-supervised

LDPC 03/09 14:30且clip在做classification是zero shot 這過程都沒

LDPC 03/09 14:30用到任何標籤數據 模型也不大 這跟你內文牴觸

問一個問題哦,一開始訓練CLIP是不是需要一組文字+影像的資料 然後兩者都各過一個Encoder 那這裡的文字+影像算是不需要標籤的數據嗎,這樣想想就好

goodbye 03/09 14:31感謝分享故事

rooberte 03/09 14:32威爾史密斯的機器人電影多久了?到現在也沒實現,沒

rooberte 03/09 14:32實現就一直炒

※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:37:09

lou3612 03/09 14:37你是做ML的嗎 我看不懂你對”ChatGPT是zero-shot”

lou3612 03/09 14:37的吐槽點是什麼

jo4 03/09 14:38期待VRMMORPG

LDPC 03/09 14:38wow...天阿 你真的不是搞AI 不知道clip作法

sdbb 03/09 14:39補血

LDPC 03/09 14:40clip是拿野生img/text pair 這通常是網路像本

LDPC 03/09 14:40而會說這不是標籤是 因為這些文字敘述有時候跟照片

LDPC 03/09 14:41無關 比方說 你照了一個麵包 文字那邊寫在台中照的

LDPC 03/09 14:41這時候你文字就不是標籤 他反而是噪音干擾照片

LDPC 03/09 14:42那這些野生數據是因為很多照片平台 作者上傳照片

LDPC 03/09 14:42會寫些文字 但這些文字不一定跟照片有關 他就只是

LDPC 03/09 14:43野生數據 打個比方 你上傳出去照片 然後寫了一首詩

LDPC 03/09 14:43這兩個相關性不大 但clip就是比較各種照片文字 找出

LDPC 03/09 14:43相關性 但因為野生數據太髒 所以效果不好 才會有個

LDPC 03/09 14:43BLIP 就是先做一個classifier去把文字跟照片沒對齊

LDPC 03/09 14:44的數據排除掉 後期Laion則是利用其他方式做篩選

LDPC 03/09 14:45或說clip不是用標籤數據 就在他裏面的正負樣本是

naloer 03/09 14:45AI居家機器人?不就特斯拉嗎…

LDPC 03/09 14:46沒有標籤的 正樣本就是文字跟照片有關 負樣本就是

LDPC 03/09 14:46文字跟照片相反 更別說wave2vec 就是前後mask資料

LDPC 03/09 14:46哪來的數據標籤.....0rz

ck4u04 03/09 14:46

lou3612 03/09 14:49好幾個點怪怪的 你要怎麼讓生成式ai 生出虛擬環境?

lou3612 03/09 14:49然後意義何在? 不知道你是說得太少還是單純在蝦說

LDPC 03/09 14:54https://tinyurl.com/4ezv6jzc 這篇開明正宗說了

lou3612 03/09 14:54L大說的正確很多

LDPC 03/09 14:54Foundation models are typically trained using se

LDPC 03/09 14:55self-supervised learning This indicated that the

LDPC 03/09 14:55they are not given any explicit labels or instru

ProTrader 03/09 14:56原po說的虛擬環境應該是3D影像 2D影像升級成3D

LDPC 03/09 14:56你要模型泛化 你就得用self-supervised learning

LDPC 03/09 14:56你加了標籤 就是讓模型特制化你要的目的

ProTrader 03/09 14:58上面那一段 才能說自己的產品升級成AGI

lou3612 03/09 14:583D影像沒有物理引擎要怎麼訓練機器人

LDPC 03/09 15:00Sora目前的確有人懷疑拿unreal的3D物理引擎finetune

dos01 03/09 15:00我比較同意這篇 太多在炒AI的畫餅畫太大了

dos01 03/09 15:01目前確實是有可能做到遊戲相關的領域 但這塊的餅早

dos01 03/09 15:01就被吃得差不多了 都有廠商喊著不玩3A要撤資

LDPC 03/09 15:02我也希望是炒作 不然每年kpi NeurIPS/ICML/ICLR

dos01 03/09 15:02投入AI能得到的報酬率只是杯水車薪 根本不划算

LDPC 03/09 15:03搞得我都快瘋了..我最近投的ICML也要放榜了 995 QQ

FFFAAA 03/09 15:03可以請問CPU跑不動,為什麼GPU就跑的動,同樣CPU也

FFFAAA 03/09 15:03在進化可以取代GPU,為什麼差距會那麼遠?

dos01 03/09 15:04至於機器人喔 5年內都不可能 要連結的複合產業太多

dos01 03/09 15:04首先金屬加工 微動 感應器 網路訊號 這些東西要整合

dos01 03/09 15:04起來沒這麼容易

LDPC 03/09 15:04機器人不可能啦 我同意 這波一堆機器人都裁員了

azhu 03/09 15:04AI女友絕對是殺手應用, siri變成”joi”

ProTrader 03/09 15:05請先理解CPU與GPU的差異 簡單說就各有所長

LDPC 03/09 15:05我前同事去自駕Argo當CTO 一樣GG 五大自駕直接關門

LDPC 03/09 15:05現在矽谷就業市場都是GenAI 傳統CV根本找不到面試

FFFAAA 03/09 15:06AI還是以GPU為主,而不是目前最強CPU可以取代,同

FFFAAA 03/09 15:06樣邏輯,那GPU是不是可以取代CPU目前工作,白話一點

FFFAAA 03/09 15:06就是GPU屌打CPU。

dos01 03/09 15:06CPU跟GPU就架構不同 去打幾年的遊戲就知道哪些東西

dos01 03/09 15:07是CPU負責 哪些又是GPU負責 就很容易理解了

likeyousmile03/09 15:08

littlestargu03/09 15:13

cc77 03/09 15:14橫空啦

dosiris 03/09 15:18謝謝L大推薦的那篇文章 挑其中幾個章節來看

NCTU5566 03/09 15:19

domon0525 03/09 15:24

zoze 03/09 15:28白話: NV和AMD繼續當軍火商,賺爛

newwu 03/09 15:32別拿現在AI的方向來說未來發展一定是哪個方向 從最

newwu 03/09 15:32早拿NV的GPU來做深度學習也才15年而已 15年來大熱

newwu 03/09 15:32門的方向換N次了

josephpu 03/09 15:47

jojochen 03/09 16:37然而掃地機器人還是智障與效果不好

swansea 03/09 16:3999TSLA

roseritter 03/09 16:41粗略的說cpu像做很長的加法f1+f2是,a11+a12+....+a

roseritter 03/09 16:411n+a21+a22+....+a2n

roseritter 03/09 16:42像國小的學生一樣2項加完得解再跟第三項加一路做下

roseritter 03/09 16:42

m06800825 03/09 16:42GPU就是差在有辦法做tenaor的平行運算 這個部分CPU

m06800825 03/09 16:42再怎麼好都無法取代

roseritter 03/09 16:45GPU,直接兩個長橫式列出來,pop就給你(a11+a21)+(a1

roseritter 03/09 16:452+a22)+.....+(a1n+a2n)

azxswqa 03/09 16:56人力成本多少?AI成本多少?

shinyi444 03/09 17:48沒有政府背書法條和歷史性的公約 這種撼動統治階級

shinyi444 03/09 17:48的東西能商轉嗎XD

shinyi444 03/09 17:49只要未來有AI稅這東西全部崩回原點XD

pooiuty 03/09 17:53太專業的討論了,結論就是:1.這個市場還有無限想像

pooiuty 03/09 17:53空間,2.以後有可能變成各國軍備競賽,

twerk 03/09 17:56結論:NVDA和AMD繼續噴 TSLA就是個嘴砲仔

gladopo 03/09 18:22

bbignose 03/09 19:11NVDA領頭噴,TSM後面遞水

iammacross 03/09 23:07

gwofeng 03/09 23:37我老婆初音終於要有身體了

hanhsiangmax03/10 01:19專業推

cc1plus 03/10 02:00大間的 CSP 應該都會弄 CPU+自有TPU 的方式

cc1plus 03/10 02:01沒辦法丟資源的才會弄 GPU ,CPU 也可以跑就推理

cc1plus 03/10 02:01最近看到 intel i14 大打推理,不知道實際速度如何

pocession 03/10 04:41其實我覺得L大講的比較對。這篇的講法有些聞題

pocession 03/10 04:42一開始的訓練並不是使用標記資料的。

pocession 03/10 04:43就連在預訓練的前置訓練,像是word2vec這種淺層的

pocession 03/10 04:43神經網路

pocession 03/10 04:43也沒有標記什麼東西。

pocession 03/10 04:44有的,只是輸入和輸出的配對,藉由訓練去找出規律,

pocession 03/10 04:44就是所謂的模型

pocession 03/10 04:48而在後面各式的task中,會對模型進行fine tuning 。

pocession 03/10 04:49而有些task,例如NER或是NEN,就需要高品質的預先

pocession 03/10 04:49標示好的資料。

Alwen 03/10 09:45黃董直接嗆那些替代晶片就算免費 TCO還是比較貴

Alwen 03/10 09:45真的厲害惹 事情沒有媒體講的那麼簡單

Alwen 03/10 09:47CSP不會用TPU這種侷限性很高的東西= =