Re: [請益] NVDA跟AMD怎麼突然崩了
本來中午要去吃飯剛好看到這篇,雖然我說的內容可能大部分人也可能不太理解,
但巷子內的看到應該會覺得還是蠻怪的,當然有更多大神指點是更好的
※ 引述《LDPC (Channel Coding)》之銘言:
: 週末有點時間 之前寫的老黃故事 https://disp.cc/ptt/Stock/1aVG4__D
: 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力
: 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料
: 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情
: 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理
: 但在pre-trained model/foundation model出來後 一切都不同了
Pre-trained model的概念從開山祖師爺Alexnet誕生以來就有了
早期AI的爆發起源於李飛飛辦了一場視覺的辨識比賽,但為此比賽就需要資料庫
因此建立了Imagenet,人類第一個大數據影像庫,有一千種類別
當年應該是第二屆吧,Alexnet的橫山出世,靠著與其他人完全不同的架構
壓倒性的準確率獲得了當年冠軍(比前一年冠軍提高了10%左右)
這個架構就是當年類神經模型的延續,也就是俗稱的深度學習Deep Learning架構
因此後來開源了此架構模型跟參數,也就是俗稱的Pre-train model,因此就開起了大
AI時代的序幕,大家蜂擁而上的發展新架構,Fine-tuning新模型
而當時要訓練十幾萬張的照片光用CPU是跑不動的,因此Alex還有一個很大的貢獻是
他手刻調用兩張GPU顯卡進行運算,也是老黃AI王朝的開始
在此技術突破後帶來的就是各種影像上突破,例如人臉辨識、停車場進出、智駕車等
也讓智駕車從空談變成了可能
: 大體而言就是 模型透過某種學習(self-supervised) 機器能從無註記資料學習一定法則: 而能做到超出原本數據沒有做過的事情 甚至簡單調整 (zero-shot)再不需要重新訓練: 或者少量訓練(fine-tuning) 機器就能根據落地場景 能達到最佳化結果
: 甚至因為self-supervised關係 許多網路上的野生數據 也不需要人工標註
: 因為機器會在這些大量野生數據 自我學到法則 從而產生推理的效果
: 而這些最大的意義就是 機器能做到超乎原本數據給的標籤效果 理解數據 創造法則
: 這些意味者AGI的那個聖杯 有機會可以摸到邊了 而OpenAI最大的概念就是
: 大力出奇蹟 也就是堆疊數據多樣性(multi-tasking)及 透過龐大算力跟模型
: 而所達到的模型泛化(zero-shot)以及AGI效果更明顯
其實這邊算是一堆概念混在一起使用了,首先zero-shot在現階段是很難訓練的,
通常必須要有一個大模型,才有辦法使用zero-shot,或是few-shot learning
簡單來說就是你無法從零開始,事到如今一定還是必須要有資料
而且是高品質的標記資料,再加上暴力式硬體進行學習,才有機會變大模型
所以我接續上面的故事繼續說後續好了,這樣可能讓一般人也比較能夠看得懂
在影像上取得突破後,是不是就能套用在全部的影像環境的,答案是否定的
因為在影像環境中有各式各樣的難題,例如你是個分類問題還是物件偵測問題等等等
因此首先突破的是分類問題變得更精準,突破的方式就是將類神經網路建構的更深層
,就出來了例如resnet、inception等架構
後續就解決了辨識更精準,甚至到後來YOLO架構的出現解決了物件偵測的問題
隨著影像上的突破,大家就漸漸地將這些方式導入到其他的領域中,例如訊號、音訊
、文字、控制等
後來出現了GAN的架構,帶給人們另一種啟發的思想,所謂的GAN也可以當作是生成式架
構的發想開創,讓大家知道原來可以讓AI創作出東西,而不是單純地進行識別而已
後續講快一點,在這段年間AI的論文架構基本上是一週小改一個月大改,過了半年就是落後技術,但隨著google發表了Attention與Transformer後,開始有了異質性結合的可能,也就是現在gpt
的始祖,可以分解文字,可以將文字輸入變成影像輸出等
也就是從此之後AI漸漸地從開源導向了不開源,而且某些程度上是閉鎖的
上一個這樣的領域應該是強化式學習(Reinforcement learning)
在當年OpenAI發表GPT2的時候,就對他巨量的參數量感到吃驚,因為可想而知是背後
有著巨型不開源的資料庫,所以在後續GPT3的成功,也開啟了LLM的朝代
一個AI成為軍備競爭的朝代,你需要有夠多夠高品質準確的資料,加上巨型的模型跟
龐大的顯卡庫,就能越接近AGI,這也是為啥美國拼命禁中國生產晶片進口顯卡,最主要的目的除了5G手機以外就是避免他們比美國更快發展出AGI
那關於老黃的起飛呢,一開始靠著個人版或是主機板的顯卡吃片天下,再來是靠著挖虛擬貨幣吃掉了所有消費型顯卡的量,接下來就是奧特曼發現現在的GPU量是源源不足以誕生出AGI以及能用於落地,所以就造就了現在NV的盛況,大家可以想像原先的資料中心,原本Server一半以上都要換成GPU(基本級別),如果要導入生成式架構應用,或是未來的AGI,那可能是現今十倍甚至更高到百倍的用量
這也是我們一般人難以想像的
最後補充一些我看好的市場吧,因為生成式架構的誕生,讓文字生成,影像生成已經變了可能,未來就是3D影像領域與控制領域也會變成了可能
例如建立了大量標準動作庫,讓機器人只要看懂一次,就能夠完整的操作此動作,
又或著是在AR/VR領域,現在建立虛擬場景成本很高,之後都靠生成架構,就能降低
很多成本,因此VR MMORPG也會漸漸出現
因此陪伴機器人、家居型機器人會是下一個市場,以及生成式投影機或相關虛擬生成
的產業也會越來越龐大,但我想應該是還要一段時間
題外話,最近OPENAI出了生成式影片的功能,早在一年前我們還在看巨石強生吃石頭,隔不到一年就有如此大的進步,只能說可能AGI的時代會比我們想像中的還快到達
雖然我是傾向AGI不是已經誕生,就是需要在遙久的以後才會出現吧
--
那片有座高塔哭著朝北方奔去的天空,是我此刻片尋不著的風景
--
看樣子要因為AI失業 只能在家玩刀劍神域了
推
clip, wave2vec都不需要label data 而wave2vec是後
clip跟wave2vec都要進行預訓練的,並不是不用 只是你直接拿他們訓練好的參數就能夠直接fine tune或是直接映射
VR補習 我已經遇見未來了
來audio encoder幾時(e.g. Meta M4T)
我自己覺得照護類機器人應該沒這ㄇ快
台積電工程師準備被取代
變成決測師
現在最新model一樣base attention machanism
最先會被取代的是櫃檯人員和Uber Eat
On the Opportunities and Risks of Foundation Mo
跟人體有關ㄉ不能出錯 容錯率高產業比較有發展空間
odel裡面有時間軸解釋pretrained model歷史緣由
甚至Bert也是透過無需標註的數據來做pretrianing
因為attention導入有weight, softmax,一樣改變不了
NN 本身base on rateㄉ事實
你所謂高品質標籤數據現在的做法用在finetune
未來城市規劃裡面 智慧運輸載具專用道 也許會變重要
bert fine-tune看用途 一樣需要標籤
可以娶兔子老大的女兒了嗎?
HR 可以取代掉不是嗎?
且以現在模型大小來看wave2vec,bert,clip都小於1b
根本不能算作大模型
對ㄟ hr的確能取代掉xd
克隆打的贏ai不
我摘錄李非非pretrained model 2021那份報告
A foundation model is any model that is trained
on broad data (generally using self-supervision
e.g., fine-tuned) to a wide range of downstream
zero shot在clip來說 一個ccf12資料就可以train出來
我不知道你那些立論是從哪來的....
你沒發現我說的是pre-trained model而不是foundation嗎 其實兩者的概念是有點歷史推移的
跟我想得差不多
人類要滅亡了~
AI HR 有產品了 但是說取代真人HR還太早
而z-shot clip/bert/wav2vec就是從零開始train啊..
HR 與櫃台 那些都可以砍ㄧ砍,還有什企劃什麼的,
根本肥貓ㄧ群,我是不信這些東西要靠多強大的AI 才
能取代掉
且你理解有錯誤耶 文字輸入變成影像輸入是clip
融合了embedding 讓文字和影像embedding投射到同空
DALL-E就是拿clip弄出來的
這是後面直接省略掉沒細說,不然可能要在再半小時以上...
yolo並不是解決精確 而是解決速度上...QQ
現在算是又準又快了,至少導入Anchor free架構後,小物件開始抓的準了
十幾年前就在炒機器人了,現在普及的只有掃地機器人
AGI是現在一個叫做世界模型的議題也跟embedding有關
需要真人實際勞力操作的沒那麼快 要等機器人 但對於
靠電腦介面工作的 還有創意類 AI可以做大部分 留部
分審核修正的人力就好 未來幾年內變化應該非常快速
現在pretrained大多意指就是foundation
https://arxiv.org/abs/2302.09419 比方說這篇敘述
vr勒,vr建場景成本高一般遊戲就不高嗎?vr遊戲的
問題一直都是不適感,不管是配戴上或是身眼感受不
同步的不適,跟什麼建模成本沒半點關係
本篇內容太專業 沒在追的人根本看不董吧XD
VR 有聽說是視覺演算法議題 目前meta最認真
"clip跟wave2vec都要進行預訓練的,並不是不用"
元宇宙失敗不過meta沒有放棄 短期內不會有結果
clip就是拿不需要標籤的數據去做的founcaiton model
他就是從零開始 而且模型不大 這跟你內文講的牴觸
foundation model就大多是self-supervised
且clip在做classification是zero shot 這過程都沒
用到任何標籤數據 模型也不大 這跟你內文牴觸
問一個問題哦,一開始訓練CLIP是不是需要一組文字+影像的資料 然後兩者都各過一個Encoder 那這裡的文字+影像算是不需要標籤的數據嗎,這樣想想就好
感謝分享故事
威爾史密斯的機器人電影多久了?到現在也沒實現,沒
實現就一直炒
你是做ML的嗎 我看不懂你對”ChatGPT是zero-shot”
的吐槽點是什麼
期待VRMMORPG
wow...天阿 你真的不是搞AI 不知道clip作法
補血
clip是拿野生img/text pair 這通常是網路像本
而會說這不是標籤是 因為這些文字敘述有時候跟照片
無關 比方說 你照了一個麵包 文字那邊寫在台中照的
這時候你文字就不是標籤 他反而是噪音干擾照片
那這些野生數據是因為很多照片平台 作者上傳照片
會寫些文字 但這些文字不一定跟照片有關 他就只是
野生數據 打個比方 你上傳出去照片 然後寫了一首詩
這兩個相關性不大 但clip就是比較各種照片文字 找出
相關性 但因為野生數據太髒 所以效果不好 才會有個
BLIP 就是先做一個classifier去把文字跟照片沒對齊
的數據排除掉 後期Laion則是利用其他方式做篩選
或說clip不是用標籤數據 就在他裏面的正負樣本是
AI居家機器人?不就特斯拉嗎…
沒有標籤的 正樣本就是文字跟照片有關 負樣本就是
文字跟照片相反 更別說wave2vec 就是前後mask資料
哪來的數據標籤.....0rz
推
好幾個點怪怪的 你要怎麼讓生成式ai 生出虛擬環境?
然後意義何在? 不知道你是說得太少還是單純在蝦說
https://tinyurl.com/4ezv6jzc 這篇開明正宗說了
L大說的正確很多
Foundation models are typically trained using se
self-supervised learning This indicated that the
they are not given any explicit labels or instru
原po說的虛擬環境應該是3D影像 2D影像升級成3D
你要模型泛化 你就得用self-supervised learning
你加了標籤 就是讓模型特制化你要的目的
上面那一段 才能說自己的產品升級成AGI
3D影像沒有物理引擎要怎麼訓練機器人
Sora目前的確有人懷疑拿unreal的3D物理引擎finetune
我比較同意這篇 太多在炒AI的畫餅畫太大了
目前確實是有可能做到遊戲相關的領域 但這塊的餅早
就被吃得差不多了 都有廠商喊著不玩3A要撤資
我也希望是炒作 不然每年kpi NeurIPS/ICML/ICLR
投入AI能得到的報酬率只是杯水車薪 根本不划算
搞得我都快瘋了..我最近投的ICML也要放榜了 995 QQ
可以請問CPU跑不動,為什麼GPU就跑的動,同樣CPU也
在進化可以取代GPU,為什麼差距會那麼遠?
至於機器人喔 5年內都不可能 要連結的複合產業太多
首先金屬加工 微動 感應器 網路訊號 這些東西要整合
起來沒這麼容易
機器人不可能啦 我同意 這波一堆機器人都裁員了
AI女友絕對是殺手應用, siri變成”joi”
請先理解CPU與GPU的差異 簡單說就各有所長
我前同事去自駕Argo當CTO 一樣GG 五大自駕直接關門
現在矽谷就業市場都是GenAI 傳統CV根本找不到面試
AI還是以GPU為主,而不是目前最強CPU可以取代,同
樣邏輯,那GPU是不是可以取代CPU目前工作,白話一點
就是GPU屌打CPU。
CPU跟GPU就架構不同 去打幾年的遊戲就知道哪些東西
是CPU負責 哪些又是GPU負責 就很容易理解了
推
推
橫空啦
謝謝L大推薦的那篇文章 挑其中幾個章節來看
推
推
白話: NV和AMD繼續當軍火商,賺爛
別拿現在AI的方向來說未來發展一定是哪個方向 從最
早拿NV的GPU來做深度學習也才15年而已 15年來大熱
門的方向換N次了
推
然而掃地機器人還是智障與效果不好
99TSLA
粗略的說cpu像做很長的加法f1+f2是,a11+a12+....+a
1n+a21+a22+....+a2n
像國小的學生一樣2項加完得解再跟第三項加一路做下
去
GPU就是差在有辦法做tenaor的平行運算 這個部分CPU
再怎麼好都無法取代
GPU,直接兩個長橫式列出來,pop就給你(a11+a21)+(a1
2+a22)+.....+(a1n+a2n)
人力成本多少?AI成本多少?
沒有政府背書法條和歷史性的公約 這種撼動統治階級
的東西能商轉嗎XD
只要未來有AI稅這東西全部崩回原點XD
太專業的討論了,結論就是:1.這個市場還有無限想像
空間,2.以後有可能變成各國軍備競賽,
結論:NVDA和AMD繼續噴 TSLA就是個嘴砲仔
推
NVDA領頭噴,TSM後面遞水
推
我老婆初音終於要有身體了
專業推
大間的 CSP 應該都會弄 CPU+自有TPU 的方式
沒辦法丟資源的才會弄 GPU ,CPU 也可以跑就推理
最近看到 intel i14 大打推理,不知道實際速度如何
其實我覺得L大講的比較對。這篇的講法有些聞題
一開始的訓練並不是使用標記資料的。
就連在預訓練的前置訓練,像是word2vec這種淺層的
神經網路
也沒有標記什麼東西。
有的,只是輸入和輸出的配對,藉由訓練去找出規律,
就是所謂的模型
而在後面各式的task中,會對模型進行fine tuning 。
而有些task,例如NER或是NEN,就需要高品質的預先
標示好的資料。
黃董直接嗆那些替代晶片就算免費 TCO還是比較貴
真的厲害惹 事情沒有媒體講的那麼簡單
CSP不會用TPU這種侷限性很高的東西= =
79
剛睡醒看到這篇 一直看著 NVDA 漲翻天 思考了好幾天,越關注他,他越高 昨晚心裡一橫 在睡前才掛市價單幹進去,連低消 15 美的手續費都不在意,我不缺這 15 美爆
首Po本來打電動打到深夜 看到NVDA跟AMD都跳通知出來 就又如前幾天一樣開心地去睡覺了 怎麼一覺醒來兩個都崩了 AMD反跌1.5% NVDA更慘 還跌7% NVDA直接上下崩跌100點 請問發生什麼大事了嗎?15
就嚇甩磨啊,引發AI的程式單而已,從基本面來看根本長線大多頭起漲點, 技術面來看,趨勢沒改變拉回就是加碼,不信? 看看大哥SMCI走勢就很明顯了 破千隔天大長黑,結果震盪幾天馬上創高昨天也沒啥回檔,與其看NV不如看SMCI領頭 各國散戶都在當恐慌仔,甚至一堆投行機構早被甩下車,整天放利空泡沫 要降息要選舉,就問美股怎麼崩73
週末有點時間 之前寫的老黃故事 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理11
400-500塊時 來回了2次 每個人都說泡沫,什麼有的沒的 結果ㄧ路漲至900 明明GTO 大會 降息 美國總統選舉3
很多科技上的分析都對 但是 講白話一點 NV DA賣的不是晶片而已 賣的是能產生intelligence 的機器44
別擔心NVDA會徹底崩,至少在這一年不會。 因為AI絕對不會是泡沫,它是實實在在的技術,就如當年AI戰勝棋王般,未來在各行業AI 將會大放異彩,從科技醫療研發到軍事太空 ,誰有最強的AI算力誰就有絕對的控制權。 再看黃仁勳這個人,以他過往帶領輝達與各大巨頭交戰歷程,就感覺他是個偏執好鬥永不 認輸且善用心計的人,我相信老黃好不容易爬起來,擁有的資源變大了,更不可能給任何15
一直都是在定期定額買各種指數 最近現金部位有點高 昨晚手賤 八成的閒錢就丟在SMH 買在237 笑死 我個人還真希望趕快崩的 雖然一直都在車上58
股版太多好人了 於是分享接下來自己操作 讓這邊繼續保持良好韭菜交流 但盈虧自負QQ 這邊是AI雲端基建藍圖 可以自己找喜歡標的物 慢慢玩長線 我們現在應該在wave 1 自己投資策略從幾年前 三大重倉持股(AMD/NVDA/TSLA) 在去年九月砍TSLA 加轉NVDA 同時我大概這兩年應該不會再碰TSLA了 去年2H時開始找HBM投資標的
87
[情報] 產生式 AI 大爆發 NVIDIA GPU 恐供不應求生成式 AI 大爆發,NVIDIA GPU 恐供不應求 來源 微軟 Bing 搜尋引擎整合 ChatGPT,加上其他生成式 AI 工具的需求攀升 都相當依賴人工智慧處理能力,正是 NVIDIA GPU 優勢所在 當科技公司利用 NVIDIA GPU 滿足增長的 AI 需求21
[閒聊] 串連數千個 Nvidia GPU,微軟打造 Chattechnews 串連數千個 Nvidia GPU,微軟打造 ChatGPT 的超級電腦 March 14, 2023 by 陳 冠榮 微軟斥資數億美元打造一台大型超級電腦,串連數千個 Nvidia GPU,為 OpenAI 的聊天機14
Re: [新聞] 馬斯克等千人簽署公開信:呼籲暫停巨型AI公開信的原文: 它裡面提到4個自我省思,其中第1點:假訊息 是曾經/正在發生,而且造成實質損失 人類判讀訊息真實性時,經驗/直覺可以在新證據 (假設是新聞、訊息) 不多、不強21
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?我剛好研究所讀資工領域的。 你應該知道在這次AI大模型震撼世人之前,電腦科學界在紅啥嗎?? 就是Big Data,大數據,資料探勘。 但是因為"算力"不足,所以在十年前,幾乎都是關注於儲存與基礎處理而已。 譬如NoSQL數據庫與一些簡單的資料探勘,那個時候SVM分析歸類資料可火的。18
Re: [新聞] 輝達A100、H100獨家供應商!法人調高緯創前陣子自家公司GPU也不夠用了...在測試一堆想法時候 決定自掏腰包去租外面GPU 找了幾間像是 結果...wtf 也是大爆滿 看了幾個AI論壇 一堆自行開發者都自己測試各種pretrained model的下游fine-tune 也是各種哀嚎搶GPU 以前這幫個人開發者在自己的RTX 就可以簡單測試 但現在的 LLaMA也好 Diffusion也好 越來越難在家用遊戲顯卡上跑18
Re: [情報] 特斯拉第四季營收遠低於預期 盤後大跌逾6%不太一樣啊 首先自駕的車子吃電池先天上就決定算力有個上限在 而自駕容錯率又低 落地場景難度相對高 現在生成式AI算力無限往上疊 在雲端上跑沒有電池綁手綁腳限制 而且可以搞出一堆花樣來 才不是啥鬼泡沫玩意QQ 有小道傳言說 祖柏克現在搞AI是覺這玩意可以幫助他的原宇宙 因為他覺得他元宇宙NPC都可以叫AI來當 Meta最近很狂 都喊出AGI口號了12
Re: [情報] 情報數則其實也不知道怎麼說明,再不講得太深入又能夠很簡白地說 真的蠻難的,我就大概點到一些點,然後開頭直接下個結論吧 美國想阻止的是中國透過AI完成強人工智慧,或是通用型的AI 有點類似現在目前的ChapGPT進化的最終版 但如果要阻止中國完成區域性或是弱人工智慧已經不可能了2
[問卦] 生成式AI在台灣未來會列法管理4這樣啦 生成式AI在台灣未來會列法管理嗎? 生成式AI維基這樣介紹: 「是一種人工智慧系統,能夠產生文字、圖像或其他媒體以回應提示工程,比如ChatGPT。 產生模型學習輸入數據的模式和結構,然後產生與訓練數據相似但具有一定程度新穎性的新- 講一些自身經驗好了 自從AI領域在生成式題材大火後 全世界就進入到AI軍備競賽 所有的AI基礎研究都是以週甚至日為單位在迭代 舉個例子 當年Robert G. Gallager 在1960提出類神經網路的LDPC code到2004年才大放異彩 無限接近shannon bound 光這個演進就花了40年 對照這幾年的AI科技樹發展 根本就是指數在成長