Re: [請益] GTC大會是利多新聞該下車的訊號？
對於老黃GTC到底想幹啥 可以參照底下演講 這演講其實點出很多很重要的關鍵概念
尤其是19:15那邊 你可以把語速調回0.75倍變為正常速度
19:15其實那邊就是layout AI Foundry那個pdf RAG延伸版概念 (註1)
https://www.youtube.com/watch?v=ER4xNhSVJ2c
老黃的優點就是他擅長拿別人的好主意整合到自己商業模式 從以前蘇媽HBM到台積代工甚至turnkey solution 現在則是用張忠謀代工模式+自己生態圈打造AI as a Service
遙想一下以後的未來 你手上有你這個產業才有的數據 你想用AI來幫助你解決一些問題
這時候你可以 1.花一堆錢雇用做AI相關的人 然後幫你處理數據 然後用算力掃描
這些大量數據 接者你昂貴的AI工程師會跟你說 誒誒誒 那個訓練出來結果不太對
learning rate到10e-6時 curve沒辦法再更下去了 performance好像會overfit
我換另外一個2B foundation model試試看 歐歐 等等 我用的GPU好容易gradient
overflow 或者誒誒 這邊有100多種Foundation Model我不確定哪個好 讓我一個個試
又或者那個算力不夠 我得把GPU數量提高到1000但我不是用NVDA的 所以系統給我crash
讓我找GPU廠商去修 又或者好不容易fine-tune完成(客製化模型) 要到deploy時
誒誒誒 那個系統又崩了 因為他無法查詢數量超過一萬個以上藥物
但此時老黃會跟你說 其實你不用自己造輪子 我這邊手上有全世界最好的AI工程師
這邊是我們的包算力方案 我們會協助你用我們AI資料庫裡面Foundation Model
來根據你數據做Fine-tuning你想要針對某組DNA去探討藥物效果 沒問題
fine-tuing訓練過程有任何問題 我們這邊會派駐場AI工程師線上協助你們
什麼算力不夠 好 這邊是我們的H700套餐 歐歐歐 你想在infernece上可以支援上萬組藥物效用查詢
好 這邊是我們AI加速SQL套餐 歐歐歐 什麼 你想一個inference系統能支援各種國家
數萬個科學家和資料庫的搜尋 沒問題 這邊是我們超巨大雲端系統 有最快的連網速度
價位是xxxxxxx
所以AI Foundry最大意義 就是降低這個AI落地門檻 利用自家生態圈
在training/inference搭配雲端整合和自家傑出工程師 幫你代工AI商業模式
就像當年台積電把ic設計 把這門檻降低(以前AMD/Intel都要自己養一個晶圓工廠)
也像是當年聯發科把手機系統廠門檻降低 任何白牌照抄聯發科turnkey solution
而每次底下廠商陪你練功(Fune-tune)久了也知道如何去客製化AI落地產品(Fine-uning)就像當年聯發科的Turneky solution你要的軟體硬體都會有人幫妳弄了
也像是蘋果和台積駐場工程師一起看設計圖(數據)搭配不同算力(3nm/5nm/7nm)
提出方案 要知道你在美國你還找得到一些不錯AI詠唱師跟你一起搞第一套方案
如果沒有長期玩過AI鍊金術這玩意 你在訓練大模型 很容易會訓練失敗..尤其台灣
到現在都還沒A100..像台灣現在想搞個數位醫生自動看診(我知道華碩和各醫院有在搞)
那個搭建門檻是無敵的高 我之前看到他們開的AI工程師月薪x萬元 ...幫台灣QQ
AI三重點 數據 算力 算法 要知道 數據這玩意是搶不走的 老黃有後面兩個
所以NVDA更不像當年聯電可以抄上游設計廠商架構然後自己去搶市場 當年思科還停留
在賣鏟子 老黃已經進階到賣系統生態圈整個大架構 幫你實現你的AI點子 只要你有數據
所以GTC兩重點 BlackWell和AI Foundry 後者瞄準的是要提供給所有中小企業解鎖門檻
讓全世界中小企業自家數據打造能客製化賺錢產物 更別說上面老黃演講還講了
Conitnuious Training->Inference->Training->Inference這種完全不讓其他廠商搶蛋糕的系統模式 所以接下來財報觀察重點就是 要觀察AI代工這概念是否能起飛
張忠謀當年花了20多年讓晶圓代工解鎖ic設計門檻 老黃不知道會花多少年來解鎖AI
入門落地門檻 以AI as a Service連到Inference落地化 這個章節是這次GTC主題
全面產業 機器人 金融 法律 醫療 藥物 所有提高生產力工具 只需要有數據
不管是硬體 軟體 訓練 或 推論 又或者客製化AI煉金術的訓練參數 老黃NVDA通通給你!當年cisco還停留在賣鏟子 下游廠商自己搭建軟體業務 老黃已經走出這個階段
開始販賣軟體硬體整合服務了QQ
--
QQ 等我有錢 我會去老黃那下單 弄個數位版a33 24小時常駐股版 來振奮多軍!!!
--
註1 RTX Chat
https://www.youtube.com/watch?v=Hwn49QenXWg
https://www.youtube.com/watch?v=fc_NSAu41b0
補一個用multi-modal foundation model在醫療運用案例
https://www.youtube.com/watch?v=N3wJwz97b8A
※ 引述《LDPC (Channel Coding)》之銘言：
: GTC就要開始了 禮拜一早上是最後賭盤下注的時間 忘記哪邊統計過GTC以來
: 只有一次股票沒漲過 平均股價在GTC期間會漲5%
: 如果有興趣一些接下來AI落地走向 可以參考此talk 裡面滿多資訊
: https://www.youtube.com/watch?v=QNn0XJ3Ev7o
: 最主要的takeaway就是老黃已經有商業部門在面向企業部門販賣AI as a Service
: 稱之為AI Foundry (細節參照 https://zhuanlan.zhihu.com/p/670193221 )
: AI三大焦點 資料 算法 算力 接下來所有大部分AI產業都會圍繞資料這塊
: https://www.eetrend.com/content/2023/100576059.html
: AI Foundry大體而言可理解如下
: 企業內部私密資料 透過老黃販賣的Foundation Model
: 能客製化(fine-tune)變成專門服務企業自有AI生產力工具 能封閉私密加速企業生產力: 像是Nemo可以給HR/Legal/Finance/Accounting部門 以前需要多語專業會計或Legal人員: 都可以被用AI Foundry模式簡化人力甚至增加工作範圍影響力
: 其他還有針對虛擬空間生產力幫助影音生產業者 而各企業資料(Data)
: 會變成Content Creation的生產工具
: 接下來所有各產業AI落地重點 就是如何提供基礎大模型客製化給顧客企業增加生產力: 這意味者所有以前Saleforce所要做的雲端生產力工具 會透過AI Foundry面向全世界
: 中小企業 藉由大模型透過各企業自己產業數據特制化 這也意味者老黃有機會綁著自家: Inference一套設備 透過AI Foundry販賣給企業...醫療 生藥 電影 財經 法務
: 這是個全面性的很有野心的生產力Turn-key solution藍圖
: 但對一般來說小老百姓 這類的AI落地 是我們無法感受到的
: 這也意味AI落地化 個人生產力部分應該會在企業生產力之後
: QQ...簡言之 老黃已經不在只滿足賣鏟子了 他要搶雲端生產力工具了 會搭配軟體端下手: 禮拜一我應該會做近期最後一次加碼了 如果接下來老黃會在GTC講他要的遠景
: 諸如AI網路基建和軟體應用在企業端的生產力特製化AI服務 那NVDA前景一光明
: 反之 如果不是像網路上這些前期資料 那我們大家公園見!!QQ
--
問就是相信美國黃董
人肉版a33瑟瑟發抖，他覺得自己要失業了。
看來用ai圖聊天的日子也不遠了
你說的是不是ASIC 的概念？但這塊不好做耶 需要大
量懂各產業的AE 是個體力活 在NVDA光硬體就還有高
毛利下 我不覺得會把RD 擺到這塊 反而是PLTR 比較
像專門搞這塊
太難了 各種數據型態差異過大 不太相信可以低廉到
成為服務
我先幫華碩工程師掬一把同情之類，真的可悲的薪水
簡單說AI要落地第一站明確就是往企業用戶發展
目前最有利的就是微軟Office原本的企業用戶功能升級
當然這還是無法讓AI深入客戶企業內部
原po內文說的就是如何讓企業真正導入AI成為AI公司
自己搞AI基建成本遠高於直接尻輝達方案時生意就成啦
大廠有錢當然自己基建 中小或非科技業哪有辦法
台灣最常聽到的對應名詞應該是工業4.0 智慧工廠
如何讓企業導入AI 是現在AI龍頭與AI新創的共同目標
目前我認為最有搞頭的應該是亞馬遜小模型的想法
也就是用小模型直接降低門檻 然後針對企業直接需求
我看各AI新創主要也是往這個方向 拼演算法競爭力
其次的做法就是幫企業導入現成大模型幫忙特化調整
阿就跟cloud搶肉吃，就看會不會噎到了
這個做法AI基建門檻較高 主要是拼現成模型應用能力
我搞AI落地好幾年 有價值的領域現在還太少 而且落地
最大的問題其實還是現場環境 因為台灣大多都是工廠
居多
這種做法客戶端要大公司 AI公司也要夠大比較能拼
但可能有幾個場域是在軟體端 例如各公司的客製化cha
tgpt，這在目前算是比較有通用型價值的領域了
如果針對台灣的工廠 入門要有自己的AIoT取得資料
老黃包圍網來惹
特調chatgpt做成自己產品也是一條路AI新創的路
再來就是資料問題 基本上不是私有架構或是私有雲
都很難有搞頭
有價值的場域很多 但是入門的數位化門檻太高
台灣或世界上很多公司連前提數位化都沒達成
達成數位化門檻後才有資格說資料問題
說到數位化其實台灣工廠數位化應該是世界第一
這幾年都是老外跟不上再找我們取經
資料問題是全都是非結構化或半結構化根本不能用
今天要導入AI最基礎的特徵工程 就直接撞牆了
簡單說就是有產業對應數位化與導入AI的人才太少
接著說道AI人才 看看台灣開出來的薪水
最直接的例子就是台積電的智慧製造工程師
坦白說實在很難想像以台積電今日地位還是搞成那樣
其實就是 這鬼東西能給美國壟斷嗎 其他國要不要搞
AI要落地我覺得最大門檻是產業數位化與相關人才
晶圓廠當年也沒人覺得會搞成壟斷到現在要各地搬家
現階段來說 談大模型小模型公有雲私有雲還有點早
那現在各國看著製造都被卡脖子了 誰真敢放AI壟斷
如果以台積電的模式 那是做到客戶的產業專業顧問
而且台積電的顧問水準可是業界頂尖
完全碾壓檯面上的大型顧問公司
以這個前例就是看輝達亞馬遜誰能達到這個水準
微軟也是 不過我猜微軟會從office的專業性切入
也就是說誰是客戶最強的產業數位與智慧化專業顧問
那就是最後贏家我猜最後非一家獨大會有各產業山頭
畫餅功力不錯
餅太大，商業化太小， NVDA下去200-300
跟我老闆在performance review時畫餅 有夠像的
現在都在拼saas，看誰先取得先機
老闆的工作本來就是畫餅啊
其實只要一個邏輯就好了，一個佈局GPU運算2-30年的
人，從快破產到終於走到打敗全部GPU，到達公司市值2
兆鎂的今天，你覺得這種人有可能沒堵好洞，留後門給
別人反超的機會？如果有，那在小公司時早被淘汰了
推61F，真的超像的...吹一堆，這種能搞成AWS那種
黃董說的，就算晶片免費，還是比NV貴，因為人家已經
把很多工作都整合進去，你一般公司就是直接買算力買
服務，別想著自己搞特規，最終只會落個特貴的下場
就很不錯了，太細節還是自家工程師吧
這樣AMD是不是有危險
營收才剛起步
台積電的cuLitho能大幅度增加光罩產升速度降低成本
在這之中輝達也是很重要的合作夥伴
老黃也不是完全唬爛 輝達是真的有戰績
有啊最近現場落地就是cuLitho啊
這葛很恐怖der
當然最後AI落地能讓輝達賺多少 還要繼續觀察就是
喔上面有人講了抱歉
因為這是目前最能說嘴的例子 所以幾乎同時推文XD
懂了，ALL IN NVDL XD
講成這樣 all in 了 ^_^
老黃：拿你的黃金來換鏟子
![[請益] GTC大會是利多新聞該下車的訊號？](https://i.imgur.com/z6OQ3YCb.jpg "[請益] GTC大會是利多新聞該下車的訊號？")
![Re: [請益] GTC大會是利多新聞該下車的訊號？](https://img.youtube.com/vi/QNn0XJ3Ev7o/mqdefault.jpg "Re: [請益] GTC大會是利多新聞該下車的訊號？")
爆
Re: [新聞] 學家：美股AI熱潮像是2000年網際網路泡沫尼不懂就會覺得差不多 這"幾天"爆炒AI話題原因很簡單 老黃財報這一季營收預估比華爾街高50%左右 也比上一季高50%左右 差不多94老黃AI那塊營收翻倍![Re: [新聞] 學家：美股AI熱潮像是2000年網際網路泡沫](https://i.imgur.com/rx61Atmb.png "Re: [新聞] 學家：美股AI熱潮像是2000年網際網路泡沫")
爆
Re: [新聞] 超微AI晶片將追趕輝達講這就表示尼不懂R TPU一部分的問題就在asic惹 估狗AI晶片最重要的應用是廣告推薦DLRM 不是現在流行的chatbot/LLM 尼asic做成那樣惹 就不用來跟gpu比惹 我說我現在的港覺喇![Re: [新聞] 超微AI晶片將追趕輝達](https://i.imgur.com/JGyxT9Nb.jpg "Re: [新聞] 超微AI晶片將追趕輝達")
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,![Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售](https://i.imgur.com/GxJuHEib.jpeg "Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售")
76
Re: [請益] 大家怎麼看這一波AI浪潮首先 你懂Ai 嗎 不懂？ 沒關係 我們先看個影片![Re: [請益] 大家怎麼看這一波AI浪潮](https://img.youtube.com/vi/2VFJfypBWGE/mqdefault.jpg "Re: [請益] 大家怎麼看這一波AI浪潮")
43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力![Re: [請益] NVDA跟AMD怎麼突然崩了](https://miro.medium.com/v2/resize:fit:772/1*9bgIVlCRKiL7hxgvZW0wjg.png "Re: [請益] NVDA跟AMD怎麼突然崩了")
24
Re: [請益] 博通 高通 聯發科 這三家請教慶祝AI 大獲全勝, 本日第二篇廢文, 關於某些公司不好的新聞我就不列了, 免得又得罪到人說我在發農場文, 我就只說好的部分22
[問卦] 老黃蘇媽當年若留台，會有怎樣的成就？如題 今年全世界最夯的就是AI了 AI的算力就是GPU 而GPU就是NVIDIA(90%)、AMD(10%) 兩家目前的CEO剛好又是台裔美國人![[問卦] 老黃蘇媽當年若留台，會有怎樣的成就？](https://i.imgur.com/0yzLdr7b.jpg "[問卦] 老黃蘇媽當年若留台，會有怎樣的成就？")
21
Re: [問卦] 為什麼AI 這2-3年進步這麼神速？我剛好研究所讀資工領域的。 你應該知道在這次AI大模型震撼世人之前，電腦科學界在紅啥嗎?? 就是Big Data，大數據，資料探勘。 但是因為"算力"不足，所以在十年前，幾乎都是關注於儲存與基礎處理而已。 譬如NoSQL數據庫與一些簡單的資料探勘，那個時候SVM分析歸類資料可火的。![Re: [問卦] 為什麼AI 這2-3年進步這麼神速？](https://jochen-hoenicke.de/queue/mempool-20201126-eth.png "Re: [問卦] 為什麼AI 這2-3年進步這麼神速？")
1
Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?就鬼扯，我也懶的噴他。現在老黃是遙遙領先所有人，AI全吃，沒什麼好爭辯的。 現在所謂的DL，第一需要的是運算，第二才是記憶體頻寬。 M2Ultra的gpu就27.2tflops(fp32)，跟3080差不多，但ampere有兩倍的(fp16+fp32accumulate)還有4x的(fp16)。現在fp16訓練就很夠了，擔心你可以用fp16+fp32模式，那也是2x你m2 ultra。![Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?](https://cdn.pathfactory.com/assets/10412/contents/440589/thumbnails/600x/h100-datasheet-2287922.png "Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?")
3
Re: [黑特] CF不懂AI 不要亂講看衰ai的人 我建議他們用行動表達他們的想法 狠狠做空NVDA 大賺一筆 畢竟老黃整天吹AI 把整間公司幾乎都賭在AI上了 八月下旬 老黃會公布財報 現在不空 何時空？
80
[請益] 航運還能買嗎![[請益] 航運還能買嗎](https://i.imgur.com/BducLyLb.jpeg "[請益] 航運還能買嗎")
51
[情報] 113年11月22日 三大法人買賣金額統計表![[情報] 113年11月22日 三大法人買賣金額統計表](https://i.imgur.com/7ld6N4Db.png "[情報] 113年11月22日 三大法人買賣金額統計表")
40
[情報] 1122 上市外資買賣超排行![[情報] 1122 上市外資買賣超排行](https://i.imgur.com/eHUammLb.jpeg "[情報] 1122 上市外資買賣超排行")
40
[情報] SCFI 1122 指數 2160.08 (-91.82)![[情報] SCFI 1122 指數 2160.08 (-91.82)](https://i.imgur.com/nSp0LVSb.png "[情報] SCFI 1122 指數 2160.08 (-91.82)")
14
Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美![Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美](https://i.imgur.com/qjzikarb.jpeg "Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美")
17
Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費19
[情報] 6952 大武山 買回公司股份13
Re: [請益] 現在美國經濟情勢到底怎麼樣![Re: [請益] 現在美國經濟情勢到底怎麼樣](https://i.imgur.com/TvzfiWqb.jpeg "Re: [請益] 現在美國經濟情勢到底怎麼樣")
12
Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美![Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美](https://i.imgur.com/jRDhwDwb.jpeg "Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美")
11
Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費12
[情報] 6904 伯鑫 處分神達普通股10
[情報] 新光人壽公告臺北市中正區不動產處分案9
Re: [標的] 6820.tw連訊(興櫃) 多![Re: [標的] 6820.tw連訊(興櫃) 多](https://i.imgur.com/4Sdpu5bb.jpeg "Re: [標的] 6820.tw連訊(興櫃) 多")
43
[心得] 股票申購抽籤![[心得] 股票申購抽籤](https://i.imgur.com/k2l1juib.jpeg "[心得] 股票申購抽籤")
61
Re: [心得] 大家小心凱基證券會亂報違約交割29
[情報] 1122 上市投信買賣超排行8
Re: [新聞] 台積電董事會明年首赴美舉行![Re: [新聞] 台積電董事會明年首赴美舉行](https://i.imgur.com/F1T9XBXb.jpg "Re: [新聞] 台積電董事會明年首赴美舉行")
15
Re: [心得] 大家小心凱基證券會亂報違約交割28
Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費![Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費](https://i.imgur.com/9zw6Y7wb.jpg "Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費")
1
Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美16
Re: [心得] 大家小心凱基證券會亂報違約交割5
[創作]劍指十萬8
Re: [新聞] 台積電董事會明年首赴美舉行1X
Re: [標的] 2609 陽明 繼續大獲全勝送錢多![Re: [標的] 2609 陽明 繼續大獲全勝送錢多](https://i.imgur.com/hsgbGrVb.jpeg "Re: [標的] 2609 陽明 繼續大獲全勝送錢多")
7
[情報] 2367 燿華 申購抽籤日程資訊2
Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費2
Re: [新聞] 川普放話徵60%關稅 中方這麼回：會引發美15
Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費![Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費](https://media.nownews.com/nn_media/thumbnail/2023/06/1688094118822-3c443ea90c38412bb97473e698631042-1200x900.jpg?unShow=false "Re: [新聞] 民眾荷包瘦了 健保署擬漲補充保費「6費")
32
Re: [心得] 大家小心凱基證券會亂報違約交割X
Re: [新聞] 興富發看政策打房：小業者肯定會倒！降價是必然！