[請益] AI伺服器成本分析——記憶體是最大的輸家

appledick 05/29 22:17AI伺服器會走AWS那種營運模式啦，真以為每家公司自

appledick 05/29 22:17己架設自己要的AI伺服器喔？頭殼壞才這樣搞，就連Op

appledick 05/29 22:17enAI 微軟都砸多少錢花了幾年

YU1225 05/29 22:17尬死空軍總部

wingstar 05/29 22:17這篇文章的成本計算好奇妙，

jiansu 05/29 22:19大老黃買越多(Gpu)省越多(cpu) 應該是真的server總

jiansu 05/29 22:19數量可能下降 Ai server佔比大提升…

Kleiza 05/29 22:30這樣GG是受益者還是受害者啊？

ip102 05/29 22:33把原本記憶體的費用轉向高速運算了

Buddy 05/29 22:33SmartNIC成本是過去的16倍 那間台廠不就賺爆

popo123456 05/29 22:34所以爽到韓國hbm記憶體

william7713 05/29 22:36memory這麼貴是用CXL嗎... 這誰算的啊

stosto 05/29 22:37爽到海力士

easygo 05/29 22:3999旺宏

nangaluchen 05/29 22:39最近確實這種論述蠻多的

nangaluchen 05/29 22:39但這個論述的邏輯是有漏洞的

nangaluchen 05/29 22:39基本上建立在AI伺服器和一般伺服器是替代品

nangaluchen 05/29 22:39但其實並不是

nangaluchen 05/29 22:39若一般伺服器能做到AI伺服器能做的事

nangaluchen 05/29 22:39那不會有人願意買AI伺服器

nangaluchen 05/29 22:422023的預算已經訂了 短期確實會這樣搞

nangaluchen 05/29 22:42但2024後 其實應該是整體資本支出往上噴

nangaluchen 05/29 22:42AI伺服器的資本支出是額外往上加的

nangaluchen 05/29 22:42而非用於取代一般伺服器

nangaluchen 05/29 22:44拿AI伺服器來做一般伺服器能做的事

nangaluchen 05/29 22:44也很不合邏輯

mooto 05/29 22:46老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買

mooto 05/29 22:46低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿

nangaluchen 05/29 22:48cpu跟gpu適合的任務是不同的

nangaluchen 05/29 22:48如果gpu能完美取代cpu 那nv早年不會那麼慘

nangaluchen 05/29 22:49很多東西不能只看算力和能耗

saygogo 05/29 22:50狙擊槍跟散彈槍不能拿來比較

mooto 05/29 22:50你講的是"伺服器" 你如果是要做其他用途 譬如儲存

mooto 05/29 22:51你就買NAS阿 cpu當然不可能消失 只是在算力上面

nfsong 05/29 22:52今天新的 gh200 直接存取記憶體用很兇

nfsong 05/29 22:52低電壓記憶體

nfsong 05/29 22:52特點是今天有賣高級switch

nfsong 05/29 22:53而且全部走光纖

mooto 05/29 22:53gpu是更好的選擇 沒有人說不能買籃球鞋跑步

nfsong 05/29 22:53Spectrum-X 4奈米

nfsong 05/29 22:5464port 800G光纖速度

nangaluchen 05/29 22:55你搞錯意思了 一般伺服器也不會配備gpu

nangaluchen 05/29 22:55兩顆cpu就能解決的事 何必多配gpu?

nangaluchen 05/29 22:55特別是你加gpu 要拿來幹嘛?

nangaluchen 05/29 22:55就沒適合的任務給他算啊

nfsong 05/29 22:55順邊做網通

aegis43210 05/29 22:56H100還是要用到SPR，i皇還是有得賺

nangaluchen 05/29 22:56絕大部分的應用 根本不需要那麼高的算力

nangaluchen 05/29 22:56反而是cpu更適合多功處理 取代個毛

nfsong 05/29 22:57DGX GH200 , 144TB 直接存取記憶體 !!!

mooto 05/29 22:57已經沒人會叫兩顆cpu的機器伺服器了 那個是個人電腦

nfsong 05/29 22:571 ExaFLOPS

nfsong 05/29 22:58一台大概2000多顆 記憶體顆粒 三家買 大概6000多個

nangaluchen 05/29 22:58而且老實講啦 nv就最沒資格講低功耗 低成本

nangaluchen 05/29 22:58就算不用ai chip

nangaluchen 05/29 22:58消費級的gpu 也快跟server cpu差不多貴了 省個毛

mooto 05/29 22:58你要抬槓就去抬槓吧 XD 誰不知道cpu的指令集更泛用

nfsong 05/29 22:59其實還是個人電腦市場 的記憶體用量比較大

mooto 05/29 22:59如果沒人care你說的這種應用要怎麼配置了 講難聽一

mooto 05/29 23:00點就是很多x86能做的事情arm也能做 那你買手機還會

mooto 05/29 23:01去想要怎麼配嗎 買PC還會去文書機怎麼組嗎

nangaluchen 05/29 23:01目前絕大部分的伺服器 仍是配備2顆

aegis43210 05/29 23:02記憶體是輸家??未來CXL3.0普及就更需要大量記憶體，

aegis43210 05/29 23:02加上記憶體內運算是未來趨勢

la8day 05/29 23:03記憶體 又是你 你最爛

aegis43210 05/29 23:03如果只是講Flash，那的確是輸家

s860134 05/29 23:04買越多越省錢

nfsong 05/29 23:04恩 單一個GH200的小型server 576G的記憶體

nfsong 05/29 23:04有1000多家合作廠商 人人買一台小型的 也不少

nfsong 05/29 23:05the more u buy the more u save指的是AI算力

nfsong 05/29 23:05而且老黃今天說 算力還在往上衝

nfsong 05/29 23:06要用傳統的server 跟他的cuda tensor cores

nfsong 05/29 23:06已經被甩到看不到車尾燈了

nfsong 05/29 23:0610年前就1台抵10台了

mooto 05/29 23:07我不覺得flash會是輸家~別忘了flash成本下降也是很

Kobe5210 05/29 23:07感謝分享

mooto 05/29 23:07快的 有個說法再5年 SSD就會取代傳統的HDD

jiansu 05/29 23:08模型目前越來越大 記憶體需求增加 training 你限制

jiansu 05/29 23:08只能用Nv 但目前還是有很多inference 用Cpu70%？,

jiansu 05/29 23:08 chatgpt 給你用的就只是inference 如果一堆infer

jiansu 05/29 23:08ence都有Gpu或asic加速 確實server需求可能會降

ben811018 05/29 23:08伺服器要建置成本超高

hihjktw 05/29 23:09我怎沒看到20T的SSD

nangaluchen 05/29 23:10目前 llm inference 也是用 ai server

nangaluchen 05/29 23:10只是不用配到H100 但主流應仍配備A100

bobjohns 05/29 23:13看起來 三星記憶體又要大賺 晶圓代工滿血復活。

mooto 05/29 23:14你問這之前要不要先google....2年前就在賣100T了

nfsong 05/29 23:17老黃除了拉抬gg一把 還救了三星和美光阿!!

pisu 05/29 23:20目前伺服器類股都噴出

a000000000 05/29 23:21semianalysis的東西看看就好 不過也沒啥人認真研究

a000000000 05/29 23:21然後一樓那葛論點=糞 smci這一年多噴多少

a000000000 05/29 23:234說原po尼到底有沒看他整篇 他下面94加ai卡的成本

a000000000 05/29 23:24inference用cpu是牙膏的論點

a000000000 05/29 23:24牙膏說九成的ai行為是inference 然後inference

susanmm 05/29 23:24基本上他就不是消費性電子產品

a000000000 05/29 23:2560%在cpu上面

a000000000 05/29 23:25詳細數據可能有些錯 不過牙膏那論點跟大便依樣

FlynnZhang 05/29 23:25感謝教主開示

a000000000 05/29 23:26因為簡單的ai像照相抓人臉那種 手雞cpu就做掉惹

a000000000 05/29 23:26跟牙膏也無關

mamorui 05/29 23:26美光真的感恩 上週快摸到75 香噴噴

a000000000 05/29 23:27接下來的時代重點是生成型ai會普及 運算需求爆炸

a000000000 05/29 23:27從server到手機 半導體需求也會大爆炸

a000000000 05/29 23:27dram廠也會受惠

neone 05/29 23:32謝教主哥提點 偶是被那空一欄不計誤導了

TaiwanUp 05/29 23:34我快要知道金富力士等11個人如何可以製作貪婪之島

bnn 05/29 23:36有在跑運算的 記憶體不會省

bnn 05/29 23:37只能說 記憶體不是gating 也不會爆發多少

julyjuly 05/29 23:37$1T用小錢買麻花卷 再多也做一樣的事 就too much

TaiwanUp 05/29 23:37一級玩家的綠洲看起來似乎也是由劇中哈勒戴一人製作

Liberl 05/29 23:50定錨昨天就有說 用GPU做AI伺服器只是初步階段

Liberl 05/29 23:50未來還是會回歸CPU

madeinheaven05/29 23:52未來AI運算還有MRAM記憶體內運算 三星已做出原型

easyman 05/30 00:00所有扯到inference HW, 都要多吃RAM

easyman 05/30 00:00不管是 notebook, 手機, 甚至 藍芽audio, GPS ..

easyman 05/30 00:03這種小到不行的MCU要跑AI都要加RAM

fortesv 05/30 00:16所以美國黃董會跟台灣惶懂合作嗎？

b0117 05/30 00:18我預估記憶體內運算至少還要等三年

b0117 05/30 00:20AI列車早就開了，誰還跟你等記憶體內運算，而且SoC

b0117 05/30 00:20的command要不要變都還是個問題，PIM也會造成capac

b0117 05/30 00:20ity下降

b0117 05/30 00:22IO BW足夠支撐算力，其實PIM不見得是市場趨勢

easyman 05/30 00:25記憶體內運算...你要確定model改了你還算得出來

sachung28 05/30 00:28很久前gpu吃浮點尾數的小問題不知改正沒有 舊cpu版

sachung28 05/30 00:28程式除非遇到嚴重效能瓶頸 修改的成本還是高 gpu推

sachung28 05/30 00:28了十多年才終於冒出頭

sachung28 05/30 00:30記憶體內運算記得也做好一陣子了 跟gpu/cpu二回事吧

sachung28 05/30 00:30 那是省寫硬碟的時間

b0117 05/30 00:50不過dram需求一定會跟著AI發展水漲船高

b0117 05/30 00:51記憶體會是成本輸家？這邏輯我無法參透

bring777 05/30 01:02記憶體高階技術成本降不下來嗎？學一下晶片

protoss 05/30 02:54記憶體內運算是啥意思?運算永遠在處理器裏吧...還是

protoss 05/30 02:55說馮紐曼的架構大改了?頂多就把整顆硬碟塞進Ram...

protoss 05/30 02:56就開機的時候特別久...不過記憶體分層發展至今應該

protoss 05/30 02:56差不了那點IO了吧...

protoss 05/30 02:58記憶體一直是效能的gating啊...不足就等著慢...不過

protoss 05/30 02:59超過的確是不會爆發什麼...就是不卡系統運算天限...

AmigoSin 05/30 04:00樓上PIM參考一下

bj45566 05/30 04:36GDDR6-AiM -- SK hynix 在 ISSCC 2022 發表的論文(&

bj45566 05/30 04:36展示晶片)，人類在半導體技術的進步將帶領電腦突破

bj45566 05/30 04:36 von Neumann bottleneck

bj45566 05/30 04:38tinyurl.com/5n6unnby

kidd100 05/30 07:47人工智慧

awss1971 05/30 07:58https://i.imgur.com/X0Kto9H.jpg

k85564 05/30 08:25為啥是輸家？ 因為%下降？

k85564 05/30 08:26AI伺服器哪有可能回到CPU為主...

zhi5566 05/30 08:49雲端AI越來越強 手機有必要升級嗎? 不是都丟到雲嗎

aegis43210 05/30 09:37邊緣運算，因為資安因素，終端設備也要有一定算力

b0117 05/30 10:57邊緣運算市場一定會有，資安問題是一點。再來就是b

b0117 05/30 10:57usiness問題，edge端的產品可以玩的公司比較多

snoopy79042805/30 11:42什麼都要訂閱一下以為人人受得了嗎

mrWillyyang 05/30 12:52圖應該是一般server吧 一般的泛指沒裝GPU

vodkalime60705/31 09:21今天記憶體狂噴 ??

Petrovsky 05/31 14:39ptt骨神超多