Re: [請益] AI伺服器成本分析——記憶體是最大的輸家

deepdish 發表於 2023/5/30 上午1:06:07

看板Stock標題Re: [請益] AI伺服器成本分析——記憶體是最大的輸家作者

deepdish

(Keep The Faith)時間May 30 01:06:07 2023推噓1X 推:3 噓:19 →:12

PTT推薦

覺得大家好像都看錯重點吧

以前伺服器需要大量記憶體

是因為要維持即時服務非常多人的需求

就像 PTT 可以有十萬人一起上站嘛

如果無法做到

就很像是被 DDOS 攻擊

網站就連不上惹

但一到深夜 PTT 根本沒啥活人在線上惹

然後現在是資料爆量的時代

譬如以抖音來說

甚至可以用 AI 去做人臉的影像分析

人臉影像分析可以在伺服器內部做的

那根本不需要做到即時分析

伺服器有空閒餘裕的時候再做就好

所以成本可以降低沒錯阿
※ 引述《mooto (退出會比較好, 就退出)》之銘言：
: ※ 引述《neone (neone)》之銘言：
: : 剛看到半導體產業分析機構semianalysis的這篇新文章:
: : https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is
: : 雖然沒付費只能看到部分
: : bing摘要:
: : 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂
: : ，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限，
: : 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準
: : CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代
: : ，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也
: : 會發生重大變化。
: 老黃今天展示的那櫃 Grace Hooper
: 就用了144TB GPU Memory 透過NVLink共享
: (NVLink是他們自研的SERDES
: 簡單來說就是PCIe更快的介面)
: 所以重點只是高速共享
: 記憶體還是存在的
: 還有也不用擔心大家嫌貴不買啦
: 老黃今天不就列了1600家要做AI的公司
: 挖不挖得到金礦又不關他的事
: 只要鏟子賣得出去就好了
: 這種時候大家都爭搶先當第一個啦
: 有機會變成AI界的m$, adobe誰不幹
: 在那邊省小錢到時候就看別人鼠錢
: 反正新創花的也不是自己錢
: 燒光當然是再繼續吹
: 話說老黃真的值得領那個錢
: 美國人訓練不是蓋的
: 相比之下今天下午發哥找他來蹭
: 那些高層講話的台風投影片的格局真的差好多喔

--
Q 人類基本需求2.0 ◢◣ █ 自我實現 創意.問題解決.真偽.自發性
S ◢██◣ █ 尊重需求自尊.自信.成就感
W ◢████◣ █ 社交需求
E ◢██████◣ █ 安全需求
E ◢████████◣ █ 生存需求 空氣.水.食物.住所
T ▄▄▄▄▄▄▄▄▄▄▄▄ █ WiFi█ 電池