Re: [請益] AI伺服器成本分析——記憶體是最大的輸家
※ 引述《neone (neone)》之銘言:
: 剛看到半導體產業分析機構semianalysis的這篇新文章:
: https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is
: 雖然沒付費只能看到部分
: bing摘要:
: 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出,隨著數據中心建設的瘋狂: ,市場也隨之瘋狂。但是,有許多公司並不應該因此而受益。文章還提到,IT預算有限,: 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準: CPU伺服器的成本分解,顯示內存佔伺服器成本的近40%。文章最後指出,在人工智能時代: ,普通伺服器的百分比將會下降,並且在數據中心轉向加速計算時,各組件的成本分配也: 會發生重大變化。
老黃今天展示的那櫃 Grace Hooper
就用了144TB GPU Memory 透過NVLink共享
(NVLink是他們自研的SERDES
簡單來說就是PCIe更快的介面)
所以重點只是高速 共享
記憶體還是存在的
還有也不用擔心大家嫌貴不買啦
老黃今天不就列了1600家要做AI的公司
挖不挖得到金礦又不關他的事
只要鏟子賣得出去就好了
這種時候大家都爭搶先當第一個啦
有機會變成AI界的m$, adobe誰不幹
在那邊省小錢 到時候就看別人鼠錢
反正新創花的也不是自己錢
燒光當然是再繼續吹
話說老黃真的值得領那個錢
美國人訓練不是蓋的
相比之下今天下午發哥找他來蹭
那些高層講話的台風 投影片的格局 真的差好多喔
--
老黃是創業家,以前可是要自己找風投搞錢的。
應該是說 台灣的高管把自己定位在管理者 而不是業務
Nvidia的Chiplet是不是拿MTK練經驗?
但整間公司最大最應該做業務的是高管
我在某間大型上市公司(0050前半的)當CEO幕僚
CEO幾乎都在辦公室裡批公文 開會 很少出去拜訪
CEO不在公司裡 VP沒一個人敢做決定
因為有業務副總阿 嘻嘻
CEO都是等別人來公司拜訪的啦
這是台灣企業的陋習 越到高管越不接觸公司業務
有的公司的CEO 是熱愛批簽呈跟支出單
你以為5萬小錢頂多批到副總 結果竟然要到CEO
大部分第一代CEO 都是業務起家
張忠謀就說過CEO要是個生意人
魏哲家很明顯被他訓練得還算不錯
家族企業第二代以後的CEO幾乎都是財會出身 真奇怪
白手起家 不會業務 早就倒閉了
因為都送歐美學財經管理
我爸就是業務起家 但我沒接他的事業 我自己創業
從技術專業 再轉業務 然後創業
庫克蘇媽發表會都很尬, 體制內的乖寶寶
台積電金融海嘯時,張忠謀還不是自己飛美國拉業務,
根本是台灣CEO實力太差,表達有問題才一直在管理。
我覺得跟Chairman互補就好 如果Founder都會 就隨便
學馬斯克 曾經考慮找BTS當推特CEO
現在新創想搞錢沒有之前0利率時代容易ㄅ,呵呵
而且台積電的成功我不覺得是靠業務 純粹是算力需求
就如同張忠謀曾經驚嘆 礦卡怎麼會下那麼多單
這難道是他自己找來的客戶嗎
老黃領袖特質明顯,台廠高管有幾個能這樣講話吸引
人聽
蘇媽的背景和人格特質有自帶業務buff 還有obov力場
蘇媽就很不會吹 就這點明顯輸給老黃
其他地方夠強惹
西方ceo光身材就屌打了...
業務型CEO是賈柏斯帶出來的風氣吧
平平都是講省電, 蘇嬤只會講比業界快20%
老黃就很會吹, 買越多賺越多
發弟高官格局根本笑話
K董的人格特質 就比其他哥哥好
白手起家 又有技術 自然言之有物 業務不是問題
蘇媽打工打的很不錯,感覺老黃是真的從自己的visio
n出發,drive整個公司的走向
蘇媽是管理者,老黃是創業家,格局還是差蠻多的
雖然老黃是受邀來computex 但一場演講 只花一部分
捧自家產品 剩下的是用(潛在)客戶的產品展示 這我
Morris不就說過 執行長要拉業務要會說
真的覺得很厲害 兩小時的show不會太無聊
老黃還有一個最強的點,就是他用了很多台灣人
庫克的發表會 更尷尬哈哈哈
這光研發成本就不知道省多少了
不像牙膏一堆印度人佔據,靠嘴巴做事應該不少
台灣人好用R NV比起碼農還是比較血汗的
老黃講那些東西gtc一值都這樣惹
務實做研發,節省研發成本,根本神之正迴授
老黃的人格魅力和演講技巧 真的CEO少有
今天keynote還不錯
亞洲都一樣 靠關係就能上去
沒有啦 豬屎屋還是很硬核的 台灣比較少在走雙軌制
多數主管還是技術職升上去的 這就會碰到彼得原理
說的問題 因為懂技術的人不見得擅長管理或業務
台灣只有function manager. 沒有純manager.你知刺針
飛彈.不是由工程師或戰鬥人員開發/想出來的.是由pro
ject manger開發/想出來的
蘇媽豈止不會吹而已,之前還曾經AMD內部all hand被
問問題問到自己惱羞失言搞到犯眾怒,幾個月後一堆工
程師跟著主管整組一起走人跳槽 ㄎㄎ
蘇媽跟老黃出包史尼要去找都是一大串
賈伯斯也弄出很多包啊,沒什麼
發哥的行銷能力跟高通比如何?
發哥顯然不行阿 你看光是去年 對手都出包了 還是有
ai+vr宏達電要飛了
一堆陸廠把它當小的 像發哥這樣的公司 或者說是台灣
公司 狼性都不夠 只能穩扎穩打直到對方覺得沒賺頭
自己退出 才拿的下市場 就勞碌命
其實改成英語系國家就會好很多 可惜這
同時要捨棄更多我們原本熟悉的事物 可能剩下麻花捲
業務型CEO就是創業過來的人阿
chatBot根本文創業
中文就是一坨大便
因為二代都是學商管啊
講的好像業務出身的就懂技術?我不是歧視文組,高
階主管的價值本來就必須跨足多領域,理工生跨業務
、財務比較簡單還是管理跨理工比較容易不用多說大
家自有一把尺衡量
先有技術才有資格談業務好嗎 你什麼都不懂問題在哪
憑什麼讓客戶相信你
INTEL G叔也是技術出身,還不是很嘴XD
科技業技術就是底,就連庫克也是工業工程出身的
庫克(冷笑
老黃是創辦人
i社也很會吹啊 吹到把股東套死死 嘻嘻
11
Pat:Intel 4要出啦!要上車的趕快上阿
Q4再上車,現在能買的公司漲完才會輪到i皇
爆
Re: [新聞] 學家:美股AI熱潮像是2000年網際網路泡沫尼不懂就會覺得差不多 這"幾天"爆炒AI話題原因很簡單 老黃財報這一季營收預估比華爾街高50%左右 也比上一季高50%左右 差不多94老黃AI那塊營收翻倍23
[標的] NVDA.US 過前高之前都可以買?1. 標的:NVDA.US Nvidia 2. 分類:討論 3. 分析/正文:最近靠著AI很火紅的NVIDIA漲得有點猛 歷史高點是2021/11創下的346元 當時的背景是加密貨幣在浪潮上26
[情報] 技嘉 RTX 4090顯示卡擁有隱藏的NVLink連超頻者Der8auer的一個有趣發現。他測試並隨後拆解採用RTX 4090系列的AORUS Master GPU。 事實證明RTX 4090(AD102 GPU)可能支援NVLink連接器。因為GIGABYTE的PCB設計清楚地顯示了連接器並隱藏起來,但它從未變成真正的NVLink。眾所周知NVIDIA放棄了為其旗艦遊戲GPU添加多GPU連接器的想法,而且目前似乎沒有一款RTX 40顯示卡可以使用。 如圖所示GIGABYTE團隊顯然在為NVLink設計他們的卡,這適用於AORUS Master或Gaming OC版本。從TechPowerUp RTX 4090拍攝了的PCB照片,並將它們合二為一 這表明GIGABYTE是唯一一家 將NVLink納入其卡的公司。23
Re: [新聞] 亞馬遜Alexa改採自家研發晶片 降低對輝想太多惹喇 這東西要看也可以講得有點複雜 AI運算型態現在就分兩種 學習跟推論 學習的運算精度要求高16
Re: [新聞] 黃仁勳:AI能克服摩爾定律死亡 AI營收未回頭看看 2016 年這個經典場景: 我想各位一看就懂了。當年 馬斯克 創立 OpenAI,那時用來 做為機器學習的"軍火",就是老黃贊助的 DGX-1 老黃本人還親自將機器送到馬投顧面前開箱~~ XD12
Re: [新聞] 黃仁勳:AI能克服摩爾定律死亡 AI營收未自從LLM變成AI 軍備競賽項目時 這會造成大家都去買老黃的鏟子來挖礦 生產工具也被上一次微軟的發表大會給示範出來 老黃喊出AI as a Service 其他Software as a Service 公司 也許會跟者這波轉型 繼續正向循環 AMD/TSMC如同之前所講 有機會吃紅利 然後...i皇的Raja Koduri跳船或被跳船 看來i皇目前在AI這波硬體需求暫居下風7
[情報] GTC 2022 : NVIDIA Grace CPU 再揭更多消息NVIDIA 在先前宣布首款基於 Arm Neoverse 架構的自主研發超算等級 CPU 產品 Grace ,此次 GTC 大會也公布 Grace CPU 即將在 2023 年第一季推出 的消息,同時還公布屆時 Grace CPU 的兩種小晶片架構延伸產品 Grace CPU Superchip 與 Grace Hopper Superchip 。4
[情報] Ampere 架構的NVIDIA A100晶片4.0 AIC版NVIDIA在5月中旬推出了A100晶片,這是第一款採用Ampere架構的GPU加速器 此處使用的GA100-GPU擁有826mm2 和540億個電晶體管。 到目前為止,A100加速器僅以SXM4模組的形式提供。NVIDIA今天宣布它希望透過用A100 PCIe卡的形式出售GA100 GPU 在PCI Express卡上以相同的配置使用相同的GA100 GPU。我們現在正在談論的是6,912個- 三個臭皮匠勝過一個諸葛亮 CPU就是一個諸葛亮 GPU就是很多個臭皮匠 但臭皮匠原則上算圖和AI只能二選一 老黃的厲害就是用AI 臭皮匠做出補偵的工作