PTT推薦

Re: [新聞]輝達設廠「2處機會大」 黃仁勳認擔心電力

看板HatePolitics標題Re: [新聞]輝達設廠「2處機會大」 黃仁勳認擔心電力作者
sxy67230
(charlesgg)
時間推噓 2 推:2 噓:0 →:7

※ 引述《zkow (逍遙山水憶秋年)》之銘言:
: ※「新聞」標題須為原新聞標題且從頭張貼 ※
: 1.新聞網址︰
: ※ 請附上有效原文連結或短網址 ※
: https://www.setn.com/News.aspx?NewsID=1480587
: 2.新聞來源︰
: 三立新聞
: 3.完整新聞標題
: ※ 內文請完整轉載標題 請勿修改與刪減 ※
: ※ 注意發文標題 為原始新聞標題從頭張貼 切勿修改與刪減 ※
: 輝達設廠「2處機會大」 黃仁勳認擔心電力:會挑正確地點
: 4.完整新聞內容︰
: ※ 請完整轉載原文 請勿修改內文與刪減 ※
: 輝達設廠「2處機會大」 黃仁勳認擔心電力:會挑正確地點
: 2024/06/06 19:19:00
: 三立新聞網

我這邊幫老黃緩頰一下,我記得之前有在八卦發過文,當前如果要做預訓練的AI模型這個就是一個耗電怪物。以Meta訓練llama3 70B(以當前來說就真的是700億個參數就只是小模型)的模型從零開始2.4萬張H100初估就足以批敵半座小城市一天的用電量,如果未來需要更大的訓練光是10萬張顯卡一起動作就足夠讓一個城市的電網癱瘓,這也是為什麼電力問題是當前各國都重視的,沒有足夠的電力就沒有安全的AI。

以上這邊都還只是訓練,推論部分以OpenAI的數據為50萬千瓦,差不多是1/10個台積電一天的消耗電量,如果在多幾個模型(依照當前模型的能力不太可能只靠一個版本的生成式模型解決所有人類問題)就超過台積電用電了,所以大模型就是耗電怪獸這已經算是業界、學界的共識了。

如果老黃是想要在台灣部署AI並且變成研發中心那能源問題就是要謹慎考慮的。

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.113.16 (臺灣)
PTT 網址

nnkj 06/06 21:33誰反對核電誰就是反老黃

jixiang 06/06 21:33預訓練很耗 GPU 運算和耗電,OpenAI 之

jixiang 06/06 21:33前有傳聞在訓練 GPT 5 模型時因為佈署時

jixiang 06/06 21:33沒注意,搞到一個洲的電網無法負荷跳電

jainly 06/06 22:56AI發電呀

Adler87 06/06 23:15如果台電買一堆天然氣結果是給國外公司

Adler87 06/06 23:15放機房其實滿虧的,就像之前彰化的Google

Adler87 06/06 23:15數據中心,根本是看上台灣電力便宜

Adler87 06/06 23:16不知道為啥頭那麼鐵不用核電