Re: [新聞]輝達設廠「2處機會大」　黃仁勳認擔心電力

※ 引述《zkow (逍遙山水憶秋年)》之銘言：
: ※「新聞」標題須為原新聞標題且從頭張貼 ※
: 1.新聞網址︰
: ※ 請附上有效原文連結或短網址 ※
: https://www.setn.com/News.aspx?NewsID=1480587
: 2.新聞來源︰
: 三立新聞
: 3.完整新聞標題
: ※ 內文請完整轉載標題 請勿修改與刪減 ※
: ※ 注意發文標題 為原始新聞標題從頭張貼 切勿修改與刪減 ※
: 輝達設廠「2處機會大」　黃仁勳認擔心電力：會挑正確地點
: 4.完整新聞內容︰
: ※ 請完整轉載原文 請勿修改內文與刪減 ※
: 輝達設廠「2處機會大」　黃仁勳認擔心電力：會挑正確地點
: 2024/06/06 19:19:00
: 三立新聞網

我這邊幫老黃緩頰一下，我記得之前有在八卦發過文，當前如果要做預訓練的AI模型這個就是一個耗電怪物。以Meta訓練llama3 70B（以當前來說就真的是700億個參數就只是小模型）的模型從零開始2.4萬張H100初估就足以批敵半座小城市一天的用電量，如果未來需要更大的訓練光是10萬張顯卡一起動作就足夠讓一個城市的電網癱瘓，這也是為什麼電力問題是當前各國都重視的，沒有足夠的電力就沒有安全的AI。

以上這邊都還只是訓練，推論部分以OpenAI的數據為50萬千瓦，差不多是1/10個台積電一天的消耗電量，如果在多幾個模型（依照當前模型的能力不太可能只靠一個版本的生成式模型解決所有人類問題）就超過台積電用電了，所以大模型就是耗電怪獸這已經算是業界、學界的共識了。

如果老黃是想要在台灣部署AI並且變成研發中心那能源問題就是要謹慎考慮的。

--