[菜單] 50k 四張顯卡的AI訓練主機(已有顯卡)

baby810321 發表於 2020/8/13 上午11:14:55

看板PC_Shopping標題[菜單] 50k 四張顯卡的AI訓練主機(已有顯卡)作者

(Q毛)時間Aug 13 11:14:55 2020推噓20 推:20 噓:0 →:25

已買/未買/已付訂金（元）：已買4張顯卡(1060、1070、2060、2070)

預算/用途：50K內/公司的AI模型訓練主機

CPU (中央處理器)：Intel i9-10900X【10核/20緒】3.7G(↑4.5GHz)/19.25M/165W
/無內顯【代理盒】, $19900 ★
MB (主機板)：華碩 WS X299 SAGE(CEB/8*D4/雙Ｉ網/2*M.2/2*U.2/三年)
【客訂】, $18190 ◆ ★
RAM (記憶體)：芝奇 G.SKILL Ripjaws V 32GB DDR4-2666 C18(黑)
( F4-2666C18S-32GVK)[終保], $3250 ◆ ★
VGA (顯示卡)：
SSD (固態硬碟)：
HDD (硬碟)：Seagate 1TB【新梭魚】(64M/7200轉/三年保)(ST1000DM010),
$1270 ◆ ★
DVD-RW (燒錄機)：
PSU (電源供應器)：振華 LEADEX 1300W 雙8/金牌/全模/5年保固/DC-DC, $5490 ◆ ★
CHASSIS (機殼)：Phanteks Enthoo Pro2 黑(非透側) 顯卡長50/U高19.5/支援雙電供 /EEB(PH-ES620PC_BK), $3900 ◆ ★
MONITOR (螢幕)：
Mouse/KB (鼠鍵)：

其它 (自填)：利民 TL-C12 12cm風扇/FDB/PWM/1500RPM/防震軟墊, $420 ◆ ★
總價 (未稅/含稅)：53680

以上是請廠商幫忙組的菜單，有以下幾個問題要請教各位前輩

1. CPU的價格有點差出我們預算，廠商是說要組4張顯卡一定要使用X299的板子
，使用X299的板子一定要使用X299的CPU，所以最便宜就這張

2. Power使用1300W是否夠力

3. 我們很怕訓練模型的時候主機燒起來XD 請問機殼的散熱OK嗎

4. 是否有其他更推薦的組法

ps. 我們team的預算真的比較有限，過去一兩年已經分別買了4張顯卡
，所以目前先考慮4張一起平行運算作訓練的方式

注意1：自稱小妹或會透露自己性別的舉動要注意可能會引來不必要的紛擾，請注意。
注意2：標題是否有寫明"預算"、"用途"? 沒有請按Ctrl+x 然後按T改標題
注意3：請多加利用線上估價系統來進行估價以及價格查詢 (僅供參考)
注意4：若遇新品問題請勿發除錯文，請直接回原購買處處理。

禁止任何估價系統的連結，估價系統的估價單號
與估價系統網址的數字。視為估價單單號。
與相關包含手寫、excel、估價系統的擷圖連結。
購買套裝電腦者，發文及回應請自行打上原廠產品型號。
請勿張貼包含yahoo、pchome、udn、momo、autobuy、燦坤、三井、順發、良興等 國內網路通路連結。請以文字敘述。
以上只限制於本板相關物品，有爭議者由板務認定。

菜單文與情報文，禁止任何估價系統連結與擷圖、包含文字估價單號碼。
(參閱板規1-2-3、1-3-9)
違反者:刪文、水桶十日。

注意4：為保障您的權益，購物消費請索取統一發票，並盡量以含稅價取貨
注意5：若有任何問題請先洽詢板務。

※ PTT留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.167.226 (臺灣)

※ PTT 網址

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:16:10 ※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:17:12

推

xiemark 08/13 11:19用兩張2070就好了，主機板換成一般的

我們已經買4張了，想說先把他串起來，而且以後買新顯卡也可以慢慢汰換舊的

推

Raquzza0526 08/13 11:21你的散熱器呢？

店家只有給我們組4個風扇耶，需要另外買散熱器?

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:28:28

推

jasn4560 08/13 11:28應該不會燒起來，但是會自動關機

是因為POWER不夠還是散熱太差嗎?

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:29:34

推

xiemark 08/13 11:29不要用1050 1060 2060 2070這樣並用，會有問題

會有相容性的問題嗎?

→

commandoEX 08/13 11:30就算能上4張卡，你的卡也會因為吸不到風而效能超低

為什麼會吸不到風? 是因為裡面散熱功能不夠??

→

commandoEX 08/13 11:31買礦機板說不定會好一點?

礦機板可以這樣差我們目前的4張卡嗎?

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:35:00

推

sma1033 08/13 11:34礦機版會因為pcie頻寬受限而效能不彰

這樣說起來是否就一定要買那種專業的訓練主機，看大家的意見，家用主機似乎也不太適合

→

commandoEX 08/13 11:38ATX/E-ATX就7個PCI-E槽，你要擺4卡一定是1 3 5 7

→

commandoEX 08/13 11:39你列的卡都是雙槽起跳，卡跟卡中間空隙很小風很難

→

commandoEX 08/13 11:40進去當然就過熱降頻

喔喔喔喔喔，了解，謝謝前輩的解說!!! 照樣是否只能考慮專業的訓練主機 (那種價格都會比較高...)

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:44:53

推

kidd232 08/13 11:42兩張顯卡配AMD YES香香雞比較划算

我們目前是4個電腦個一張顯卡，可以獨自訓練，但老闆想說要提升訓練速度，所以想把大家顯卡集合起來作平行運算，如果兩張顯卡，訓練時間可能就是對半，期待是再更有感一些~

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:50:10

推

sma1033 08/13 11:58振華1300W那顆我們實驗室有買，一年多風扇就有異音

→

sma1033 08/13 11:58我是覺得能夠加預算的話看要不要買海牌的比較安心

感謝給予建議~ 請問你們實驗室也是組訓練主機嗎

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:02:18

推

sma1033 08/13 12:03是呀，也是一機多卡然後日以繼夜操這樣

同學，方便私信你，了解一下詳情嗎，想知道你們lab怎麼組的

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:08:41

推

xiemark 08/13 12:27你如果用四張不同顯卡，計算瓶頸會在那張最慢的卡上

→

xiemark 08/13 12:28CUDA數不同，GPU RAM也不同。可能比你現在還慢

最佳方案就是兩張2070，如果以現有資源來看，要顧慮降頻的問題，手上資源最好利用就是2070搭配1070對嗎

推

nightop 08/13 12:29多卡顯卡挑鼓風扇的比較省空間怕降頻就擺在冷氣房

→

nightop 08/13 12:29別關冷氣

ok，這我們有在考慮，風扇部分我會參考看一下~

→

xiemark 08/13 12:30用兩張2070配合i7甚至是i5就夠了

推

roger545585808/13 12:31樓上正解, 詳請可以參考我之前組的文章

好，感謝大大介我參考，我查一下

→

xiemark 08/13 12:32Training速度要快，可以跑Tensorcore FP16

這新名詞我比較不認識，也馬上來看一下

→

roger545585808/13 12:33補:樓上x大正解, 會有計算瓶頸

推

jameschiou 08/13 12:38可以通過設計batch size克服瓶頸但是很麻煩建議

→

jameschiou 08/13 12:38賣掉舊的再補一張2070 這樣也不用x299

ok，感覺很多前輩都是這樣建議，而且這樣就比較沒有散熱問題?

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:48:56

推

sma1033 08/13 12:51多人用的機器卡當然是越多越好，而且一般都會先卡

→

sma1033 08/13 12:52記憶體容量，你程式不一定99%吃滿GPU但是會先OOM

但很多人說這樣散熱會有問題? 你們實驗室也是4張卡一起跑嗎

推

fu1vu03 08/13 13:16FP16也要看狀況啦不是任何模型都能用到

推

sma1033 08/13 13:18很多時候第一步要reproduce別人的實驗結果就會卡關

→

sma1033 08/13 13:18目前做DL研究的open source code使用FP16比例並不高

對，我們主要都是參考別人的模型來改，所以我查了一下，可能預設FP16不太行

推

maplefoxs 08/13 13:23你 CPU花那麼多結果顯卡就這樣XD應該以顯卡優先

原本想說要把4張顯卡串起來，所以才用到X299，但看來很多前輩都不推

推

pha123661 08/13 13:26你這樣四張會只剩下4張1060的效能吧散熱不好 X299

→

pha123661 08/13 13:26還貴死拿去賣掉換兩張2070就好了

→

Aquarius126 08/13 13:281060 1070可以先賣掉換張2070來組

以上好像比較是目前的共識，但S大有提到記憶體的問題，我們也有遇到這樣的問題，可能GPU跑不到頂，但GPU的記憶體加起來要多也很重要，有前輩有合適的建議嗎?

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 13:50:39

→

Aquarius126 08/13 14:04還有一個方案是租AWS來跑，local先驗證，再丟雲端來

→

Aquarius126 08/13 14:04完整的training

這方法真的很吸引人，而且可以一直用最新的運算效能，我們也有評估過，但是我們訓練的DATA包含很多客戶的機密資料，所以後來還是覺得自己組一台訓練主機

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 15:00:16

推

sma1033 08/13 15:19AWS長時間用下來很貴喔，除非你們公司有特別談方案

→

sma1033 08/13 15:20不然一般人用AWS跑絕對比你自己養機器還不划算

推

sma1033 08/13 15:22AWS比較適合短期忽然有需求，東西跑完就砍掉的人

我們應該是不考慮AWS無誤另外我想請教各位前輩，如果不用X299的板子，有推薦可以插雙卡的板子嗎? 因為我們找了一下，除了X299的板子，好像沒有其他支援兩個x16插槽的板子如果是x8或x4，GPU效能是變1/2或1/4這樣??

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 16:54:09

→

pha123661 08/13 19:27跑x8的話除非你上到2080Ti不然是幾乎沒有折損的頂

→

pha123661 08/13 19:27多1~2% 並不是變成1/2

喔喔喔喔喔原來是這樣，我想說爬文一堆雙卡機都是用Z490 ，但他只能提供兩個x8，感謝提醒~

推

jacky18008 08/13 21:20其實四張卡比起串起來算，倒不如分頭測試不同參數

→

jacky18008 08/13 21:20比較實在，你總是要調參的。

→

jacky18008 08/13 21:21接 nvlink之類的一起跑同一支程式會像上面大大說的

→

jacky18008 08/13 21:21一樣有瓶頸，國外也有人做過實驗了

為了不占用個人的研發資源，所以才會想組專門的訓練主機，但是研發人員應該還是會配有自己的顯卡，感謝你的經驗分享，希望各個前輩也都可以多分享自己的訓練經驗XD

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/14/2020 09:02:10

→

amy79968 08/14 21:34ram改拿16g*4跑四通道吧

其他人也閱讀了

PTT 熱門相關