PTT推薦

[菜單] 45K LLM模型微調伺服器升級

看板PC_Shopping標題[菜單] 45K LLM模型微調伺服器升級作者
jeff85898
()
時間推噓 7 推:7 噓:0 →:38

已買/未買/已付訂金(元):未買

預算/用途:原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用,需要再加一張3090。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8,希望直接升級到EPYC平台較不會有頻寬瓶頸的問題,不過電源、機殼不太知道如何選擇,再麻煩大家推薦一下了,謝謝!

CPU (中央處理器):AMD EPYC 7302 $4387 (淘寶拆機)
MB (主機板):技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機)
RAM (記憶體):美光16G 2RX8 PC4-3200AA ECC REG *8 $6258 (淘寶拆機,QVL支援)VGA (顯示卡):EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手)
Cooler (散熱器):待填
SSD (固態硬碟):沿用
HDD (硬碟):無
PSU (電源供應器):待填
CHASSIS (機殼):待填
MONITOR (螢幕):沿用
Mouse/KB (鼠鍵):沿用
OS (作業系統):Ubuntu

其它 (自填):無
總價 (未稅/含稅):37628+待填

-----
Sent from JPTT on my OnePlus IN2015.

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.135.117 (臺灣)

bhmagic 12/18 15:22感覺CPU跟記憶體都省過頭了

bhmagic 12/18 15:28怎麼說你ram比Vram小那麼多 那裡出瓶頸

bhmagic 12/18 15:29都不奇怪 而且Epyc的核心常常需要做一些

bhmagic 12/18 15:30打雜的IO 還是多一點比較好

mrme945 12/18 15:30他的RAM應該是16G*8吧

bhmagic 12/18 15:34err..應該是

mrme945 12/18 15:38電源機殼你可以考慮兩顆1000W加條雙電源

mrme945 12/18 15:38啟動線配雙電源倉的機殼,或是直接買有連

mrme945 12/18 15:38動啟動功能的雙電源(Antec OC-link之類的

mrme945 12/18 15:38)

E7lijah 12/18 15:46有ATX3.0的1600W應該夠

mrme945 12/18 15:50兩顆1000W非ATX3.0應該比一顆1600W ATX3.

mrme945 12/18 15:500便宜啦

jeff85898 12/18 15:51那1U機殼配伺服器電源不知道會不會更划

jeff85898 12/18 15:51

jeff85898 12/18 15:53但原有那張顯卡不是鼓風扇可能會有風道

jeff85898 12/18 15:53的問題?

mrme945 12/18 15:53有1U機殼放得下兩張3090的?

E7lijah 12/18 15:551U高度才4.4公分 怎麼可能裝得下

mrme945 12/18 15:55如果你有機櫃的話,往伺服器機殼找是沒問

mrme945 12/18 15:55題啊,不過新品都很貴,大概就還是要去用

mrme945 12/18 15:55淘的吧

mrme945 12/18 15:55應該要找4U或5U才有機會啦

E7lijah 12/18 16:07散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓16

E7lijah 12/18 16:07核了

E7lijah 12/18 16:09如果你機殼買到5U高度 散熱器可以看U12S

E7lijah 12/18 16:09或U14S,4U高度我記得會差一點裝不下

E7lijah 12/18 16:10不然就是一樣找對岸拆機塔散 但server塔

E7lijah 12/18 16:10散轉速通常較高 很吵

mrme945 12/18 16:13不過我看了一下預算,你電源加上去就差不

mrme945 12/18 16:13多沒預算了,CPU散熱倒是還好,反正貓頭

mrme945 12/18 16:13鷹SP3腳位的隨便挑應該都夠,反倒是顯卡

mrme945 12/18 16:13散熱比較困難

mikapauli 12/18 16:26你有雙槽的3090就塞得進1U

mikapauli 12/18 16:27但沒事別這樣搞自己,又不是寸土寸金

E7lijah 12/18 16:29FTW 2.75槽 沒救

mikapauli 12/18 16:305U就裝得下幾乎所有塔散了,TS140P都行

了解那就是淘寶再找看看4U 5U的機箱了,顯卡散熱可能就用高轉速的機箱風扇了

chang1248w 12/18 17:06x8和x16跑不出差異吧

看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了,主要是也想保留升級空間,不然之 後vram不夠還要再換平台

※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38

E7lijah 12/18 17:42對了 你有切成x8看看是不是真的有瓶頸嗎

E7lijah 12/18 17:43我記得耶穌測4090跑4.0x8也折損不到5%

promaster 12/18 17:46瓶頸是在顯卡 LLM用3090遲早燒起來

promaster 12/18 17:46換一張6000A吧!

之後如果有預算再加一張吧 因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四 組PCIE 4.0 x16

※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47

jeffguoft 12/19 07:22現在3090兩萬買得到嗎?

jeff85898 12/20 12:15看起來是買不到…先買張3060湊一下vram

jeff85898 12/20 12:15