[測試] 3990X Titan RTX 400k級實驗室文書機

fo40225 發表於 2020/5/8 下午7:00:56

看板PC_Shopping標題[測試] 3990X Titan RTX 400k級實驗室文書機作者

()時間May 8 19:00:56 2020推噓66 推:66 噓:0 →:25

在正文前先提醒
最近要採購主機的公家研究人員
若實驗室有機房機櫃可放機架式
應該優先考慮今年的政府採購網共同供應契約
LP5-108036 採購期限到2021/04/30
不僅有Epyc
1U單路Epyc16核/32GB 134,185
1U單路Epyc32核/64GB 187,433
1U單路Epyc64核/128GB 297,125
2U單路Epyc16核/32GB 140,575
2U單路Epyc32核/64GB 209,798
2U單路Epyc64核/128GB 312,034
(但沒有雙路Epyc 不知道理由是什麼)

也有高密度2U4Nodes
每節點雙路Xeon Silver/8c/單3.2GHz/全2.5GHz/32GB
403,621

睽違多年難得一見的四路主機
2U四路Xeon Gold/ 8c/單3.9GHz/全2.8GHz/128GB 376,556
3U四路Xeon Gold/20c/單3.9GHz/全2.8GHz/128GB 475,930

今年更是直接有GPU主機
終於不用再招標開評選委員會了
2xRTX6000 24GBvram/256GB/雙路16C 585,729
4xRTX8000 48GBvram/512GB/雙路高頻8C或20C 1,331,203
4x V100 32GBvram/512GB/雙路高頻8C或20C 1,735,889

===

這篇文章能看看自組主機的極限大約在哪
對於不熟組裝機的人購買電腦
真的請找廠商
或是共契的筆電/桌機/塔式工作站/機架伺服器
採購流程也方便
(但共契還是要看是否符合需求
筆電問題還好近年都已全面標配SSD
但桌機有SSD的項次少的可憐
i7配機械讀取臂拿來辦公
瀏覽器 office卡到呼吸困難
還要改裝就失去採購方便的意義
塔式工作站機架伺服器若規格不夠可以原廠加購項目
至少都是品牌機大廠驗證品質保固很好出問題有人負責)

尤其是要求有ECC/raid穩定不當機確保資料要正確的工作站或伺服器
不要自組

這邊只比效能什麼ECC、RAID、IPMI遠端管理、10/25/40/100Gbps網卡都沒有
記憶體也只有256GB 以64核來說每核才分到4GB
四通道對於某些任務也是瓶頸
(若看到其他review 有些吃記憶體頻寬的項目
3900x與3950x 3970x與3990x會同分就是這個原因)
基本上就是單人平行計算使用沒辦法多人丟一堆工作上來
若不追求單核效能白牌單路Epyc組起來價格差不多的

測試結果看看就好
也提供手上一些舊伺服器的結果給有升級計畫的人評估參考

測試軟體細節可看 #1UjJiMol (PC_Shopping)

===

測試硬體
AMD Ryzen Threadripper 3990X
ENERMAX LIQTECH TR4 II 360 (上置冷排內往外吹)
ASUS PRIME TRX40-PRO
8x Kingston KVR32N22D8/32
2x NVIDIA TITAN RTX
TITAN RTX NVLINK BRIDGE
Intel Optane 900P 480GB
FSP CANNON 2000W
Apexgaming Hermes C2
2x Thermalright TY-143 SQ (前置進風)
(這個組合有一些注意事項
1. VRM風扇架內附螺絲只能鎖薄扇 20mm厚的風扇螺絲會不夠長 (手冊沒寫)
2. 這個機殼上置這個冷排風扇會卡到VRM散熱片歪一點點勉強能鎖
3. 因為VRM散熱片卡到冷排的關係 VRM風扇支架其實鎖不上去
4. 使用3-slot bridge只剩一個從晶片組的pcie x4 並且會影響顯卡散熱
5. 使用4-slot bridge可以有一個low profile從CPU的pcie x16
但titan rtx的風扇會擋到所有前置音效、USB、風扇線、面板線等等
在這機殼還會擋到電源線出口
若配上7槽的機殼(像這個)會吸不到風
rtx公版雙風扇一定要留一槽
就算像 #1UcfVWN9 推文照片一樣裝上去
重載也會直接過熱降頻到生活無法自理(剩?00MHz左右)
這也是為什麼geforce nvlink bridge沒有2 slot的原因)

BIOS版本與設定
ASUS PRIME TRX40-PRO 0902
PBO manual
PPT 1000W
TDC 1000A
EDC 1000A
CPU冷排風扇測點CPU
PUMP全速
前上風扇測點VRM
前下扇測點PCH
後風扇測點PCH
20度C 20% 65度C 70% 70度C 100%
其餘預設
DDR4-3200 (22-22-22) 1.2V

另外使用
nvidia-smi -pm 1
nvidia-smi -pl 320
解除TITAN RTX到320W

OS
Ubuntu Server 20.04 LTS kernel 5.4.0-26
CUDA driver 440.64

頻率溫度功耗
3990x
sensors讀取溫度
turbostat讀取頻率瓦數

TITAN RTX
nvidia-smi讀取溫度頻率瓦數

待機
3990x+TITAN RTX
CPU 2200MHz 35度C 36W
GPU 300MHz 33度C 14W
延長線 111W

對手伺服器規格
===
Nehalem
4x Intel Xeon X7550
8C16T/單2.4GHz/全2.13GHz
p95sse2 2.066GHz
64x 16GB DDR3-1066 4R ECC RDIMM
Ubuntu Server 16.04.6 LTS kernel 4.4.0-177
===
SandyBridge
2x Intel Xeon E5-2690
8C16T/單3.8GHz/全3.3GHz
p95avx 3.2GHz
24x 16GB DDR3-1066 2R ECC RDIMM
Ubuntu Server 16.04.6 LTS kernel 4.4.0-177
===
DGX Station
1x Intel Xeon E5-2698v4
20C40T/單2.7GHz/全2.7GHz
p95avx2 2.6GHz
8x 32GB DDR4-2400 2R ECC RDIMM
4x V100 32GB 300W
DGX OS Desktop 4.0.7 kernel 4.15.0-96
CUDA driver 410.129
===
Skylake
2x Intel Xeon Gold 6148
20C40T/單3.7GHz/全3.1GHz
p95avx512 1.9GHz
24x 16GB DDR4-2666 1R ECC RDIMM
1x V100 32GB 250W
Ubuntu Server 18.04.4 LTS kernel 4.15.0-96
CUDA driver 440.64
===
CascadeLake
2x Intel Xeon Gold 6248
20C40T/單3.9GHz/全3.2GHz
p95avx512 2.1GHz
24x 32GB DDR4-2933 2R ECC RDIMM
Ubuntu Server 18.04.4 LTS kernel 4.15.0-96
===
國家高速網路與計算中心
台灣杉二號
TWCC
2x Xeon Gold 6154
18C18T
(猜測是鎖3.0GHz無Turbo無idle降頻無avx節流?)
24x 32GB DDR4-2666 2R ECC UDIMM
8x V100 32GB
Red Hat Enterprise Linux 7.5.1804 kernel 3.10.0
CUDA driver 418.87
實際使用時是在container內
依container type限制資源
GPU數量 1 2 4 8
CPU使用量限制(%) 400% 800% 1600% 3200%
RAM限制(GB) 90GB 180GB 360GB 720GB
這次測試使用8GPU
===

CPU理論效能測試
| 128-bit SSE2 | 256-bit AVX | 256-bit FMA3
| Multiply + Add | Multiply + Add | Fused Multiply Add
| 1T | nT | 1T | nT | 1T | nT
3990x| 42.816 | 4009.97 | 84.672 | 7203.17 | 138.816 | 8012.35
Nehalem| 15.936 | 325.584|
SandyBridge| 28.416 | 419.376| 49.824 | 813.696|
DGX Station| 21.552 | 432 | 41.28 | 832.416| 82.56 | 1664.83
Skylake| 22.704 | 991.44 | 44.832 | 1665.89 | 89.664 | 3323.9
CascadeLake| 30.096 | 1023.89 | 59.52 | 1789.54 | 119.232 | 3579.26
TWCC | 28.8 | 919.632| 55.2 | 1669.34 | 108.288 | 3343.3

| 512-bit AVX512
| Fused Multiply Add
| 1T | nT
Skylake| 192 | 5641.73
CascadeLake| 238.08 | 6396.67
TWCC | 209.664| 5481.98

(Gold 6148那台單核分數偏低的原因
根據觀察應該是因為Turbo反應慢
時脈還沒拉起來程式就跑完了
而且是慢慢增加不是向其他台直接切換到頂
有人知道TurboBoost反應速度跟什麼有關係嗎?
不知道是不是白牌server主機板issue還是UEFI或OS設定問題)

CPU計算效能測試
Intel均使用mkl版
|Cholesky|Det | Dot |Fft |Inv |Lu |Qr |Svd
3990x pip | 606.62| 350.05| 748.52|4.92|285.76|479.42|124.15|11.14
3990x mkl | 1119.49|1074.78| 971.88|5.03|214.65|888.52|440.20|34.16
debug mkl | 1268.56|1023.48|1205.16|5.05|712.24|799.41|475.49|43.18
Nehalem | 178.54| 199.17| 105.35|1.20|125.58|161.51| 81.88| 5.12
SandyBridge | 282.10| 318.30| 286.69|3.65|272.92|260.07|151.88| 7.19
DGX Station | 563.56| 705.35| 689.77|3.20|538.82|518.52|239.39|13.82
Skylake | 725.24|1054.83|1245.51|3.38|755.73|721.35|297.93|18.36
CascadeLake | 1139.19|1582.38|1369.20|3.58|878.06|789.13|335.06|19.10
TWCC | 1101.03|1446.08|1133.23|3.97|812.55|711.94|287.07|14.01

由於這個結果太慘沒有展現出64核殺翻全場的氣勢
一句四通道塞車就想打發可能太混
延續AMD要debug的傳統
因此加測關核跑

使用MKL_NUM_THREADS設定核心數量
|Cholesky|Det | Dot |Fft |Inv |Lu |Qr |Svd
48c+debug | 1406.96|1081.58|1274.44|4.99|738.84|821.23|492.49|45.97
32c+debug | 1399.11| 981.86|1208.92|6.04|760.53|769.36|502.57|48.60
24c+debug | 1142.76|1023.80|1182.79|6.09|809.32|791.94|483.72|45.80
16c+debug | 823.99| 880.87| 872.70|6.10|658.55|709.48|411.23|43.35
8c+debug | 452.84| 445.21| 451.89|5.96|372.54|400.83|268.13|22.70

這結果看起來若要跑多核數學運算的買3960x就好
更上去請買epyc 八通道記得插滿
多工vm多開不吃記憶體頻寬需要單核效能的的再來看3970x 3990x
(MSRP USD 3960x $1399 3970x $1999 3990x $3990
夾在中間的Epyc有很多其實不一定要買3970x (32C/4.5~3.7GHz/128MB/280W)
$4025 7552 48C/3.3~2.2GHz/192MB/200W
$3400 7542 32C/3.4~2.9GHz/128MB/225W
$3100 7F52 16C/3.9~3.5GHz/256MB/240W
$2450 7F72 24C/3.7~3.2GHz/192MB/240W
$2300 7502P 32C/3.35~2.5GHz/128MB/180W
$2100 7F32 8C/3.9~3.7GHz/128MB/180W)

至於svd項目爆高估計是合計256MB的L3太扯
若把8個執行緒擠到同一個CCD上速度會跟3700x差不多

MKL預設為granularity=core
在Linux 5.4上 OS會自動打散到不同CCX
MKL只能看出
一個core兩個SMT
無法辨識
一個CCX四個core共享L3
一個CCD兩個CCX一條IFOP到IO hub
若要手動設定granularity 或是在windows上
建議自己準備一個有node_n id資訊的cpuinfo.txt 提供給MKL
https://software.intel.com/en-us/cpp-compiler-developer
-guide-and-reference-thread-affinity-interface-linux-and-windows

另外在TR上NUMA Nodes Per Socket選項是沒有效果的
沒辦法只使用最靠近的IMC降延遲

這篇是論壇文不是論文所以
如何考量
SMT減輕記憶體延遲懲罰增加運算單元使用率
cache coherence communication overhead
cache line invalidation overhead
page thrashing
CCX L3怎麼分配 CCD頻寬
epyc上的NUMA Nodes Per Socket選項
這些議題來分配與設定Threads
讓3990x跑程式最快
就交由其他
演算法、計組計結、平行運算、分散式系統
融會貫通的大神下結論

nvidia-smi topo -m
3990x
GPU0 GPU1 CPU Affinity
GPU0 X NV2 0-127
GPU1 NV2 X 0-127

DGX Station
GPU0 GPU1 GPU2 GPU3 CPU Affinity
GPU0 X NV1 NV1 NV2 0-39
GPU1 NV1 X NV2 NV1 0-39
GPU2 NV1 NV2 X NV1 0-39
GPU3 NV2 NV1 NV1 X 0-39

TWCC
GPU0 GPU1 GPU2 GPU3
GPU0 X NV1 NV1 NV2
GPU1 NV1 X NV2 NV1
GPU2 NV1 NV2 X NV2
GPU3 NV2 NV1 NV2 X
GPU4 SYS SYS NV1 SYS
GPU5 SYS SYS SYS NV1
GPU6 NV2 SYS SYS SYS
GPU7 SYS NV2 SYS SYS

GPU4 GPU5 GPU6 GPU7 CPU Affinity
GPU0 SYS SYS NV2 SYS 0-17
GPU1 SYS SYS SYS NV2 0-17
GPU2 NV1 SYS SYS SYS 0-17
GPU3 SYS NV1 SYS SYS 0-17
GPU4 X NV2 NV1 NV2 18-35
GPU5 NV2 X NV2 NV1 18-35
GPU6 NV1 NV2 X NV1 18-35
GPU7 NV2 NV1 NV1 X 18-35

Legend:

X = Self
SYS = Connection traversing PCIe as well as the SMP interconnect between
NUMA nodes (e.g., QPI/UPI)
NODE = Connection traversing PCIe as well as the interconnect between PCIe
Host Bridges within a NUMA node
PHB = Connection traversing PCIe as well as a PCIe Host Bridge (typically
the CPU)
PXB = Connection traversing multiple PCIe switches (without traversing thePCIe Host Bridge)
PIX = Connection traversing a single PCIe switch
NV# = Connection traversing a bonded set of # NVLinks

nvidia-smi topo -mp
3990x
GPU0 GPU1 CPU Affinity
GPU0 X SYS 0-127
GPU1 SYS X 0-127

DGX Station
GPU0 GPU1 GPU2 GPU3 CPU Affinity
GPU0 X PIX PHB PHB 0-39
GPU1 PIX X PHB PHB 0-39
GPU2 PHB PHB X PIX 0-39
GPU3 PHB PHB PIX X 0-39

TWCC
GPU0 GPU1 GPU2 GPU3
GPU0 X PIX NODE NODE
GPU1 PIX X NODE NODE
GPU2 NODE NODE X PIX
GPU3 NODE NODE PIX X
GPU4 SYS SYS SYS SYS
GPU5 SYS SYS SYS SYS
GPU6 SYS SYS SYS SYS
GPU7 SYS SYS SYS SYS

GPU4 GPU5 GPU6 GPU7 CPU Affinity
GPU0 SYS SYS SYS SYS 0-17
GPU1 SYS SYS SYS SYS 0-17
GPU2 SYS SYS SYS SYS 0-17
GPU3 SYS SYS SYS SYS 0-17
GPU4 X PIX NODE NODE 18-35
GPU5 PIX X NODE NODE 18-35
GPU6 NODE NODE X PIX 18-35
GPU7 NODE NODE PIX X 18-35

Legend:

p2pBandwidthLatencyTest
3990x
Unidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1
0 550.18 11.80
1 11.76 553.24
Unidirectional P2P=Enabled Bandwidth (P2P Writes) Matrix (GB/s)
D\D 0 1
0 552.10 46.94
1 46.93 552.71
Bidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1
0 556.35 20.84
1 21.06 556.59
Bidirectional P2P=Enabled Bandwidth Matrix (GB/s)
D\D 0 1
0 557.18 93.51
1 93.49 554.59
P2P=Disabled Latency Matrix (us)
GPU 0 1
0 1.94 12.44
1 13.86 1.93

CPU 0 1
0 3.24 8.52
1 9.51 3.44
P2P=Enabled Latency (P2P Writes) Matrix (us)
GPU 0 1
0 1.94 2.15
1 2.09 1.93

CPU 0 1
0 3.54 2.86
1 2.83 3.45

DGX Station
Unidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3
0 735.64 10.05 11.10 11.05
1 10.04 739.82 11.12 11.06
2 11.09 11.13 739.82 9.99
3 11.09 11.15 10.05 741.22
Unidirectional P2P=Enabled Bandwidth (P2P Writes) Matrix (GB/s)
D\D 0 1 2 3
0 727.42 24.21 24.22 48.33
1 24.21 742.63 48.33 24.21
2 24.20 48.32 742.63 24.20
3 48.34 24.22 24.22 742.63
Bidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3
0 746.18 10.45 19.07 18.90
1 10.45 752.65 19.27 19.11
2 19.08 19.11 749.04 10.52
3 19.03 18.99 10.42 753.38
Bidirectional P2P=Enabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3
0 746.89 48.37 48.31 96.47
1 48.37 750.48 96.42 48.38
2 48.36 96.25 750.48 48.36
3 96.28 48.38 48.33 753.38
P2P=Disabled Latency Matrix (us)
GPU 0 1 2 3
0 1.89 16.56 16.44 16.42
1 16.43 1.76 16.19 16.42
2 15.81 16.43 1.87 16.43
3 16.43 16.41 15.81 1.83

CPU 0 1 2 3
0 3.84 9.41 9.21 9.46
1 9.33 3.93 9.68 9.45
2 9.41 9.25 3.78 9.46
3 9.49 9.39 9.35 3.77
P2P=Enabled Latency (P2P Writes) Matrix (us)
GPU 0 1 2 3
0 1.89 1.91 1.90 1.91
1 1.85 1.76 1.85 1.85
2 1.85 1.87 1.87 1.86
3 1.87 1.85 1.85 1.82

CPU 0 1 2 3
0 3.82 2.90 2.88 2.85
1 2.86 3.91 2.82 2.86
2 2.86 2.86 3.91 2.84
3 2.86 2.89 2.86 3.84

TWCC
Unidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3 4 5 6 7
0 731.51 9.26 10.41 10.39 10.37 10.36 10.38 10.36
1 9.30 739.82 10.41 10.41 10.37 10.37 10.38 10.38
2 10.43 10.41 739.82 9.24 10.37 10.37 10.38 10.38
3 10.44 10.40 9.28 739.82 10.37 10.37 10.37 10.38
4 10.42 10.39 10.42 10.41 738.42 9.26 10.38 10.39
5 10.42 10.38 10.42 10.41 9.26 742.63 10.32 10.37
6 10.42 10.39 10.42 10.41 10.40 10.42 739.82 9.26
7 10.42 10.39 10.42 10.42 10.40 10.42 9.26 739.82
Unidirectional P2P=Enabled Bandwidth (P2P Writes) Matrix (GB/s)
D\D 0 1 2 3 4 5 6 7
0 731.51 24.22 24.22 48.36 9.03 9.35 48.33 8.93
1 24.22 741.22 48.35 24.22 9.36 9.19 8.96 48.35
2 24.22 48.35 742.63 48.34 24.22 8.90 9.00 8.83
3 48.34 24.22 48.34 742.63 8.88 24.23 8.83 8.83
4 9.01 8.86 24.22 9.07 742.63 48.35 24.22 48.34
5 8.86 8.97 9.05 24.22 48.32 741.22 48.35 24.23
6 48.34 9.08 9.34 9.17 24.23 48.35 744.05 24.22
7 9.13 48.34 9.01 9.34 48.34 24.22 24.22 742.63
Bidirectional P2P=Disabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3 4 5 6 7
0 746.18 9.38 17.86 17.92 17.79 17.81 17.15 16.99
1 9.27 746.89 17.14 17.06 17.30 17.07 17.13 16.82
2 17.82 17.05 749.76 9.66 17.66 17.74 17.73 17.17
3 17.78 17.08 9.39 747.61 17.96 17.75 17.59 17.26
4 18.03 17.10 17.69 17.72 749.04 9.40 17.58 17.05
5 17.67 17.44 17.80 17.77 9.39 748.32 17.73 17.11
6 17.83 17.02 17.77 17.65 17.43 17.23 749.76 9.38
7 17.27 16.81 17.00 17.28 17.03 17.04 9.44 749.76
Bidirectional P2P=Enabled Bandwidth Matrix (GB/s)
D\D 0 1 2 3 4 5 6 7
0 747.61 48.40 48.40 96.52 17.24 17.25 96.54 17.25
1 48.34 750.48 96.50 48.39 17.30 17.24 17.27 96.52
2 48.40 96.28 747.61 96.55 48.40 17.25 17.24 17.25
3 96.28 48.39 96.50 747.61 17.29 48.40 17.25 17.24
4 17.25 17.31 48.34 17.28 754.83 96.52 48.41 96.50
5 17.24 17.24 17.25 48.40 96.31 751.92 96.28 48.40
6 96.51 17.27 17.26 17.25 48.34 96.31 746.18 48.40
7 17.24 96.31 17.25 17.25 96.26 48.40 48.39 746.89
P2P=Disabled Latency Matrix (us)
GPU 0 1 2 3 4 5 6 7
0 1.68 16.39 16.39 16.38 16.38 16.41 16.40 16.40
1 16.43 1.65 16.51 16.83 16.45 16.46 16.49 16.44
2 16.47 16.46 1.71 16.46 17.44 17.45 17.44 17.44
3 16.50 16.44 16.44 1.64 17.45 17.46 17.44 17.44
4 16.43 16.44 16.47 16.44 1.65 16.44 16.81 16.41
5 17.40 17.20 17.32 17.32 15.81 1.63 16.20 16.06
6 16.67 16.56 16.49 16.59 16.48 16.42 1.59 16.43
7 15.41 15.40 15.47 15.40 15.51 15.37 15.50 1.59

CPU 0 1 2 3 4 5 6 7
0 3.93 9.98 10.54 10.37 9.93 8.83 10.02 10.37
1 9.89 3.64 10.43 10.40 9.93 8.74 9.96 10.08
2 10.26 10.31 4.18 10.94 10.48 9.39 10.66 10.80
3 10.24 10.18 11.02 4.00 10.48 9.43 10.72 10.52
4 9.66 9.63 10.65 10.51 4.07 9.07 10.12 10.14
5 8.92 8.83 9.87 9.79 9.36 3.39 9.67 9.45
6 9.76 9.63 10.71 10.61 10.15 9.20 3.94 10.23
7 10.04 9.83 11.20 10.67 10.22 9.28 10.24 4.28
P2P=Enabled Latency (P2P Writes) Matrix (us)
GPU 0 1 2 3 4 5 6 7
0 1.67 1.48 1.48 1.90 2.12 2.11 1.92 2.13
1 1.52 1.65 1.99 1.53 2.13 2.12 2.12 1.98
2 1.47 1.89 1.74 1.88 1.46 2.12 2.12 2.12
3 1.85 1.48 1.89 1.63 2.11 1.48 2.12 2.13
4 2.10 2.10 1.53 2.10 1.66 1.99 1.52 1.97
5 2.09 2.09 2.10 1.52 1.98 1.62 1.98 1.52
6 1.89 2.12 2.10 2.11 1.47 1.88 1.59 1.48
7 2.12 1.90 2.11 2.12 1.90 1.48 1.48 1.59

CPU 0 1 2 3 4 5 6 7
0 3.65 2.76 2.65 2.67 2.65 2.71 2.58 2.61
1 2.64 3.62 2.60 2.58 2.71 2.67 2.63 2.55
2 2.96 2.86 4.12 2.79 2.87 2.96 2.89 2.96
3 2.82 2.83 2.78 4.01 2.86 2.89 2.86 2.90
4 2.63 2.70 2.66 2.76 3.94 2.65 2.69 2.73
5 2.35 2.38 2.33 2.42 2.36 3.30 2.32 2.36
6 2.66 2.83 2.80 2.76 2.69 2.73 4.02 2.71
7 2.68 2.70 2.90 2.78 2.71 2.78 2.67 4.11

Tensorflow測試 resnet50
1xTITAN RTX fp32
| batch64 | batch128
3990x | 298.97 | 310.80

1xTITAN RTX fp16
| batch64 | batch128 | batch256
3990x | 844.00 | 877.49 | 877.88

1xV100 fp32
| batch64 | batch128 | batch256
6148 | 351.17 | 378.99 | 392.35

1xV100 fp16
| batch64 | batch128 | batch256
6148 | 850.51 | 1019.35 | 1145.15

Pytorch 與 AMP(Apex) 測試
bert | fp32| fp16
3990x 2xTitan RTX |00:25.39|00:28.93
6148 1xV100 |00:57.33|01:25.29
DGX Station 4xV100 |00:27.66|00:37.42
TWCC 8xV100 |00:12.54|00:20.86

(6148那台可能是單核或環境問題參考就好)

===

沒有Sever_Shopping板可以貼
這些測項與MIS板的需求也不同(沒測長時間重載硬碟網路IO)
或許該轉DataScience板?

自組價格比共契的585,729便宜一點點
CPU核心多一倍
犧牲的就是整機穩定度
沒有品牌系統廠驗證散熱電力無法保證
也沒有大SI處理保固狀況排除
不建議省這些錢

實際在使用時有看過延長線瞬間1600W的讀數
幾乎頂到110V的上限1650W
CPU 700~800W也是有
就會想到大同電鍋6人份耗電600W 10人份700W
用那麼一個小小的AIO水冷要幫電鍋散熱感覺就很不合理
真的跑幾個月運算水管也不知道能撐多久
冷頭內感覺就跟熱水器差不多
AIO應該要提供水溫回報給主機板
這360一體水號稱解熱能力500W+
PBO穩定也就真的差不多500W
想要PBO AUTO全64核4.1GHz 800W穩定跑應該是要開放水+冷水機
但小實驗室用自組的主機最後如果水冷漏水一定很精彩

這代TITAN公版從鼓風扇換雙風扇完全就是要阻止買遊戲卡跑運算的
兩張TITAN RTX 600W的熱積在那邊超級難處理
整台主機全開時冷排排風口的溫度跟冬天用的陶瓷電暖器有87%像
一個TY 143全速吹顯卡另一個全速吹VRM
感覺是不太夠力但也沒辦法現在這樣已經跟電風扇開強差不多大聲

除非這機器會放在沒人的地方
或是有冷熱通道隔離的機房買個層板主機橫躺或4U機殼
前置3風扇全換萬轉12cm
但搞到這樣為什麼不直接買設計好的塔式/機架式配Quadro/Tesla呢？

※ PTT留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.145 (臺灣)

※ PTT 網址

推

a58524andy 05/08 19:03這id 先推再說

推

tommy2558 05/08 19:15先推

→

NX9999 05/08 19:21戰略性留名

推

xrae00429 05/08 19:26推專業

推

windrain031705/08 19:28這篇也要推

推

overskyend 05/08 19:31專業推～

推

etetat2 05/08 19:33太神

推

FuwafuwaCAT 05/08 19:34太猛惹

→

maplefoxs 05/08 19:36先推收精華

推

qythll10210305/08 19:38太猛先推再看

推

Breeze 05/08 19:38留名

推

ZhouGongJin 05/08 19:39心……心動了

推

s815225 05/08 19:40推

推

pter7533 05/08 19:46猛猛的

推

sksk2188 05/08 19:47推

推

BlacKlonely 05/08 19:51好的！我看不懂

推

acebruce 05/08 19:51用40萬的電腦上ptt

推

sleep123 05/08 19:55看起來幹大事的文章

推

ATND 05/08 20:01推！

推

harryzx0 05/08 20:08猛

→

tony70017 05/08 20:15剛查了一下 TR-3990X 64核128緒原價屋NT:123,456元

推

a123444556 05/08 20:17看不懂推個專業文

推

ben100rk 05/08 20:26猛

推

tpegioe 05/08 20:26

推

ctes940008 05/08 20:30$$$$$花起來

推

AmibaGelos 05/08 20:31推推~ 劃重點土炮請買3slot板 2slot看得到吃不到

如果可以解決散熱問題(像2080ti鼓風扇) Quadro RTX 6000/8000 NVLink HB Bridge 2-Slot 是可以用在Titan RTX/2080ti上的 (可看上一篇測試)

推

bunjie 05/08 20:32好專業的感覺

推

ttykimo 05/08 20:41嗯嗯跟我想得差不多

推

aegis43210 05/08 20:45開冷氣，熱量也不一定散的出去

推

sdbb 05/08 20:52清流

→

sdbb 05/08 20:53前面爆power的，快來看篇

推

dstory 05/08 20:54好一台文書機

推

jzxc56788 05/08 21:01看不懂我先推

推

jadaboy 05/08 21:08都打中文跟數字但我看不懂，先推

推

SaltyFish10205/08 21:17我在螢幕前都可以聞到現金的味道了

推

youngpool 05/08 21:18推

推

meipialoha 05/08 21:22我看了什麼....

推

xp987987 05/08 21:35推文書機

推

lspet 05/08 21:46推大神

推

andy3020 05/08 21:51完全看不懂，佩服佩服

推

hankower 05/08 21:57有神快拜

推

kpieola 05/08 21:57這太高階了先留名

→

bubunana 05/08 22:23好奇請教一下貴單位i最新平台怎麼只到2017 gold

→

bubunana 05/08 22:23沒上白金8系列嗎？

預算很多不代表無限白金跟gold還是有價差量不大沒辦法砍價 gold價格還是比較正常

推

danielqwop 05/08 22:24這已經是另一個世界的東西了

※ 編輯: fo40225 (36.229.220.214 臺灣), 05/08/2020 22:33:57

→

bubunana 05/08 22:47了解謝謝...因為即使是9系列也算去年產品 8 9價錢

→

bubunana 05/08 22:47即使是小量至少是都是半砍應該不會超過之前系列才

→

bubunana 05/08 22:47對但是系統商最終產品報價就真的不知道了因為你們

→

bubunana 05/08 22:47連NV GPU server都上內部選單才有此好奇

推

a2470abc 05/08 23:28到了這些需求如果不是特殊狀況找廠商比較快真的

推

alfa871212 05/08 23:33推

推

torpp 05/08 23:45我看了什麼？

推

ai030821 05/08 23:48推

推

roymarlon 05/08 23:58剛好最近研究室也要進3990x 先拜讀了！

推

atpx 05/09 00:24看不懂給推

推

rickz008 05/09 00:38推

推

alloutoflove05/09 00:44跨謀給推

推

sam355322 05/09 01:06怕光cpu價格就=我的主機+外設

推

ericinttu 05/09 01:18 怕抱給個推

推

cliff2001 05/09 02:20推

推

hizuki 05/09 02:47而且Titan不支援SR IOV無法多桌面輸出讓我很倒蛋

推

jaspergod 05/09 03:17推

推

hizuki 05/09 03:19話說模型沒有用horovod搭配nccl分發？

卡數少沒有要跨結點就沒開了 1~2張使用簡單的實現也不慢額外開銷低多卡就真的要調整參數了

推

Cervelo1995 05/09 03:55這很文書.....

推

bobboy8755 05/09 04:58請問這個有辦法ptt穩4k 60幀嗎？

※ 編輯: fo40225 (36.229.220.214 臺灣), 05/09/2020 09:56:50

推

hangtenboy 05/09 10:33推都是中文和數字卻看不懂XD

推

nn3356 05/09 11:36推測試

推

world4jason 05/09 13:01RTX用鼓風扇可能因為不用的話壓不住？感覺要多張

→

world4jason 05/09 13:01的話冷房通道沒弄好就是要用延長線+訂製機殼了

→

world4jason 05/09 13:02以前插七八張titan還1080ti就是這樣搞

推

hcwang1126 05/09 13:09我褲子都脫了你smt numa那些沒測怒噓

→

hcwang1126 05/09 13:10是說系統廠都有給客戶的tuning guide book才對

→

hcwang1126 05/09 13:11huge page開下去分數應該會再上去？

推

world4jason 05/09 13:14另外感謝mkl測試 amd這坎沒跨過去有框框也只能好看

→

world4jason 05/09 13:14而已XD 這樣感覺寧可拿去找PCIE-Lane足夠用的i家就

→

world4jason 05/09 13:14好XD

→

hcwang1126 05/09 13:15貴單位有沒有在搞aws？上次看完覺得很有潛力只要不

→

hcwang1126 05/09 13:15涉機敏資料

推

nucleargod 05/09 13:45推

推

waiter337 05/09 13:47講到我看不懂給推

推

nightwind20905/09 14:00I家要雙路8核心才跟 EPYC基本單路16核心規格相近

→

nightwind20905/09 14:01所以EPYC不用雙路以上的 (單純臆測

→

nightwind20905/09 14:03不過EPYC的都沒有系統同捆包也可能是在試水溫

→

nightwind20905/09 14:11漏看第四項有搭windows 其他好像沒有:P

推

pcfox 05/09 15:49不同世界線給推

推

hotdogee 05/10 04:14有用堆

→

AKSN74 05/10 09:45但說真的買Server回來用Linux到頭來也是自己裝OS吧

推

hcwang1126 05/10 09:48因為linux可以自己調教不像windows都不給碰

→

hcwang1126 05/10 09:51Linux也比較會照spec作還有source code可以看 wind

→

hcwang1126 05/10 09:51ows你有時只能猜他行為怎麼那麼奇怪如果不熟debug

→

hcwang1126 05/10 09:51方法的話

※ 編輯: fo40225 (140.112.16.145 臺灣), 06/10/2020 19:01:44

其他人也閱讀了

PTT 熱門相關