Re: [菜單] DeepSeek 671b大模型推理機

※ 引述《xiemark (aisinjuro)》之銘言：
: 已買/未買/已付訂金（元）：未買
: 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用: CPU來算
: CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500
: MB (主機板)： 超微H11SSL-i 二手 ＄8900
: RAM (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800
: VGA (顯示卡)： 舊EVGA 3060 12G(已有)
: Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850
: SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590
: HDD (硬碟)：
: PSU (電源供應器)： 台達 金牌全模組650W $2890
: CHASSIS (機殼)：
: MONITOR (螢幕)：
: Mouse/KB (鼠鍵)：
: OS (作業系統)： Ubuntu
: 其它 (自填)：
: 總價 (未稅/含稅)：$36530
: CPU 主機板、DRAM在洶寶買。
: 是否有更好選擇
: 謝謝
這幾天前的舊文，今天才想到，你不是第一個想到用AMD EPYC跑AI
這邊也有人用跟你類似的配備跑671B deepseek
https://www.youtube.com/watch?v=Tq_cmN4j2yY
512GB DDR4 RAM
MZ32-AR0 motherboard
64 core EPYC CPU (cpu選下面三個其中一個)
7702
7C13
7V13
Rack Frame
CPU cooler h170i elite capellix xt
1TB NVMe - Samsung 980 Pro
850W PSU
-------------------------------------
他這樣成本約2000美元，他為了省成本用的是上一代的EPYC CPU
他是可以跑671B的deepseek，但他token產生速度也慢的要死
他影片就說了，一秒大約3~4 token，你看他影片中文字輸出速度也看的出來
他影片下面的網站連結也有他整個軟體建置教學
如果你打算個人用是還好，但你要多人用，除非你們團隊可以忍受這速度
不然還是乖乖付錢找有提供deepseek的雲端主機商來用

--