[請益]AI大模型記憶體不足，市面上128G RAM?

sachialanlus 08/31 10:29你有算過即使真的跑得起來 速度比你

sachialanlus 08/31 10:29可以接受嗎？

spfy 08/31 10:30單條128就算中國品牌也不多吧 很多能選嗎?

d0178411 08/31 10:35好像鬼島沒啥地方賣吧

aabbcc840526 08/31 10:49U DIMM目前顆粒最大應該就32Gb所以

aabbcc840526 08/31 10:49兩面最多64GB, 如果你要128那就是

aabbcc840526 08/31 10:49要3DS(一種可以塞兩個或以上晶片的

aabbcc840526 08/31 10:49技術), 成本較高所以極少廠商願意

aabbcc840526 08/31 10:49出這種產品,這種技術目前僅大規模

aabbcc840526 08/31 10:49應用server市場而已

aabbcc840526 08/31 10:53另一條路就是跟server一樣用x4顆粒

aabbcc840526 08/31 10:53（這樣可以多貼一倍的顆粒）,但一

aabbcc840526 08/31 10:53樣我不確定PC市場有沒有人出這種產

aabbcc840526 08/31 10:53品

chenzu740125 08/31 11:00讓我想到8299董狂吹adaptive.不過這

chenzu740125 08/31 11:00是笑話XD

widec 08/31 11:02現在主板支援的單支DIMM上限是多少容量

smallreader 08/31 11:21別浪費時間搞這種

smallreader 08/31 11:21單條DDR5現在是64G 支援度基本沒問題

smallreader 08/31 11:22兩條就128 四條就256 但筆電型就兩條

smallreader 08/31 11:2464G也是今年剛出的 沒有更高容量了

jkiu 08/31 11:26先撇開龜速問題，想跑這麼大的模型不該用家

jkiu 08/31 11:26用主機板，要用上伺服器用的，光記憶體插槽

jkiu 08/31 11:26跟pcie插槽就可以多出很多條

ttmm 08/31 11:27去用雲端...不要本地跑啦

smallreader 08/31 11:28要不要試試看swap到optane來增加容量

smallreader 08/31 11:29速度可能會降好幾倍 但至少容量夠(x

ziggs8308 08/31 11:29deepseek 都忘記這個東西了 原來還有

ziggs8308 08/31 11:29呼吸 爆紅一個禮拜就直接消失

pcfox 08/31 11:31問就直上Pro WS WRX90E-SAGE SE

smallreader 08/31 11:34900P / 905P / DC 4800X / 5800X

commandoEX 08/31 11:35買TR啊，4通道8DIMM頻寬更高

odanaga 08/31 11:35905p還買的到嗎？

odanaga 08/31 11:36上次新蛋300美買一個 太美了

Lightee26 08/31 11:38普通板子有支援單條128？

benen 08/31 11:41其實我也蠻好奇www家用這樣用起來速度真的

benen 08/31 11:41ok嗎？

bunjie 08/31 11:46我覺得如果AI模型只是玩票性質的話 就線

bunjie 08/31 11:46上租一租就好 高階機當作打電動舒壓用

bunjie 08/31 11:47其實AI模型現在也差不多飽和了 卷成那樣

bunjie 08/31 11:47等應用就好

bunjie 08/31 11:48現在進場想要玩出什麼新花樣 其實蠻難的

ttmm 08/31 11:54你有灌 linux?

jkiu 08/31 12:00留著打電動跟生生玩票性質的圖就好，這麼大

jkiu 08/31 12:00的模型本地想跑q4跟速度可以接受~20tps，預

jkiu 08/31 12:00算先x3,x4，但花這麼多錢還只不過買api來用

jkiu 08/31 12:00效果

kanding255 08/31 12:03要不要試試 virtual memory 只是效果

kanding255 08/31 12:03不知道是不是你要的

newforte 08/31 12:07買虛擬機 要多大有多大

game0502 08/31 12:12上機架2-4U的24條隨便你插還能上顯卡

sino6445 08/31 12:13討論板不要用太不雅的字，即使是吃飯飯

sino6445 08/31 12:13時看到也很不舒服，即使是中國品牌，把

sino6445 08/31 12:13別人品牌用ㄈㄣˋ這個字，只是貶低自己

sino6445 08/31 12:13忘了給噓

Ron51320 08/31 12:18弄些虛擬的跑跑看，騙不過嗎？

pxhome 08/31 12:23DDR5 5600 64GB一條5000兩條1萬

pxhome 08/31 12:24128GB 只有eco但你的主機板不支援

pxhome 08/31 12:25DDR5 ECC的腳位不一樣了

pxhome 08/31 12:28原來對岸來的小弟弟不知道有鹹魚

widec 08/31 12:42我也覺得等應用就好

camry2338y 08/31 12:45一般家用的主機板 ram最高就支援到25

camry2338y 08/31 12:456G 就算你的到也還是不夠啊

linkt0 08/31 12:56d4幾年前就裝過128g*4=512g 標256g參考用

linkt0 08/31 12:56udimm 128g*4

linkt0 08/31 12:59x99時代ram還被小石頭rd借去改bios

lordmi 08/31 13:05最近被問到煩了剛好寫過一篇到底什麼硬體

lordmi 08/31 13:05可以跑入門AI https://www.lordmi.com/20

lordmi 08/31 13:0525/08/2025ai 不過我還是建議你真的沒必

lordmi 08/31 13:05要跑localA I除非你的預算有300k以上

nrsair 08/31 13:14插四條

narukaza 08/31 13:19這還不簡單，直接換主板CPU，WRX90+999

narukaza 08/31 13:195WX，插滿8條64G跑6000輕輕鬆鬆

narukaza 08/31 13:25兩條128G都要快60K了，真能用你會買？

DrGun 08/31 13:37https://reurl.cc/jrVGVy

DrGun 08/31 13:37對岸騰訊玄武實驗室發在微信上der實測文章

DrGun 08/31 13:37標題：「不到 4 万元的 DeepSeek-R1-671B-Q

DrGun 08/31 13:378 部署方案」 這邊4萬4人民幣 實際總花費35

DrGun 08/31 13:37686 rmb 這篇der重點4純粹用Amd Epyc 9005

DrGun 08/31 13:37系列cpu搞一台local ai 峰值生成速度 7.17

DrGun 08/31 13:37tokens/s 已經在可用範圍der下限 連結點進

DrGun 08/31 13:37去有實際運行影片 尼如果換成Q4 der話token

DrGun 08/31 13:37數大概直接變乘以2 記憶體容量可以再減 預

DrGun 08/31 13:37算更省 有機會壓在10萬台幣以下

linzero 08/31 13:38目前一版主板是64*4=256G吧，不過9950X3D

linzero 08/31 13:38上限好像是192G，Win11家用版是128G

lhhjimmy 08/31 13:45不知道有沒有人玩過CXL

lhhjimmy 08/31 13:45前提是主機板/CPU要support

rasen9 08/31 14:43沒 我9950x3d icu285k都插過4條64沒問題

skywgu 08/31 14:53有隱私需求本地ai還是有市場啦

E7lijah 08/31 15:05AMD官網標示7000/9000只支援128/192GB，

E7lijah 08/31 15:05是因為發售時的記憶體只出到單條32/48GB

E7lijah 08/31 15:05或已經出了更大的容量但還來不及驗證

s900527 08/31 15:05一堆人在那邊api就是完全不懂本地的好

s900527 08/31 15:06速度更不是重點 放著給他跑就好了急什麼

E7lijah 08/31 15:06你要單條128GB要上RDIMM(不一定要3DS)

E7lijah 08/31 15:06RDIMM消費級平台不支援，要上到TR/EPYC

E7lijah 08/31 15:10上面說DDR4 UDIMM 128GB的是哪條

E7lijah 08/31 15:10有這種東西??

jkiu 08/31 15:22速度沒到一個基本門檻根本不能日常用好嗎，

jkiu 08/31 15:22尤其現在一堆thinking的模型，光耗在思考裡

jkiu 08/31 15:22面就飽了，一來一回對答context越大處理越慢

jkiu 08/31 15:22，更不能用，難道你要1x分鐘對答一次這樣用

jkiu 08/31 15:22是嗎...

Supasizeit 08/31 15:28671b? 128G一樣爆

Supasizeit 08/31 15:31跑oss:20b 在處理一些像檔案整理或打

Supasizeit 08/31 15:31屁聊天就很好用了

ByPass128 08/31 15:41Q4大概還要400G，建議換個模型

ByPass128 08/31 15:41你可以先弄個gptoss120b啟動看看效果

ByPass128 08/31 15:41，不行再往下嘗試20b版本的

ttmm 08/31 15:45認真說花錢把各大平台的額度用光還比較省

dreamelf 08/31 15:52先用雲再買GB10

linkt0 08/31 15:59標限制實際裝機測就知道標好玩的win7時代

linkt0 08/31 15:59就裝過.. goog資料中心拿出來玩的東西上

linkt0 08/31 15:59網搜都搜不到 一顆ssd就一台國產車價

jhjhs33504 08/31 16:25gptoss20b就很好tool calling了但就是

jhjhs33504 08/31 16:27調整還不夠穩定120b最近兩版ollma OOM

jhjhs33504 08/31 16:28不然virtual memory可以跑 但就慢很多

jhjhs33504 08/31 16:44安全一些的tool calling 要預留記憶體

Layase 08/31 17:04別想了 你組不贏人家商用server的

WJAider 08/31 17:06你這就是想改造 BB 槍問怎麼像真槍

WJAider 08/31 17:10方向不對事倍功半，或是說錢倍功半?

soulgem 08/31 17:43671b, 想到之前拚老命才裝出來 512G RAM

soulgem 08/31 17:44先有 256G ECC/Reg, 後來才找到 64x8...

soulgem 08/31 17:45這條路還是難得通 # TR-39x5 + 8條RDIMM

soulgem 08/31 17:46下一台想要 1T... 完全看不到希望的 XD

jhjhs33504 08/31 17:50用CPU跑量化版還得是Q4或Q8 不然輸GPU

jhjhs33504 08/31 17:51商用server就選TPU平台 性價比才會高

soulgem 08/31 17:518支128G怎麼看都超過這次拚出來的總花費

soulgem 08/31 17:52撿二手 server 不是條好學的路...

soulgem 08/31 17:54就算走雙Xeon的話要找得到16支64G也很難

DrGun 08/31 17:58雙cpu之前看有人實測 tokens/s狂降 比單cpu

DrGun 08/31 17:58還差 似乎跨cpu通信有問題 A和I 都有同樣症

DrGun 08/31 17:58頭der樣子

crimsonmoon9 08/31 18:05我記得雙CPU主板大多支援只插一顆吧

soulgem 08/31 18:13只插一顆 CPU 通常不能放滿 16 支 RAM...

DrGun 08/31 18:26目前觀察搞純cpu local ai機 硬體零件之重

DrGun 08/31 18:26要性 從最重要der開始排：1. Ram容量（必須

DrGun 08/31 18:26大於模型size 否則免玩）2. Ram速度 3. CPU

DrGun 08/31 18:26核心數和時脈

doraBBO 08/31 18:59可不可以問個問題，美光128G跟金士頓64G

doraBBO 08/31 18:59效能實際上會落差很大嗎？想要高容量

doraBBO 08/31 18:59但又怕效能拉垮太多，還是體感還好?!

yunf 08/31 19:00你要多大的有多大的？台灣業務都可以談，只

yunf 08/31 19:00要你有錢

yunf 08/31 19:02主機板相容性：128GB單條RAM多數為伺服器專

yunf 08/31 19:02用，需確認主機板支援DDR4 ECC LRDIMM/RDIMM

yunf 08/31 19:02，普通桌機板無法安裝。

doraBBO 08/31 19:07抱歉 沒說清楚 AM5有支援到128G

doraBBO 08/31 19:07金64G 6000 30CL VS 美光128G 5600 46CL

doraBBO 08/31 19:07目前是模擬器多開，一定是選後者

doraBBO 08/31 19:07但如果以後要到臭打遊戲玩點其他的

yunf 08/31 19:08https://tinyurl.com/28twu9k7 一萬像一塊

doraBBO 08/31 19:08會不會因為時脈等因素，後者體驗有落差

yunf 08/31 19:09要調吧

AlvisBarhara 08/31 19:46rdimm一般u不能用要注意

AlvisBarhara 08/31 19:48ryzen能用的是ecc udimm,比rdimm再

AlvisBarhara 08/31 19:48貴一截

AlvisBarhara 08/31 19:52另外板子也有差,am5只有大小石的板

AlvisBarhara 08/31 19:52子有lay ecc線路,mg的花大錢買ecc

AlvisBarhara 08/31 19:52udimm也沒用

smallreader 08/31 20:20rdimm TR也不能用 要上TR pro

saiboos 08/31 20:42用雲端GPU吧...

Supasizeit 08/31 21:44又不是要解什麼數學難題 用671b幹嘛

Supasizeit 08/31 21:4420b爽爽用

Supasizeit 08/31 21:45120b慢的要死 毫無用處

TameFoxx 08/31 22:03用open web-ui 然後去串deepinfra的api

TameFoxx 08/31 22:03基本上開源模型都有很多第三方供應商

nextpage 08/31 22:12最後你還是會妥協付錢租API使用 :)

TameFoxx 08/31 22:21事實上用API才合理

TameFoxx 08/31 22:22因為你自己跑那麼大的模型 電費比API還

TameFoxx 08/31 22:22貴

E7lijah 08/31 22:26TR就是用RDIMM 誰跟你TR也不能用

linzero 08/31 22:27他要中文使用者的…味道跟繞開限制吧

E7lijah 08/31 22:29https://i.imgur.com/RZvrebE.jpeg

E7lijah 08/31 22:31然後AM5目前還沒有支援單條128G的

E7lijah 08/31 22:42TR跟TR PRO在記憶體的差別是後者支援八通

E7lijah 08/31 22:42道

TameFoxx 08/31 22:42第三方的API就是已經繞過限制的

E7lijah 08/31 22:42而前者只支援四通道

DrGun 08/31 22:45騰訊der文章寫說用EPYC 9115 Default TDP 1

DrGun 08/31 22:4525W 沒特別耗電

DrGun 08/31 22:45Local ai = 永久買斷無額外付費 + 隱私無價

jkiu 08/31 22:48qwen 或 glm 也是中國的llm，模型小很多，本

jkiu 08/31 22:48地跑比較合理，要不要先試試這兩個的文筆看

jkiu 08/31 22:48看，另外你在網上平台遇到的限制，自己載下

jkiu 08/31 22:48來跑的多半也都有，除非有人另外做解禁版的

jkiu 08/31 22:48，可能要多翻找看看huggingface

TameFoxx 08/31 22:55有沒有特別耗電 你要用生成同樣Token去

TameFoxx 08/31 22:55比

TameFoxx 08/31 22:55用CPU跑AI本身就是浪費電

TameFoxx 08/31 22:56文章說可以到7 但這是短input的情況

TameFoxx 08/31 22:56長input時能不能保1都不知道

DrGun 08/31 23:04講到解數學難題 Deepseek剛推出時有到官網

DrGun 08/31 23:04拿工數考古題考它 印象中考了快10題 題目種

DrGun 08/31 23:04類有ode pde 線代和證明 恐怖der來惹！計算

DrGun 08/31 23:04它全部答對 唯一錯der只有證明 而且基本上

DrGun 08/31 23:04也8算全錯 它只漏寫惹一兩個結果 同樣der題

DrGun 08/31 23:04目拿去問ChatGPT Claude Gemini根本8用看

DrGun 08/31 23:04錯der一踏糊塗！！

linzero 08/31 23:26有沒有可能是資料庫裡有這些考古題？

Narok 08/31 23:31芝奇有出64gx4的256g一套的，我剛剛買了，

Narok 08/31 23:32但是...會讓你開機變慢，而且幾乎用不到超

Narok 08/31 23:32過100g

DrGun 08/31 23:33可能把！ChatGPT之前也被爆說考前作弊偷看

DrGun 08/31 23:33題目 只4還特別拿台灣der考古題去訓練也太

DrGun 08/31 23:33屌惹 有der還可能沒電子檔

pikachu123 08/31 23:40Mac studio 買一買就好

doraBBO 08/31 23:49我剛剛用詞不精確 應是32*2=64 64*2=128

doraBBO 08/31 23:49不是說單條64 128 抱歉

crimsonmoon9 08/31 23:56但是671B用CPU跑還要reasoning解出

crimsonmoon9 08/31 23:56題目可能要花個半天了吧

E7lijah 08/31 23:59大容量ram開機很慢的 進BIOS開

E7lijah 08/31 23:59memory context restore

Supasizeit 09/01 00:21本地還是會限制啊 還是你要fine tune

Supasizeit 09/01 00:21 用你的桌機？？

s900527 09/01 01:51本地才有辦法不被限制

KaoGu 09/01 03:07https://www.youtube.com/watch?v=OOwS_

KaoGu 09/01 03:07HHOWfs

wsdykssj 09/01 04:43V3.1就是個過渡模型 一樣有思考鏈過長的

wsdykssj 09/01 04:43問題 搭配token數不高的硬體你會等到天

wsdykssj 09/01 04:43荒地老，確定要為個過渡模型花大錢?

soulgem 09/01 06:46ECC udimm 比 ECC rdimm 便宜啊?!

AlvisBarhara 09/01 08:09udimm買新的比較便宜,撿垃圾的話比

AlvisBarhara 09/01 08:09較貴,大概是server用量比rdimm少吧

kuninaka 09/01 09:21太折騰了

Narok 09/01 09:21開memory context restore之後，MT6000變

Narok 09/01 09:21成3600...

nrsair 09/01 10:2664GB*4=

marc47 09/01 23:20放棄吧gpu你買不起，cpu就算讓你順利執行

marc47 09/01 23:20了，一個字會耗你好幾秒才會出來，光是開

marc47 09/01 23:20始可能就要三分鐘，人家上百萬不是花假的

marc47 09/01 23:20，光是16gb的模型cpu就跑不太動了,更何況

marc47 09/01 23:20上百gb

jhjhs33504 09/01 23:52macOS這次更新不知為啥也不能跑gpt1

jhjhs33504 09/01 23:5220b

jhjhs33504 09/01 23:54倒是Apple自己有推出model了

kaltu 09/02 14:59要跑大模型最划算的是買Mac，用統一記憶體

kaltu 09/02 14:59跑GPU

kaltu 09/02 14:59別用PC了，你插RAM再多也只能用很有慢慢跑

kaltu 09/02 14:59，VRAM夠大的卡普通人買得起也叫不到貨

kaltu 09/02 14:59反而臭得要死的Mac變成local大模型最划算的

kaltu 09/02 14:59選擇

soulgem 09/03 08:06Mac studio 點上去三十萬不夠, 差不多慘.

soulgem 09/03 08:07但是難產的 DGX spark 也是十幾萬...

soulgem 09/03 08:07跟 AMD AI MAX 395 頂筆電差不多... 囧

soulgem 09/03 08:27這三家不知道最後到底哪個會比較好用...