PTT推薦

[閒聊] 組裝Chat-LLaMA主機的規格

看板PC_Shopping標題[閒聊] 組裝Chat-LLaMA主機的規格作者
oopFoo
(3d)
時間推噓 3 推:3 噓:0 →:7

自從Meta 的 LLaMA被流出版後,進展真的飛速。

現在可以自搞Alpaca了。原Stanford的Alpaca因為版權問題,不能外放。現在應該會有一堆流出版。
https://replicate.com/blog/replicate-alpaca

已經有人開發出Mac的Chat-LLaMA版了。
https://github.com/antimatter15/alpaca.cpp

Windows版,應該近日可期。


如果在自己的機器玩Chat-LLaMA,大概需要什麼樣的規格?(Training當然是另外一種規格)

以下是講4 bit quantized的需求,很粗略的估算
7B模型需要約8GB(4GB+4GB)
13B模型約16GB
30B模型約40GB
64B模型約85GB

現在聽說13B的性能與表現最能接受,但看發展速度,30B應該會是PC的應用主流。

所以現在組電腦,ddr5的32GB x 2條,應該是基礎,預算是先抓容量再抓速度。

DDR5在這裡的應用對DDR4會有優勢,目前價差應該是可接受,但預算太緊那還是選DDR4因為容量優先。

CPU就越多核越好,框框越多越好,小核在這超好用。

顯卡GPU因為記憶體少,所以不如CPU好用,然後買CPU一定要有內顯的,做保險。如果內顯加速版出來了,也許就不需要多核CPU了,目前難判斷就是。

所以喜歡買AMD的粉絲們,請多多考慮AM5,然後x3d應該是沒有優勢。

Chat-LLaMA實在發展太快,半年內應該會有各種應用出現,就像Stable Diffusion促進顯卡的需求。

下半年,多種應用出現(Ai助理),可能又會有一波PC升級潮,這次記憶體需求應該會很旺盛。

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.251.234 (臺灣)
PTT 網址
※ 編輯: oopFoo (36.224.251.234 臺灣), 03/17/2023 13:38:02

soulgem03/17 15:39看來這局勢將對等等黨極度不利呢...

Chilloutt03/17 18:10好險已經買了,除了lora,還可以玩別的了

Shigeru77703/17 18:26還好已經裝滿128G了

dos0103/17 19:59想太多了 不會每個人都想自己產色圖來給自己SAN值檢驗

dos0103/17 19:59正常顯卡的大宗用戶還是遊戲玩家

gw0008603/17 20:26美光庫存200天 應該夠賣吧 ㄏ

oopFoo03/18 09:56記憶需求x2,庫存變100天,機器增加,供不應求。

oopFoo03/18 09:58這ai助手功能使需求大爆發是很有可能的。現在PC的記憶體都

oopFoo03/18 09:58配太少了。

pichubaby03/19 22:42如果要高記憶體要找HEDT,但是你要CPU算,可能要高L1