PTT推薦

Re: [問卦] 一堆人在搶5070Ti顯卡

freeunixer 發表於 2025/2/21 下午3:22:12
看板Gossiping標題Re: [問卦] 一堆人在搶5070Ti顯卡作者
freeunixer
 (離自相空她相)時間推噓 9 推:9 噓:0 →:16

※ 引述《abcd5566 (塔綠班都垃圾)》之銘言：
: 看電腦板怎一堆人在搶5070Ti顯卡
: 我也在等5070Ti配9800X3D的套裝機出來
: 這年頭連70Ti都會大缺貨

→ linbasohigh: 跑AI的話，至少要買到5090的32G記憶122.121.224.214 02/21 14:06

其實現在有很多框架可以降低 LLM 模型的 VRam 需求量,
我不久前看到一個可以用 8G VRam 跑模型的框架.
當然記憶體大有它的好處,

1.可以跑參數更大的模型,畢竟 7B 以下的 deepseek 是渣?
2.輸出 token 的速度會快一點,畢竟女的一秒叫十聲跟一秒叫二十聲的感覺就不一樣

不過如果你得用四十萬買十二顆 CPU 才能獲贈一張 5090 的話,那還不如...

--
讀者審校網試行版(2018/1/1 更新網址)
http://readerreviewnet.processoroverload.net/
(哲、史、法、政、經、社，人文翻譯書籍錯譯提報網)
◎洪蘭"毀人不倦"舉報專區
http://tinyurl.com/ybfmzwne
讀者需自救，有錯自己改...

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.122.193 (臺灣)
※ PTT 網址
推

yoshilin 02/21 15:23自己在家裡做ai...

推

tga123 02/21 15:23算圖跟A600還是ada來比怎麼樣都90划算

推

arrenwu 02/21 15:267B 什麼模型都滿差的

→

arrenwu 02/21 15:27Deepseek 除了原生 671B 模型之外，

→

arrenwu 02/21 15:27其他應該都是用 Llama 或 Qwen 蒸餾的

推

tetani 02/21 15:2770b是我能接受的最低大小

→

tetani 02/21 15:28但這樣也得要2張5090

推

DPP48 02/21 15:31好厲害，我只能自架1.5B

推

arrenwu 02/21 15:3212GB VRAM 可以跑 14B 模型

推

tetani 02/21 15:33現在我在思考自架local的必要性

→

tetani 02/21 15:33到比較好的效果 代價實在高

→

Newtype 02/21 15:34等exo效率上來 多買幾台macmini來跑

推

SShirakawa 02/21 15:34不是礦就是AI，單純玩個遊戲好困難

→

tetani 02/21 15:34有限的預算 只能在速度和智商之間選擇其一

→

tetani 02/21 15:35但付費api 會有最難解的審查、資安問題

→

nekoares 02/21 15:37有這錢 不如去買Nvidia出的專用mini PC

→

freeunixer 02/21 15:46nv 的 GB20 效能不一定會有你期待的好

→

freeunixer 02/21 15:47因為它的 ram 是 cpu 跟 gpu 共用

→

freeunixer 02/21 15:47而且它一台超過新台幣十萬

→

tetani 02/21 15:50nv那台的壞消息 好像只是用來測試用

→

tetani 02/21 15:50測試能跑起來 然後推送到大型的伺服器

推

applejone 02/21 15:50系統記憶體夠大 可以安裝滿血版的AI

→

tetani 02/21 15:51協助你開發而已 速度沒辦法當生產力工具

→

applejone 02/21 15:51不一定要用GPU 不過那個速度就...

→

GABA 02/21 18:30我只想知道這樣搞夏天電費多少?

同系列文章
[問卦] 一堆人在搶5070Ti顯卡
其他人也閱讀了
PTT 熱門相關