[請益] 有人用Mac Studio跑AI大型模型了嗎

iamdc1118 04/24 14:55跑模型沒問題 問題是沒錢

SRNOB 04/24 14:55看需求 有更便宜方 直接說結論 使用API方便

SRNOB 04/24 14:56養一頭牛喝一瓶鮮奶太浪費

hongx 04/24 15:06除非真的有什麼敏感資料，不然還是付費用AP

hongx 04/24 15:06I比較實用。

hongx 04/24 15:06加上Mac Studio的記憶體頻寬還是太差，性

hongx 04/24 15:06能很難媲美目前主流平台的速度。

coox 04/24 15:09如果只選這兩種方案當然是買顯卡啊

coox 04/24 15:10最終都是看哪個社群比較強大

abc0922001 04/24 15:14會跑超慢吧，但至少是能跑

Syu 04/24 15:22之前有MacbookProM4跟雷蛇旗艦對幹的片是贏

Syu 04/24 15:22Studio的可以找或等看看有沒有review

vsbrm 04/24 15:26能接受的定義是？ 一秒鐘回一個字還是10分

vsbrm 04/24 15:27鐘回一個字？

MK47 04/24 15:28直接買API就好了 在MAC上跑就是玩興趣的 誰

MK47 04/24 15:29真的工作用本機跑啊.......

MK47 04/24 15:29起碼個人或一般商家不需要考慮這種事情吧

SeulDesir 04/24 15:34比32gb顯卡好多了

abc65379 04/24 15:35https://i.imgur.com/v7lA9Vt.jpeg

lordmi 04/24 15:43目前看到速度大概是18.87t/s 這個成本跑

lordmi 04/24 15:44deepseek-r1:671b(4bit MLX)我只能說有錢

lordmi 04/24 15:44可以捐公益剩下的買api就好

kuninaka 04/24 15:46自己訓練模型才需要

kuninaka 04/24 15:46如果沒要訓練，API便宜很多

icuteasd 04/24 15:55只能說土豪

lordmi 04/24 16:01另外提醒，加到512實作上仍不可能放進一個

lordmi 04/24 16:02滿血的ds，還是老老實實買H200陣列吧

leolarrel 04/24 16:05這個版,只要問就是回答買新的

Shigeru777 04/24 16:07https://reurl.cc/AMqOvj

Shigeru777 04/24 16:0930B左右的模型還OK 再上去速度不快RAM

Shigeru777 04/24 16:09也用很凶很花錢

aegis43210 04/24 16:10蘋果除了記憶體大之外，跑訓練非常慢

aegis43210 04/24 16:10，推論也輸同價格的老黃，不建議為了A

aegis43210 04/24 16:10I買蘋果

aegis43210 04/24 16:136000 ada現在已經非常好入手了

march55237 04/24 16:20買來配Ollama跑跑量化模型除了慢了點

march55237 04/24 16:20外沒啥問題 訓練就不用想了

march55237 04/24 16:21同樣70b量化 mac的建置成本就是比買

march55237 04/24 16:21卡便宜和省電 但就是推論慢 只適合實

march55237 04/24 16:21驗用

jkiu 04/24 16:27買 API 用就好，經濟實惠

raise2019 04/24 16:52買5090沒錢，換mac studio依樣也是沒錢

Shigeru777 04/24 16:53要跑參數稍微大的模型 單張5090還不夠

Shigeru777 04/24 16:53勒

lordmi 04/24 17:47不過我覺得m3u跑本地小模型其實也還行，

lordmi 04/24 17:47總比用洋垃圾搭湊出一台又吵又熱的機器好

lordmi 04/24 17:47。然後平常還可以跑跑生產力什麼的

jhjhs33504 04/24 17:52高效的UMA只解決了quantity問題但是

jhjhs33504 04/24 17:53quality問題也只贏過獨立顯卡目前看來

jhjhs33504 04/24 17:55TPU的潛力很大不然量子電腦量產還很久

guanting886 04/24 18:58在mac跑這個真的是跑興趣的 除非你

guanting886 04/24 18:58要搞cluster

ninggo 04/24 21:37乖乖花十萬買老黃的ai pc吧

cutejojocat 04/25 00:08有在跑的也不怎麼跑這板吧 不如上Red

cutejojocat 04/25 00:08dit找看看

cutejojocat 04/25 00:09會思考這個問題的 十萬可能是美金才

cutejojocat 04/25 00:09跑得動