PTT推薦

[問題] 要多少GPU ram才能自己養一個neuro

attacksoil 發表於 2024/10/9 下午8:07:19
看板C_Chat標題[問題] 要多少GPU ram才能自己養一個neuro作者
attacksoil
 (第三方程式)時間推噓 2 推:3 噓:1 →:2

語音轉文字應該whisper就無敵了

文字轉文字有llama3.2

文字轉語音選擇很多

延遲是個問題 還有中間的檢索資料庫要怎麼架
但假設對延遲有一定容忍 就看她一個人在那裡嘴

需要多少RAM才能自己養一個neuro???

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.137.64 (臺灣)
※ PTT 網址
推

toulio8110/09 20:08vedal好像是用租的

有在靠ai賺錢的租可以 自己玩玩感覺還是自己組划算

噓

justpopcorn10/09 20:21問就是4090

24GB 不確定夠不夠

※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 20:27:04
→

lay1052110/09 20:40租個A100

推

vios1000910/09 20:59租GPT API

推

miname10/09 21:50llama其實是dram benchmark, 記憶體需求就是版本號，7B=7G

→

miname10/09 21:50B以此類推

7b 實際跑通常要10到16gb不等

※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 22:49:38
其他人也閱讀了
PTT 熱門相關