PTT推薦

[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型

看板MobileComm標題[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型作者
ivon852
(內容農場殺手)
時間推噓17 推:17 噓:0 →:6

祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。
LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。

根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。

一些LLaMA可以達成的任務

這邊的截圖是來自Dalai LLaMA,它只是一個LLaMA的網頁前端。
目前LLaMA只支援英文,未來應該會有中文模型。

1. 幫我把這句話翻譯成中文:Taiwan is a country.
https://i.imgur.com/G4o7TYs.png


2. 解釋Skinner行為主義心理學理論的優缺點,並舉出五個例子
https://i.imgur.com/MtYgomt.png

3. 寫個Python程式,尋找一個字串中出現最多次的字元
https://i.imgur.com/3OKMDun.png

4. 幫我想五個新文章標題候選:使用Linux當主力系統的好處
https://i.imgur.com/jjx5prE.png

5. 段落抓重點:請抓出以下有關普遍文法 (Universal Grammar) 段落的重點,並用十句話解釋何為普遍文法。
https://i.imgur.com/6DccCwW.png


在Android手機跑LLaMA

除了LLaMA以外,還有Alpaca模型,這是史丹佛大學微調後的版本。同樣的資源耗用較小,且有人製作了純CPU運算的版本llama.cpp,不用依賴顯示卡。
因此除了在個人電腦跑,也可以跑在Android手機上。

最小的LLaMA 7B至少需要4GB RAM,保險起見手機最好有8GB RAM才不會跑到一半手機自動重開。

簡單的辦法就是裝Termux,解開signal9的錯誤

然後設定Proot Debian,把模型下載下來,alpaca.cpp編譯一下就可以開始聊天了。
https://i.imgur.com/M24wDqr.png


詳細安裝方法:https://reurl.cc/OVDRVg

手機RAM低於8GB的也不用灰心,你可以root後,設定chroot Ubuntu,掛載SWAP強行增大虛擬記憶體。


手機與電腦速度比較

問一個10個字的問句

純CPU運算下,LLaMA在Intel Core i5-7400的CPU約10秒就會開始作答,寫完回答約1分鐘。

高通s845處理器要等30秒才會開始回答,並且寫完整個回答2分鐘。

如果使用GPU加速,速度應該會快許多,要用GPU加速可嘗試Text Generation WebUI。

LLaMA的回答品質不可能像ChatGPT那麼神,胡言亂語機率更高

但好處是沒有任何道德限制~想聊什麼就聊什麼~

隨著這類模型的開源,大型語言模型可能會走向Stable Diffusion那樣的發展路徑。
(雖說LLaMA一開始是提前外洩才為人所知的)

--
想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png

Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由,不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣)
※ 文章網址: https://www.ptt.cc/MobileComm/E.Wr9QpgeE-oqE
mistel: 兩年前在實驗室就用開源框架把GPT2放到手機上試過了04/07 13:19
mistel: 只是沒必要 畢竟網路發達 中心運算就好04/07 13:19
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦
Ereinion9895: 推,技術力真強04/07 13:24
weltschmerz: 認真說 我覺得他們應該去跟line合作 去幫我打字的句04/07 13:42
weltschmerz: 子找出對應的貼圖04/07 13:42
ccpz: https://bit.ly/3zAGaCR 要用 NPU 加速比較有效率04/07 13:42
ccpz: 在 Pixel 6 可以跑出 5 token / sec04/07 13:42
隨著這類模型的開源,大型語言模型可能會走向Stable Diffusion那樣的發展路徑。
(雖說LLaMA一開始是提前外洩才為人所知的)

--
想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png

Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由,不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣)
PTT 網址

mistel04/07 13:19兩年前在實驗室就用開源框架把GPT2放到手機上試過了

mistel04/07 13:19只是沒必要 畢竟網路發達 中心運算就好

我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦

Ereinion989504/07 13:24推,技術力真強

weltschmerz04/07 13:42認真說 我覺得他們應該去跟line合作 去幫我打字的句

weltschmerz04/07 13:42子找出對應的貼圖

ccpz04/07 13:42https://bit.ly/3zAGaCR 要用 NPU 加速比較有效率

ccpz04/07 13:42在 Pixel 6 可以跑出 5 token / sec

Google的先見之明(咦

abc092200104/07 14:14太酷了

intointo04/07 15:16@@

NX999904/07 15:57不錯xd

speed702204/07 16:08能不用網路也是有很多用處,例如語音助理

Arbin04/07 18:32用Android NDK打包llama.cpp不知道會不會比較快

有,llama.cpp作者就有示範用NDK編譯,應會比proot快

pryu012104/07 18:41

saedn04/07 19:23好厲害

Cireiat04/07 20:05推,我連docker都還沒改kernel…太有行動力了

※ 編輯: ivon852 (114.27.87.182 臺灣), 04/07/2023 21:15:31

DFIGHT04/07 21:59問一個白癡問題 chatgpt不是手機上就可以跑了嗎? 就一個

DFIGHT04/07 21:59網頁不是?

DFIGHT04/07 22:16我覺得AI還是交給網路別人算就好 幾秒鐘才回答==手機有網

DFIGHT04/07 22:16路chatgpt一兩秒就回答了

確實算力不如人的情況下雲端較有優勢,不過開源自架的價值就在於可以自己掌控。

cowcowleft04/07 22:40不是每個國家都吃到飽

DFIGHT04/07 22:43歐@@

juliai04/07 23:20這個有點厲害

※ 編輯: ivon852 (114.27.87.182 臺灣), 04/08/2023 00:23:09

stark33304/08 03:41你好厲害

JKGOOD: 如果chatGPT可以離線不知道模型庫會多大?我猜跟Stable Di

04/08 08:25 目前有quantized處理過的LLaMA模型,最小的4GB,最大的40GB。

※ 編輯: ivon852 (111.71.221.44 臺灣), 04/09/2023 00:43:16