PTT推薦

[討論] LLM即將像Stable Diffusion普及

oopFoo 發表於 2023/3/15 下午12:56:02
看板Soft_Job標題[討論] LLM即將像Stable Diffusion普及作者
oopFoo
 (3d)時間推噓11 推:11 噓:0 →:31

https://simonwillison.net/2023/Mar/11/llama/
https://simonwillison.net/2023/Mar/13/alpaca/

Simon Willison提到，很快大家都會有自己的ai助手。

看時間軸：

24th February 2023: LLaMA is announced, starts being shared with academic partners:
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

2nd March: Someone posts a PR with a BitTorrent link to the models:
https://github.com/facebookresearch/llama/pull/73

10th March: First commit to llama.cpp by Georgi Gerganov:
https://github.com/ggerganov/llama.cpp

11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi:
https://twitter.com/miolini/status/1634982361757790209

12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/

13th March (today): llama.cpp on a Pixel 6 phone:
https://twitter.com/thiteanish/status/1635188333705043969

And now, Alpaca.
https://crfm.stanford.edu/2023/03/13/alpaca.html

------------------------------------------
詳細想法與內容就請看simon willison的部落格。

我是蠻認同這想法的，LLM(Large Language Model)很快就會普及。
https://cocktailpeanut.github.io/dalai/#/
自動安裝的script都出了。LLaMA的Inference在現代多核CPU跑是可行的，現在優化速度也很快。

離ChatGPT，GPT4還有一段距離，但很夠用了，而且整個網路一起發展，可能很快就追上也不一定。我雖然最近超忙，但都想找時間看能不能移植到OpenCL。

我覺得LLM最大的好處是summerize(總結)
例如之前討論手刻Make的問題。

Make是偶而一用，真的容易忘記指令跟功能，也就不容易發現問題。

LLM在這就很適合幫忙，把make檔給它，解釋總結，很快就能發現問題，就不須要找很難找到的Make專家。

雖然LLM容易"hallucinate"但用LLM寫個簡單的Make檔案當個開頭也很好。

Code看不懂，用太多不明functions？LLM來幫忙。

ffmpeg參數太多太複雜？LLM寫給你。

這是當年google橫空出世讓網路好用起來。再一次大感動。大家真的可以好好追蹤這個發展。可以自己控制的LLM，可以發展的功能太多了。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.232.158 (臺灣)
※ PTT 網址
推

create803/15 17:38推

→

superpandal03/15 18:09看過 沒試過 不過可以看別人的感想

→

superpandal03/15 18:12ffmpeg參數... 你還是要仔細看文檔

推

ptta03/15 18:46這真的很神，從此regexp都給它寫

推

hizuki03/15 18:49看看它能不能正確處理GNU make和舊Android Make的差異

→

hizuki03/15 18:50make出問題，很多時候其實和shell環境有關，比如突然csh

→

superpandal03/15 18:50寫regex會是不錯應用 但指令說實話一堆文檔沒有的

→

superpandal03/15 18:50文檔沒有的 你也不知道可以這樣用

→

superpandal03/15 18:51makefile要分析整個專案了

→

superpandal03/15 19:04makefile可定義選項

→

Hsins03/15 19:40而且有人用 4GB RAM 的樹莓派就跑起來了
→

superpandal03/15 19:55觀望中 聽說效能不好

→

oopFoo03/15 20:22pc的效能不錯。RPI是10秒一個token，pc是秒內幾個token

→

oopFoo03/15 20:23declarative的程式，LLM比較會處理。只要補餵正確的資料，

→

oopFoo03/15 20:30android/gnu make都可以分析。最近看好多應用都蠻有趣的

→

oopFoo03/15 20:33當然沒有的功能，問LLM，它會幻想給你，但這是小問題

→

superpandal03/15 20:39測了一下web demo時間很久又答非所問

→

superpandal03/15 20:40還會error...

推

v8686106203/15 22:33推推

推

CoNsTaR03/16 04:17有沒有哪個 ai 是會分清楚什麼時候該幻想什麼時候不該幻

→

CoNsTaR03/16 04:17想的

推

CoNsTaR03/16 04:21以前問過 clang format 的 rule，ChatGPT 幻想了一個給

→

CoNsTaR03/16 04:21我，我還問他這個 rule 是那個版本加入的，要怎麼用 etc

→

CoNsTaR03/16 04:21結果所有東西都是他幻想出來的，浪費了我十分鐘

推

AzureRW03/16 07:36做比較重要的東西時要叫他給出處 多方比較後才採用

→

AzureRW03/16 07:36 我想這也是為

→

AzureRW03/16 07:36毛該禁止ai寫stack overflow跟wiki或技術文章 未來

→

AzureRW03/16 07:36整個池子被污

→

AzureRW03/16 07:36染之後可能會根本不知道哪裡是ai自己亂唬爛的

推

wsad5023203/16 08:28原Po是Google派來的嗎？

推

ouskit03/16 14:02可以跑跟跑的好是兩回事

→

oopFoo03/16 15:35Meta說LLaMA-13B可比GPT3的175B。

→

oopFoo03/16 15:38目前都是最簡單的CPU優化。剛開始Pixel6需要26秒/token

→

oopFoo03/16 15:39前幾天已經5token/秒。各家版本飛速進步中。

→

oopFoo03/16 15:40LLMs的"幻想"是內建，目前沒辦法，只能後續查證。

推

lastpost03/17 17:56這些直接問chatGPT就好了，為何要自己弄？

→

Hsins03/17 18:13差別在一個是在大公司商用伺服器上，一個則是可以自己用消

→

Hsins03/17 18:13費型主機搭建。當初 Hadoop 的興盛也是因為可以使用消費型

→

Hsins03/17 18:13主機作為運算叢集，真的能發展起來的話是很有價值的

推

jay123peter03/17 22:36推

→

oopFoo03/18 10:16chatGPT是通用的chat，但自己的，如Alpaca你可以訓練特化
→

oopFoo03/18 10:17的instruction tuning。更適合自己的用途。
其他人也閱讀了
PTT 熱門相關