[討論] LLM即將像Stable Diffusion普及
https://simonwillison.net/2023/Mar/11/llama/
https://simonwillison.net/2023/Mar/13/alpaca/
Simon Willison提到，很快大家都會有自己的ai助手。
看時間軸：
24th February 2023: LLaMA is announced, starts being shared with academic partners:
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
2nd March: Someone posts a PR with a BitTorrent link to the models:
https://github.com/facebookresearch/llama/pull/73
10th March: First commit to llama.cpp by Georgi Gerganov:
https://github.com/ggerganov/llama.cpp
11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi:
https://twitter.com/miolini/status/1634982361757790209
12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/
13th March (today): llama.cpp on a Pixel 6 phone:
https://twitter.com/thiteanish/status/1635188333705043969
And now, Alpaca.
https://crfm.stanford.edu/2023/03/13/alpaca.html
------------------------------------------
詳細想法與內容就請看simon willison的部落格。
我是蠻認同這想法的，LLM(Large Language Model)很快就會普及。
https://cocktailpeanut.github.io/dalai/#/
自動安裝的script都出了。LLaMA的Inference在現代多核CPU跑是可行的，現在優化速度也很快。
離ChatGPT，GPT4還有一段距離，但很夠用了，而且整個網路一起發展，可能很快就追上也不一定。我雖然最近超忙，但都想找時間看能不能移植到OpenCL。
我覺得LLM最大的好處是summerize(總結)
例如之前討論手刻Make的問題。
Make是偶而一用，真的容易忘記指令跟功能，也就不容易發現問題。
LLM在這就很適合幫忙，把make檔給它，解釋總結，很快就能發現問題，就不須要找很難找到的Make專家。
雖然LLM容易"hallucinate"但用LLM寫個簡單的Make檔案當個開頭也很好。
Code看不懂，用太多不明functions？LLM來幫忙。
ffmpeg參數太多太複雜？LLM寫給你。
這是當年google橫空出世讓網路好用起來。再一次大感動。大家真的可以好好追蹤這個發展。可以自己控制的LLM，可以發展的功能太多了。
--
推
看過 沒試過 不過可以看別人的感想
ffmpeg參數... 你還是要仔細看文檔
這真的很神，從此regexp都給它寫
看看它能不能正確處理GNU make和舊Android Make的差異
make出問題，很多時候其實和shell環境有關，比如突然csh
寫regex會是不錯應用 但指令說實話一堆文檔沒有的
文檔沒有的 你也不知道可以這樣用
makefile要分析整個專案了
makefile可定義選項
而且有人用 4GB RAM 的樹莓派就跑起來了
觀望中 聽說效能不好
pc的效能不錯。RPI是10秒一個token，pc是秒內幾個token
declarative的程式，LLM比較會處理。只要補餵正確的資料，
android/gnu make都可以分析。最近看好多應用都蠻有趣的
當然沒有的功能，問LLM，它會幻想給你，但這是小問題
測了一下web demo時間很久又答非所問
還會error...
推推
有沒有哪個 ai 是會分清楚什麼時候該幻想什麼時候不該幻
想的
以前問過 clang format 的 rule，ChatGPT 幻想了一個給
我，我還問他這個 rule 是那個版本加入的，要怎麼用 etc
結果所有東西都是他幻想出來的，浪費了我十分鐘
做比較重要的東西時要叫他給出處 多方比較後才採用
我想這也是為
毛該禁止ai寫stack overflow跟wiki或技術文章 未來
整個池子被污
染之後可能會根本不知道哪裡是ai自己亂唬爛的
原Po是Google派來的嗎？
可以跑跟跑的好是兩回事
Meta說LLaMA-13B可比GPT3的175B。
目前都是最簡單的CPU優化。剛開始Pixel6需要26秒/token
前幾天已經5token/秒。各家版本飛速進步中。
LLMs的"幻想"是內建，目前沒辦法，只能後續查證。
這些直接問chatGPT就好了，為何要自己弄？
差別在一個是在大公司商用伺服器上，一個則是可以自己用消
費型主機搭建。當初 Hadoop 的興盛也是因為可以使用消費型
主機作為運算叢集，真的能發展起來的話是很有價值的
推
chatGPT是通用的chat，但自己的，如Alpaca你可以訓練特化
的instruction tuning。更適合自己的用途。
32
[心得] Wustl LLM轉JD心得（文長慎入，手機排版若有不便閱讀之處還請告知） 一 . 前言 其實非常猶豫是不是應該要發這篇心得文，因為這一路走來並不是非常光鮮亮麗，跟板上 諸多神人相比我實在是非常普通的背景。但是最近發現越來越多人想要出國念JD，而且越 來越多人在想LLM to JD這條路是否可行，因此這篇文是用以給正在迷茫抉擇是否要選擇![[心得] Wustl LLM轉JD心得](https://i.imgur.com/aByEPPkb.jpg "[心得] Wustl LLM轉JD心得")
20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦！ 剛好看到這篇文章就回覆一下，這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力，我其實不贊同LeCun說的LLM是歪路，畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證)， 但科學上不去驗證你沒辦法證明某些事情的。12
[問題] llm選校問題 USC v.s. BU代po ————————————————————— 板上各位好： 我近期收到兩個offer：有USC+3500USD獎學金、Boston University+ 5000USD獎學金，其 他學校還沒出來或已被拒絕QQ，就先不討論。7
[討論] 野雞但有美國牌 vs. top20但沒有美國牌?想請問一下 如果 就業市場 在台灣 這兩個比較 1. 野雞llm 或是線上野雞llm 但有考到美國牌 2.top20 llm 但沒有考到美國牌8
[心得] LLM轉JD (UMN)看到Joanne大的心得文，決定也來分享自己的心得。剛剛PO了一篇但排版怪怪的, 抱歉重PO 【自我介紹】 非公民沒綠卡，台北大法律學士＋碩士畢業。其實本來就一直想出國念書，誤打誤撞在台灣自己執業幾年多後決定還是要出來。 【選校】 當初原本就是想要念SJD或是JD，但是完全不想準備LSAT，所以選校時只考慮允許LLM轉JD同時有開放SJD學位的學校，比較有名的就是WUSTL跟UMN等等，其實我也沒有研究太多，我只知道T14的學校似乎似乎比較沒有轉JD的途徑。如果可以重選一次，我會選擇考LSAT，理由就像Joanne大說的一樣，LLM跟JD的時間線完全不一樣。8
[問題] 一兩年後想去 NY Bar 紐約州律師請問 如果一兩年後 想去美國讀llm 以便取得考ny bar的資格 想要現在就開始準備 當然托福是必須的 for llm 這點只能靠自己 沒話說 我是指ny bar的考試 有沒有什麼 教材 補習班 或函授 書本 等等![[問題] 一兩年後想去 NY Bar 紐約州律師](https://i.ebayimg.com/images/g/Z0MAAOSwy9hdVEW-/s-l400.jpg "[問題] 一兩年後想去 NY Bar 紐約州律師")
4
Re: [新聞] 美國紐約州律師考試公布榜單 小室圭「殘我覺得這沒啥好酸的 他才去第一年就要用英文考試 而且是考律師= = 中間還要面對媒體對婚事的一堆提問 你覺得86%好考4
[心得] 荷蘭Leiden University LLM就讀經驗分享大家晚安， 我2019年在版上po過美國LLM的申請記錄，但因緣際會下現在跑來了荷蘭Leiden University念Law & Digital Technologies (Advanced LLM)。 有鑑於網路上關於在荷蘭念LLM的心得相對比較少，最近到了申請季末也有被問到課程和 選校之類的問題，所以想在這裡分享從去年入學以來的記錄，希望可以帶給有需要的人一![[心得] 荷蘭Leiden University LLM就讀經驗分享](https://miro.medium.com/max/2400/1*NuEiCLeJZEu5fIYvR02ARA.jpeg "[心得] 荷蘭Leiden University LLM就讀經驗分享")
1
[情報] 南加大 USC 法學院 (實體) 說明會 12/17【南加大法學院 - 台北場 (實體) 說明會】, 12/17 (週六下午) 兩點 以中英文進行, 開始報名囉! 睽違兩年後, 南加大法學院 (USC Gould School of Law) 將再度派員到台北舉辦實體的 “南加大法學院 LLM 說明會”. 考慮赴美攻讀法律相關碩士課程的朋友們, 邀您到場與 學院代表及法學院台灣校友們認識, 並取得第一手的重要訊息.![[情報] 南加大 USC 法學院 (實體) 說明會 12/17](https://imgssl.constantcontact.com/ui/images1/evm/evp_calendar.svg "[情報] 南加大 USC 法學院 (實體) 說明會 12/17")
[經驗] 美國專利代理人patent agent求職分享要PO這篇文章之前我內心各種糾結，因為我的學經歷非常弱，就是個運氣好的人， 但因為一直都有來念LLM的學弟妹會來問我問題（可能我是唯一存活的）， 所以我決定來分享一下我的求職經驗，希望能幫助到一些有志願想來美國發展的人。 先說適用背景：沒有LLB(也就是沒有臺灣律師執照)，沒有美國身份，沒有PhD, 跟我一樣是科技背景(BS)偷吃步來念IP LLM的雜牌軍（認真）
![Re: [心得] 聊聊職涯 履歷健檢](https://scontent-tpe1-1.cdninstagram.com/v/t51.2885-19/456466895_423930120661605_8665010381573533702_n.jpg?stp=dst-jpg_s100x100&_nc_cat=107&ccb=1-7&_nc_sid=fcb8ef&_nc_ohc=-XC4TTGeh0QQ7kNvgGCEe47&_nc_ht=scontent-tpe1-1.cdninstagram.com&oh=00_AYDBj3mzcyvb4uY5Z7AKdWxD03rf4rK_O0baWDKA4TBR-Q&oe=66D7A000 "Re: [心得] 聊聊職涯 履歷健檢")