Re: [黑特] 誰決定推出的智障機器人?
※ 引述《Alaba (理由伯)》之銘言:
: https://i.imgur.com/o1eKCfW.jpeg
: 後面那些更噁心的我就不貼了
: -----
: Sent from JPTT on my iPhone
這邊說一下目前業界在部署整套LLM服務的工程。
當前架構大抵上是透過Agent來代理LLM services然後會透過RAG(增強式向量資料庫)來檢索DataBase注入到Prompt裡面,剩下會有一些不同的玩法不過大致都差不多。可以看langchain101的這張圖:
https://i.imgur.com/ZkcnrFo.jpeg
這邊LLM就可以分開源以及閉源的,開源LLM目前效果依然沒有閉源的強,不過優勢在於他可以被微調成你自己喜歡的樣子,這一步一般業界會叫對齊,簡單說就是塑造語言模型的個性,這樣開源語言模型如果微調的資料多跟調得好的話就可以讓他在基準上變成效忠黨的機器人(不過還是有機率跳脫)。
閉源的模型就要取決於Google或OpenAI,一般這些跨國巨頭會期望語言模型有更公正跟通用的能力,所以他可能會有高機率拒絕回答存在敏感議題的討論,除非你透過一些方式催眠他(不過開源語言模型一樣有機率可以被人類催眠)。
然後這些系統都搭建好以後其實有很大的Prompt Engineer的工作去調整Prompt然後再大規模的驗證集上看RAG加上Prompt以後的表現,可能會花很多工作在調資料庫或Prompt上,然後循環的A/B Test才能確保部署沒有疑慮。
這次的災難也是長久DPP的通病:好大喜功、喜歡搞裙帶關係、不尊重專業、容不下異音、小孩開大車。(雖然KMT也差不多,半斤八兩)
最後我只希望這個不是納稅錢國庫通黨庫弄出來的東西啦!
--
※ PTT 留言評論
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組(CKIP) 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。9
[情報] NVIDIA Chat With RTX什麼是 Chat With RTX? Chat With RTX 是一款展示應用程式,可讓您客製GPT 大語言模型 (LLM)並連接到您自己 的內容(包含文件、筆記、影片或其他數據)。 利用檢索增強生成技術 (RAG), TensorRT-LLM 和 RTX 加速,您可以查詢自訂聊天機器人以快速獲得上下文相關的答案。5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?5
Re: [新聞] Google與Hugging Face合作宣布推動開放結果Google竟然釋出了開源大模型Gemma,超出預期! Google 2 款新開源模型「Gemma」來了!直接挑戰 Meta Llama 2 7B 2024/02/22 Sisley 聊天機器人 、 生成式 AI 、 摘要 、 輕量級語言模型 、 負責 任生成式 AI5
Re: [心得] WWDC24節錄-系統級個人助理面世自己回自己的文,給想進入AI生活的人一點知識科普,順便闢謠一下網路上漫天飛的錯誤 資訊。 === 個人裝置跑『大模型、小模型』,大小如何定義? 以下節錄台大洪教授的臉書文字內容:3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事X
Re: [心得] WWDC24節錄-系統級個人助理面世: : Q:阿婆完全照搬OpenAI的GPT模型嗎? : A:沒有,這次提供的是本地自家模型以串接的方式連動GPT模型,也提供用戶關閉此功 能 : 的選項
爆
Re: [轉錄] 姚惠珍FB - 柯文哲拯救威京集團爆
[討論] 現金占捐贈比例 柯86% 侯23% 賴0%75
[討論] 吳子嘉:PG收到傳票轉被告了57
[討論] 黃國昌要知道苗博雅代表哪個黨才敢辯論?爆
[討論] 蔡姐手諭出來啦58
[討論] 被中國人殺害的男童確定死亡了52
[黑特] 政論節目來賓的論述都是製作單位set好的?48
Re: [黑特] 政論節目來賓的論述都是製作單位set好的?47
[討論] 「台灣自古以來就是中國領土」???45
[討論] 蔡璧如找道士、牧師辦法會幫柯文哲祈福49
[討論] 小草:「其實TVBS民調我們也不太相信」48
[轉錄] 洪健益:就讓真相來面對您43
[轉錄] 凌濤FB DPP拿無關痛癢的手諭要唬弄社會42
Re: [討論] 現金占捐贈比例 柯86% 侯23% 賴0%44
[討論] 小草要讀哪間才能嫌賴清德學歷很低44
Re: [新聞] 快新聞/蔣友青現身士林地檢署外頭!39
[討論] 實務上怎麼捐99,999元?爆
[討論] 阿北忙著搞京華城,難怪無心防疫?95
Re: [討論] 高雄是有翻的可能沒錯啦31
[討論] TVBS的9%實際幾%?30
[討論] 韓國VS台灣 到底哪邊貧富差距大?25
[討論] 小草現在該信哪份民調?23
[討論] 33記者會霸氣圖卡資料齊全黨主席穩了24
[黑特] 你後悔捐款給柯文哲跟黃國昌嗎20
[討論] 立法院反對到底,台灣會怎樣?22
[討論] 京華城到底是用哪一條法令?22
[討論] 跟小草吵架如何吵贏??24
Re: [討論] 蔡姐手諭出來啦21
[討論] 林珍羽好派喔 她是不是變肥了?21
[討論] 這就是我一條最忠心的狗,最忠心