Re: [黑特] 誰決定推出的智障機器人？

※ 引述《Alaba (理由伯)》之銘言：
: https://i.imgur.com/o1eKCfW.jpeg

: 隨便問就倒，推出之前到底有沒有測過啊！到底是誰決定要推出什麼機器人，真的不是藍
: 後面那些更噁心的我就不貼了
: -----
: Sent from JPTT on my iPhone

這邊說一下目前業界在部署整套LLM服務的工程。

當前架構大抵上是透過Agent來代理LLM services然後會透過RAG(增強式向量資料庫）來檢索DataBase注入到Prompt裡面，剩下會有一些不同的玩法不過大致都差不多。可以看langchain101的這張圖：

https://i.imgur.com/ZkcnrFo.jpeg

這邊LLM就可以分開源以及閉源的，開源LLM目前效果依然沒有閉源的強，不過優勢在於他可以被微調成你自己喜歡的樣子，這一步一般業界會叫對齊，簡單說就是塑造語言模型的個性，這樣開源語言模型如果微調的資料多跟調得好的話就可以讓他在基準上變成效忠黨的機器人（不過還是有機率跳脫）。

閉源的模型就要取決於Google或OpenAI，一般這些跨國巨頭會期望語言模型有更公正跟通用的能力，所以他可能會有高機率拒絕回答存在敏感議題的討論，除非你透過一些方式催眠他（不過開源語言模型一樣有機率可以被人類催眠）。

然後這些系統都搭建好以後其實有很大的Prompt Engineer的工作去調整Prompt然後再大規模的驗證集上看RAG加上Prompt以後的表現，可能會花很多工作在調資料庫或Prompt上，然後循環的A/B Test才能確保部署沒有疑慮。

這次的災難也是長久DPP的通病：好大喜功、喜歡搞裙帶關係、不尊重專業、容不下異音、小孩開大車。（雖然KMT也差不多，半斤八兩）

最後我只希望這個不是納稅錢國庫通黨庫弄出來的東西啦！

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.174.132 (臺灣)