Re: [新聞] 台灣人工智慧實驗室推解決方案 爭取「可

阿肥碼農阿肥啦！

12月開始準備放長假了。有時間說一下Federated LLM的一些東西好了，Federated Learning for LLM大概22年就有零星的研究，不過比較有綜述寫得蠻好的主要是去年港科大的一篇FATE-LLM把整個脈絡跟方向做一個比較具體的說明然後他們提出他們的框架。

其實說白了就是分散式計算的架構，Edge端將梯度跟損失給中央計算完後再給邊緣端更新，差別在於為了讓Edge端跟Server傳輸量減量所以使用了parameters efficient fine tuning 的方法只更新adapter/prompt的參數而已。

然後今年大概2月比較有名的就是上海交大提出的OpenFedLLM大概就是把DPO這種離線Preference Learning 方法用到Federated LLM上。主要還是RLHF太難做到Federated Learning 上了，所以才取巧用DPO來結合聯邦學習。

不過真的說當前聯邦學習的缺陷就是真的使用到實務上依舊無法解決LLM的幻覺問題，而且當前大模型為了產品穩定性每一輪的疊代更新都需要進行紅隊測試跟穩定性測試，這個其實很難再Fed的架構上做到。Fed本質上就是為了隱私問題誕生的，但他必然會失去中心化的優勢。

差不多4醬

--

懶得科普這麼多，花個不到三分鐘隨手打的東西剩下有興趣懂的人自己去看Paper查資料就 好了啊：）新聞稿就說了是要做聯邦式GPT領域內懂得就懂了，Federated Learning 本來就 是GDPR法案下為了兼顧隱私和數據誕生出來的東西至於為啥說AILab說用這個可以讓LLM可信 任就是人家的說法了