Re: [問卦] 中研院自己做的大型語言模型怎麼了？

爆 

不知道這研究案領多少錢?

34 

中央研究院詞庫小組（CKIP） 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎

27 

微博知名博主發文嘲笑說 近日台灣中研院推出的繁體中文大型語言模式 竟然來自中國上 海智能實驗室？是真的嘛？有無掛？

 X 

對於LLM只有這一點認知程度的話，最好不要就這樣出來帶風向會比較好，不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM，不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案，事實上LLM是一個機率模型， 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個，它不是資 料庫，所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。

 6 

PTT是台灣最大的討論區之一，包含了許多不同主題的討論版，從政治、經濟、科技、娛樂 到生活、旅遊等等，因此PTT的資料可以提供豐富的語言資源，進行大型語言模型的訓練可 能會有以下的影響： 增加模型的多樣性：PTT 的資料來源眾多，而每個版的用語、詞彙、語言風格都不同，因此 使用PTT的資料訓練大型語言模型可以增加模型的多樣性，使其更能夠應對不同領域的自然

 7 

本魯也很好奇問了一些問題， 首先是比較基礎的： 接著是大家都知道的：

 6 

這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫 其中中文占的比例很少 中文當中繁體中文的資料更少 因此訓練起來 中文其實都不像樣 同時間訓練台灣的內容資料又更少之又少