PTT推薦

Re: [爆卦] 中央研究院詞庫小組大型語言模型

看板Gossiping標題Re: [爆卦] 中央研究院詞庫小組大型語言模型作者
derekhsu
(浪人47之華麗的天下無雙)
時間推噓 X 推:13 噓:19 →:46

※ 引述《dean1990 (狄恩院長)》之銘言:
: 本魯也很好奇問了一些問題,
: 首先是比較基礎的:
: https://i.imgur.com/zKhx1A2.jpg

: 接著是大家都知道的:
: https://i.imgur.com/Tl8GRO3.jpg
: 再來是比較敏感一點的:
: https://i.imgur.com/Xm7bZC3.jpg
: 最後倒是令本魯比較意外:
: https://i.imgur.com/d43AJ24.jpg
: 中研院作為我國最高研究機構,
: 研究結論應該還算有公信力吧。
: ※ 引述《PekoraSakura (PekoMiko)》之銘言:
: : https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat
: : 不知道這研究案領多少錢?
: : http://i.imgur.com/tt7aKBR.jpg
: : http://i.imgur.com/SpiGuTr.jpg
: : http://i.imgur.com/kXrHsS1.jpg
: : 拿別人的成功來tune一下就可以掛名中研院......
: : 有沒有掛?
對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去
跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。

第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型,
它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資
料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。

第二個錯誤的認知是把所有的LLM都當成是同一個等級,好像只要A不如B那A就不行,是
垃圾。以這個案例來說,它是Llama-2-7b跟Atom-7b模型,前面的Llama-2模型是代表它
是META出的Llama模型第二代(可商用),而7b則是說它的參數是70億個,不要以為70億
個參數很多,70億參數以LLM來說只能說是非常小的,所以答出一切亂七八糟的答案非
常正常,在7b之上,還有13b跟70b的模型參數量。

7b的模型實務上如果沒有經過finetune然後針對小範圍的特定任務,基本上就是玩具而
已。

第三,就是對於台灣的能力有誤會,做AI大概分為三個要素,模型/資料/算力。在大語言模型方面,台灣三個都弱,模型用開源的即便是台智雲,也是用開源模型。資料方面,
繁體中文本來就在中文領域本來就是弱項(中文已經很弱了,繁體中文更弱),算力方面,台灣有算力從頭到尾訓練LLM的不是說沒有,但跟OpenAI, META都還是非常非常遙遠的距離,所以能做作finetune就不錯了。


這是原生llama-2的試玩網址(記得把模型調到7b來比較)
https://www.llama2.ai/


好,回歸重點,中研院在網站上就已經說過了
####
以商用開源模型Llama-2-7b以及Atom-7b為基礎,再補強繁體中文的處理能力
####
好,剛剛我說了Llam2-2-7b,那Atom-7b我剛剛沒有提到,這是什麼東西?

Atom-7b就是https://github.com/FlagAlpha/Llama2-Chinese

這個就是中國訓練出來的大語言模型,Atom-7b

中研院從頭到尾都沒有隱藏這件事,它就是基於中國訓練的Atom-7b然後再用繁體中文去finetune出來的模型啊。

從頭到尾中研院就沒有隱藏這件事,完全不知道前面好像發現什麼新大陸一樣。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 175.182.19.98 (臺灣)
PTT 網址

Aotearoa 10/09 12:40只是要酸民進黨而已啦

spzper 10/09 12:41笑死,如果KMT搞這種早嘴爆

※ 編輯: derekhsu (175.182.19.98 臺灣), 10/09/2023 12:42:38

gaymay5566 10/09 12:43所以這種垃圾東西可以給台灣人用嗎?

keydata 10/09 12:43喔,那請把中國寫上去,不要只寫模型的英

keydata 10/09 12:43文名啊

alcpeon911 10/09 12:44這時候就沒有抗中保台的問題了☺

wmud 10/09 12:45基本上你的第一點就是讓很多酸民發現新大陸

wmud 10/09 12:45的點,八卦一堆中老年酸民當初沒玩過chatg

snocia 10/09 12:45標題把中國兩個中文字寫出來就給過

wmud 10/09 12:45pt還真的以為AI模型的回答有指向性或是必定

wmud 10/09 12:45正確不會唬爛

keydata 10/09 12:45只寫模型的名稱不敢寫中國兩個字,然後整

keydata 10/09 12:45天抗中飽台

keydata 10/09 12:46被抓包再來說,那個模型名稱去查就是中國

keydata 10/09 12:46訓練的,我們沒隱瞞啊

su4vu6 10/09 12:46沒辦法 他們又不在乎真相 只是想帶風向

snocia 10/09 12:47然後最好再加上本模型回答以中華人民共和

snocia 10/09 12:47國資料為主要參考對象,不然回答一律當成

snocia 10/09 12:47民主進步黨的定調

lianpig5566 10/09 12:48你在八卦板認真啥 它們只是找理由酸

yesonline 10/09 12:48感謝政府感謝黨, 釋出繁中化的模型...

lianpig5566 10/09 12:48執政黨而已

iopzu3lv0 10/09 12:48領一堆錢然後拿他國模組交差了事 好棒

iopzu3lv0 10/09 12:49一堆米蟲難怪停滯20年

Beltran 10/09 12:50塔綠假日點名

SpectreMan 10/09 12:50沒有問題幹嘛下架?我剛玩得正爽

Yahweh 10/09 12:50要這樣找兩個研究生就能搞找你中研院幹麻

xdbx 10/09 12:51那它答案怎麼變那麼快 是想洗掉什麼

wamng 10/09 12:57按照民進黨的標準,中研院應該被扣帽子了,

wamng 10/09 12:57關鍵不是鄉民怎麼看,是民進黨雙標

KCSonfire 10/09 12:57我只想提出一個問題?所以處處防中國

KCSonfire 10/09 12:57防假的?這裡忽然又可以了?

wamng 10/09 12:59連用APP都要扣帽子,這種AI底層架構可以?

wamng 10/09 12:59民進黨要不要臉

derekhsu 10/09 12:59做不出來啊 怎麼辦呢? 沒算力沒資料沒

derekhsu 10/09 12:59模型

widec 10/09 13:01同意KCSonfire

cloudyoyo 10/09 13:01那怎不大方說我們中研院用中國模型?

widec 10/09 13:02做不出來就抄中國的 這很雙標

widec 10/09 13:02如果我們一直有跟中國合作也就算了

widec 10/09 13:03主事者要是柯文哲看會被打成什麼樣子

yesonline 10/09 13:04ITHOME報導 https://bit.ly/46kEVq8

hsuchiyi 10/09 13:06如果這個模型是柯團隊做的 我很好奇評論

hsuchiyi 10/09 13:06會是什麼

yesonline 10/09 13:06https://i.imgur.com/bQtJt0L.png

yesonline 10/09 13:06你各位加速了嗎?

g70245 10/09 13:07

spzper 10/09 13:08花一堆錢和你說做不出來,難道是別人的錯

g70245 10/09 13:08覺得提供資料讓人自己思考就好,你不知道

g70245 10/09 13:09對象誰

newyorker54 10/09 13:09國民黨不可以民進黨就可以,國民黨幹

newyorker54 10/09 13:09的民進黨也幹了

lulumic 10/09 13:09黑龍轉桌講一大堆 還是抄對岸的成果啊

newyorker54 10/09 13:10如果是柯文哲就直接被幹到死

tw11509 10/09 13:11如果是別人早就被扣賣台的帽子了啦,你

tw11509 10/09 13:11看側翼會怎麼動,笑死

iopzu3lv0 10/09 13:12大量側翼洗地中

abadjoke 10/09 13:13原來是簡繁互換啊 真是了不起的技術

abadjoke 10/09 13:13難怪需要動到中研院

IOSin5566 10/09 13:28中國的模型裡面餵了什麼都不知道 還敢

IOSin5566 10/09 13:28給台灣人用

duo05182 10/09 13:33感謝你的告知 原來現在政府已經不演了

duo05182 10/09 13:34光明正大告訴你就是抄對岸的東西

shikemurajy 10/09 13:34笑死

tom282f3 10/09 13:41這個洗地太噁心了 我不行

xm3u4vmp6 10/09 13:45養老機構你要他怎樣?真的超屌都去美

xm3u4vmp6 10/09 13:45國了

speedythief 10/09 13:54綠色=>我們是不得已的!其他顏色=>

speedythief 10/09 13:54噁心賣國賊!

yeangigi 10/09 14:24=== 哥布林:你說什麼我看不懂啦 ===

historyway 10/09 14:42這是中研院,標準不要降這麼低

historyway 10/09 14:42這種辯護方式,讓我覺得可恥和可憐

LPCbaimlly 10/09 14:54所以就外包再外包嘛,繁體化這件事什

LPCbaimlly 10/09 14:54麼時候需要動用到國家級研究機構了

s900527 10/09 15:17低能綠共整天賣國

bbs0840738 10/09 16:12翻譯:台灣就是沒東西可用只好用中國

lunatich 10/09 17:30沒隱藏就沒事喔?所以中研院是資敵賣台

lunatich 10/09 17:30嗎?