PTT推薦

Re: [問卦] 中研院自己做的大型語言模型怎麼了?

看板Gossiping標題Re: [問卦] 中研院自己做的大型語言模型怎麼了?作者
afking
(掛網中)
時間推噓 X 推:4 噓:5 →:59

※ 引述《messi5566 (虹粉)》之銘言:
: 中研院最近發布了他們自己開發的LLM
: 說是在處理繁體中文的任務上表現優異
: 可是小妹看了一下跑出來的成果
: https://i.imgur.com/I1zNnIa.png

: https://i.imgur.com/BJIxJY6.png
: 請問繁體中文的任務內容是把簡體翻譯過來嗎
: 詳細資料在這裡
: https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat

這語言模型基礎是建構於Llama 2,meta提供的開源模型
另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型,也是開源且開放商用

技術上也不用解釋太多,反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某些爭議性回答

如果你想獲得一個相反的答案,只要多試幾次調一下參數就行,像這樣
https://i.imgur.com/GQlNhZj.jpg

然後一群人就高潮了
某種程度上AI真的恐怖,尤其是在知識落後地域

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.61.199 (臺灣)
PTT 網址

fantasyth 10/09 11:07所以原來是meta開發的喔

la8day 10/09 11:14但你真的覺得這樣算有做得好,達成中研院

la8day 10/09 11:14本來的目的嗎…

Xaymaca 10/09 11:16日本已經發聲需要訓練ai正確的價值觀

afking 10/09 11:17看你的目的是啥,本來也就沒足夠資料從頭

afking 10/09 11:17建造一個可能是垃圾的模型,而審查這塊不

afking 10/09 11:17就台灣人最討厭的

froce 10/09 11:18耶,架構來自meta,模型來自中國開源…

froce 10/09 11:18那至少要先微調到讓人看不出手腳吧?要不

froce 10/09 11:18然誰知道中研院做了什麼?

yesonline 10/09 11:21北京海天瑞聲科技

afking 10/09 11:22你要做手腳到回答正確國家價值的程度,那

afking 10/09 11:22叫做國家機器,不叫做機器學習了

froce 10/09 11:36啊你模型也不是自己的,架構也不是自己的

froce 10/09 11:36,學習什麼?

froce 10/09 11:38這就跟上次疫苗網站裡有簡中註釋一樣,要

froce 10/09 11:38抄可以,把破綻弄掉誰也不知道

afking 10/09 11:44你搞錯了,從頭到尾都是模型,簡單而言就

afking 10/09 11:44是把開源模型調教成適合繁中使用者的模型

froce 10/09 11:47啊現在不就是你模型沒調成適合繁中的狀況

froce 10/09 11:47,開放介面給人玩,才被吐槽嗎?

afking 10/09 11:47因為就算你把全ptt的文本從頭開始練都達不

afking 10/09 11:47到LLM需要的數量,也非常燒錢

afking 10/09 11:49如果你覺得要回答有特定價值觀的模型才有

afking 10/09 11:50意義,那你應該適合文心一言而不是這種

la8day 10/09 11:52事實上,台灣人可能比較期待後者

la8day 10/09 11:54這不只是意識形態的問題,目前實用方面會

la8day 10/09 11:54被認為是不可用

Gwdz 10/09 12:05就不要講是自己研發的就好了,finetune說自

Gwdz 10/09 12:05己做的被罵合理吧

franktpmvu 10/09 12:08就資料沒洗乾淨而已

afking 10/09 12:18我點進去上面都有說明啊...還中文

froce 10/09 12:27又來了,說不過就開始嘴人中共同路人,這

froce 10/09 12:27種人才適合文言一心吧?科科

Gwdz 10/09 12:35你的中文字典沒有開發兩個字嗎,第一句話就

Gwdz 10/09 12:35說自己開發的,你要幹別人的架構然後finetun

Gwdz 10/09 12:35e,不如說是應用吧,開發了啥網頁開發嗎

afking 10/09 14:29文心一言是目前中文文本裡最好的大型語言

afking 10/09 14:29模型啊,又抹中共同路人了

afking 10/09 14:31開源軟體為基礎架構開發的東西可多了...

afking 10/09 14:35發哥那個從bloom

afking 10/09 14:35為基礎的也是說開發,你怎麼會糾結這個

afking 10/09 14:37只是他沒被拿來八卦靠北而已

yesonline 10/09 14:53CKIP Bloom (bloom 3b)

Gwdz 10/09 15:33發哥那個就是純研究目的的啊,又不做商業用

Gwdz 10/09 15:33途,中研院這個在新聞稿直接說為了商業使用

Gwdz 10/09 15:33所以他們對資料集做了規避,你怎麼會覺得中

Gwdz 10/09 15:34研院這個是合理的,是說人家都下架了你也不

Gwdz 10/09 15:34用護航了

afking 10/09 18:01下架很正常吧,長官會開心才有鬼,可商用

afking 10/09 18:01不可商用跟你糾結開發兩字根本無關就是

afking 10/09 18:03華碩那個就是可商用

Gwdz 10/09 18:38怎麼會沒關係,自主開發跟可商用的含金量對

Gwdz 10/09 18:38你來說這麼不重要嗎,給meta跟蒐集資料的人

Gwdz 10/09 18:38一點尊重好嗎,這樣以後誰還要開源給別人用

Gwdz 10/09 18:38,換個皮就說是自己開發的,你真的認為這樣

Gwdz 10/09 18:38可以啊?雖然不犯法啦,但我覺得不好看啦,

Gwdz 10/09 18:38難怪台灣軟體業都這樣覺得開發就是git clone

Gwdz 10/09 18:38 就好

Gwdz 10/09 19:31開發跟可商用就像,你讓大學同學們抄你的作

Gwdz 10/09 19:31業,然後其中一個同學抄完後作業然後跟別人

Gwdz 10/09 19:31說,可以抄我的,雖然我有參考其他人的啦但

Gwdz 10/09 19:31是這是我修改過後的版本,然後發現修改是把

Gwdz 10/09 19:31你字體改變而已,抄完答案閉嘴(不可商用)不

Gwdz 10/09 19:31給別人抄根本沒人管你好嗎

la8day 10/09 19:36事實上就是不能用

la8day 10/09 19:37llama本體足夠強大 這案子經費只有30萬

la8day 10/09 19:37還把它tune的更糟