Re: [問卦] 中研院自己做的大型語言模型怎麼了？
※ 引述《messi5566 (虹粉)》之銘言：
: 中研院最近發布了他們自己開發的LLM
: 說是在處理繁體中文的任務上表現優異
: 可是小妹看了一下跑出來的成果
: https://i.imgur.com/I1zNnIa.png
: 詳細資料在這裡
: https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat
這語言模型基礎是建構於Llama 2，meta提供的開源模型
另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型，也是開源且開放商用
技術上也不用解釋太多，反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某些爭議性回答
如果你想獲得一個相反的答案，只要多試幾次調一下參數就行，像這樣
https://i.imgur.com/GQlNhZj.jpg
某種程度上AI真的恐怖，尤其是在知識落後地域
--
所以原來是meta開發的喔
但你真的覺得這樣算有做得好，達成中研院
本來的目的嗎…
日本已經發聲需要訓練ai正確的價值觀
看你的目的是啥，本來也就沒足夠資料從頭
建造一個可能是垃圾的模型，而審查這塊不
就台灣人最討厭的
耶，架構來自meta，模型來自中國開源…
那至少要先微調到讓人看不出手腳吧？要不
然誰知道中研院做了什麼？
北京海天瑞聲科技
你要做手腳到回答正確國家價值的程度，那
叫做國家機器，不叫做機器學習了
啊你模型也不是自己的，架構也不是自己的
，學習什麼？
這就跟上次疫苗網站裡有簡中註釋一樣，要
抄可以，把破綻弄掉誰也不知道
你搞錯了，從頭到尾都是模型，簡單而言就
是把開源模型調教成適合繁中使用者的模型
啊現在不就是你模型沒調成適合繁中的狀況
，開放介面給人玩，才被吐槽嗎？
因為就算你把全ptt的文本從頭開始練都達不
到LLM需要的數量，也非常燒錢
如果你覺得要回答有特定價值觀的模型才有
意義，那你應該適合文心一言而不是這種
事實上，台灣人可能比較期待後者
這不只是意識形態的問題，目前實用方面會
被認為是不可用
就不要講是自己研發的就好了，finetune說自
己做的被罵合理吧
就資料沒洗乾淨而已
我點進去上面都有說明啊...還中文
又來了，說不過就開始嘴人中共同路人，這
種人才適合文言一心吧？科科
你的中文字典沒有開發兩個字嗎，第一句話就
說自己開發的，你要幹別人的架構然後finetun
e,不如說是應用吧，開發了啥網頁開發嗎
文心一言是目前中文文本裡最好的大型語言
模型啊，又抹中共同路人了
開源軟體為基礎架構開發的東西可多了...
發哥那個從bloom
為基礎的也是說開發，你怎麼會糾結這個
只是他沒被拿來八卦靠北而已
CKIP Bloom (bloom 3b)
發哥那個就是純研究目的的啊，又不做商業用
途，中研院這個在新聞稿直接說為了商業使用
所以他們對資料集做了規避，你怎麼會覺得中
研院這個是合理的，是說人家都下架了你也不
用護航了
下架很正常吧，長官會開心才有鬼，可商用
不可商用跟你糾結開發兩字根本無關就是
華碩那個就是可商用
怎麼會沒關係，自主開發跟可商用的含金量對
你來說這麼不重要嗎，給meta跟蒐集資料的人
一點尊重好嗎，這樣以後誰還要開源給別人用
，換個皮就說是自己開發的，你真的認為這樣
可以啊？雖然不犯法啦，但我覺得不好看啦，
難怪台灣軟體業都這樣覺得開發就是git clone
就好
開發跟可商用就像，你讓大學同學們抄你的作
業，然後其中一個同學抄完後作業然後跟別人
說，可以抄我的，雖然我有參考其他人的啦但
是這是我修改過後的版本，然後發現修改是把
你字體改變而已，抄完答案閉嘴(不可商用)不
給別人抄根本沒人管你好嗎
事實上就是不能用
llama本體足夠強大 這案子經費只有30萬
還把它tune的更糟
爆
首Po中研院最近發布了他們自己開發的LLM 說是在處理繁體中文的任務上表現優異 可是小妹看了一下跑出來的成果![[問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/I1zNnIab.png "[問卦] 中研院自己做的大型語言模型怎麼了？")
49
國安危機來了 我剛問他兩個問題 1. 台灣是不是中國的一部分![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/cNIk8q4b.jpeg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
4
這個是不是被刪掉了啊 我都還沒玩到 請問有人有備份嗎？ 想問中華民國的問題0.0 --![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/NoE1UGzb.jpg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
X
整天在反西方文化跟反英語的國民黨義和團看過來 用中文訓練ai成本比英文高3倍起跳啦 訓練完後面還要不斷砸錢更新維護 GPT創辦人說拿來一部份微軟10億美元 GPT創辦人說微軟還要給100億美元55
阿肥外商碼農阿肥啦！ 昨天晚上都在跟獵人直播來不及趕上大型翻車現場，這邊中午看hugging face hub還 可以進去，但現在已經進不去了。 這邊阿肥就直接說，基本上現在所有中文開源語言模型除了少數像chatGLM這種中國比較 早期做的自己完全從零訓練的語言模型外，大家都是從meta 的llama魔改的，差別在於預![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/TT58ZZCb.png "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
X
支那china共和國republic 中研院 官方英文名稱：Academia Sinica = 支那的 研究院 成立於：1928年的支那上海 本來從裏到外都是支那的形狀，使用china的語言數據庫也屬於天經地義吧。 説句題外話，連基礎科研上還要講意識形態，也是沒誰了。![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/23jC7meb.jpg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組（CKIP） 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎![[討論] 中研院繁中LLM被爆直接拿對岸的來套!](https://i.imgur.com/phwhfclb.png "[討論] 中研院繁中LLM被爆直接拿對岸的來套!")
14
Re: [閒聊] 文心一言AI繪圖（慎入）文心一言實力不如ChatGPT是理所當然的，微軟投資幾百億美元並且用微軟的雲端訓練整個網 路資料兩年了，到了去年底才終於開花結果 目前這種LLM模型，最重要的就是 資料 算力 和算法，其中基礎的資料是非常重要的，Chat GPT在建立模型的過程跟一般的Ai一樣要機器學習建立模型，而ChatGPT的基礎原理就是由上 一個字生成下一個字，週而復始，其中在訓練的過程還會經過人工挑選優質回答和一些和添![Re: [閒聊] 文心一言AI繪圖（慎入）](https://i.imgur.com/ST90nzyb.jpg "Re: [閒聊] 文心一言AI繪圖（慎入）")
17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT，但 是硬體需求大大降低，是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本對答。 一些LLaMA可以達成的任務![[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型](https://i.imgur.com/G4o7TYsb.png "[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型")
10
Re: [請益] 為什麼有人說AI會讓資工人失去工作?阿肥外商碼農阿肥啦！ 我只能說當前甚至往後十幾年都很難完全取代，除非真正的AGI實現了，那取代的可能不 止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己 或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？ 先說說像GPT-4即便是大成功的當下，很多企業要復現這樣的模型難度也是跟登天一樣![Re: [請益] 為什麼有人說AI會讓資工人失去工作?](https://i.imgur.com/pLsUJnRb.jpg "Re: [請益] 為什麼有人說AI會讓資工人失去工作?")
8
[爆卦] Meta 的語言模型 LLaMA 被人洩漏出來了出大事了 Meta 用來對標 OpenAI ChatGPT 的語言模型 LLaMA 被人洩漏出來 還打包成 Torret 在網路上供人下載了![[爆卦] Meta 的語言模型 LLaMA 被人洩漏出來了](https://i.imgur.com/W4fvKrpb.png "[爆卦] Meta 的語言模型 LLaMA 被人洩漏出來了")
7
[閒聊] RPG Maker+ChatGPT Plugin = 生成NPC對話可以透過輸入框跟遊戲中的NPC對話，他們也會用GPT生成回應。 Plugin也開源放在Github上 其實技術上應該沒什麼問題，問題只有...![[閒聊] RPG Maker+ChatGPT Plugin = 生成NPC對話](https://img.youtube.com/vi/3Ts5NsqiQZ8/mqdefault.jpg "[閒聊] RPG Maker+ChatGPT Plugin = 生成NPC對話")
6
[情報] 微軟, META合作 Llama2上 Azure1. 標題： 微軟與META擴大他們的AI合作關係，讓Llama 2上Azure以及 windows 2. 來源： 微軟公司 3. 網址：![[情報] 微軟, META合作 Llama2上 Azure](https://blogs.microsoft.com/wp-content/uploads/prod/2023/07/1920x1080-META-OMB-Llama-2-Image-002-1024x576.png "[情報] 微軟, META合作 Llama2上 Azure")
5
Re: [閒聊] 文心一言AI繪圖（慎入）我的結論是文心一言是不是直接塞 ChatGPT API 這點不好說。 為了方便審查，或許有機會是 GPT-X 或 llama 用文心大模型微調？ X 有 3、J、Neo 之類的可以用，選項還挺多。 至於文心一格嘛…… 看來他們也知道自己的 Ernie-VilG 生不出太美的圖吧？![Re: [閒聊] 文心一言AI繪圖（慎入）](https://i.imgur.com/09ptlSkb.png "Re: [閒聊] 文心一言AI繪圖（慎入）")
4
[情報] 首個中文SD模型開源：太乙對岸那邊IDEA研究院中的封神榜團隊釋出了第一個以中文為基礎的SD模型：太乙，已經可以在 Huggingface上面取得，這是基於SD1.4模型重新訓練了中文語言模型以取代原本的英文編碼器，但鎖定了圖像產生器，在一億級的中文語料庫上跑了24個epoch 另外一個中英文混合的模型則是同時fine-tune了語言編碼器以及圖像產生器。 這是他們的第一個 checkpoints 而且進行了開源，不過由於他們修改過編碼器的結構，所以模型不能直接丟進去 webui 裡面跑，團隊有提供修改版本以及修改辦法。 根據他們給的測試樣本來看，這個模型不但能理解白話文，更能理解文言文，像是唐詩，宋詞甚至駢文都沒有問題。1
Re: [新聞] 台版ChatGPT雛型曝光 國科會用4個月秀TAI版 : 的生成式AI模型，耗時4個月今（14日）宣布第一階段成果，目前已投入70億個參數量 ， : 針對繁體中文訓練，實測已達自動摘要、翻譯文本、寫信與寫文章，都有不錯表現，並 首
爆
[爆卦] 快訊！65歲老頭被放出來啦！![[爆卦] 快訊！65歲老頭被放出來啦！](https://i.imgur.com/tp7Tiktb.jpeg "[爆卦] 快訊！65歲老頭被放出來啦！")
爆
[問卦] 八卦版大家來預測，等等會不會出來？![[問卦] 八卦版大家來預測，等等會不會出來？](https://i.imgur.com/dgfozNwb.jpeg "[問卦] 八卦版大家來預測，等等會不會出來？")
爆
[問卦] 合議庭一直拖延宣判是在表示什麼？![[問卦] 合議庭一直拖延宣判是在表示什麼？](https://img.youtube.com/vi/uZUpZvoMm_k/mqdefault.jpg "[問卦] 合議庭一直拖延宣判是在表示什麼？")
爆
[問卦] 具保的錢我來出![[問卦] 具保的錢我來出](https://i.imgur.com/N9gN2Ijb.png "[問卦] 具保的錢我來出")
爆
[爆卦] 全數交保 詳細金額![[爆卦] 全數交保 詳細金額](https://i.imgur.com/tAko92xb.jpg "[爆卦] 全數交保 詳細金額")
爆
[爆卦] 0230合議庭會有結果![[爆卦] 0230合議庭會有結果](https://i.ytimg.com/vi/4w5ikTmw0P8/maxresdefault.jpg "[爆卦] 0230合議庭會有結果")
71
[問卦] 館長這麼挺是不是很扯？![[問卦] 館長這麼挺是不是很扯？](https://i.imgur.com/gaC9Lcrb.jpeg "[問卦] 館長這麼挺是不是很扯？")
75
Re: [爆卦] 0230合議庭會有結果71
[問卦] 交保金多少合理？18
Re: [新聞] 快訊／民眾黨出手了！號召小草18:00集結![Re: [新聞] 快訊／民眾黨出手了！號召小草18:00集結](https://i.imgur.com/zAVEPnZb.jpeg "Re: [新聞] 快訊／民眾黨出手了！號召小草18:00集結")
52
[問卦] 銀行沒開半夜要怎麼領鉅款？？![[問卦] 銀行沒開半夜要怎麼領鉅款？？](https://i.imgur.com/YvT3depb.jpeg "[問卦] 銀行沒開半夜要怎麼領鉅款？？")
39
[問卦] 青鳥群異常安靜![[問卦] 青鳥群異常安靜](https://i.imgur.com/X21kULyb.jpeg "[問卦] 青鳥群異常安靜")
40
[爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保![[爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保](https://i.imgur.com/3pxJH1Kb.jpeg "[爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保")
爆
[問卦] 檢察官:你可以不相信檢察官 你要相信證據爆
Re: [爆卦] 金流來囉（新聞稿截圖）![Re: [爆卦] 金流來囉（新聞稿截圖）](https://images.plurk.com/5QHzTwuvA2sOeGaeD7EewN.jpg "Re: [爆卦] 金流來囉（新聞稿截圖）")
38
[問卦] 這麼晚要怎麼籌到3000萬![[問卦] 這麼晚要怎麼籌到3000萬](https://i.imgur.com/ufmE4Thb.jpeg "[問卦] 這麼晚要怎麼籌到3000萬")
30
[問卦] 交保出來北檢是不是被大打臉了![[問卦] 交保出來北檢是不是被大打臉了](https://i.imgur.com/Wes8YUbb.jpeg "[問卦] 交保出來北檢是不是被大打臉了")
33
[問卦] 交保後第一件事要做什麼？33
[問卦] 有過大人物保證金湊不出來的例子嗎？69
[問卦] 交保金一定要台銀的人在場![[問卦] 交保金一定要台銀的人在場](https://i.imgur.com/QpbdvdMb.jpeg "[問卦] 交保金一定要台銀的人在場")
30
[問卦] 交保要多少錢啦 操28
Re: [爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保![Re: [爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保](https://scontent.ftpe7-2.fna.fbcdn.net/v/t15.5256-10/471612985_1141700317544565_3614096160938698579_n.jpg?stp=dst-jpg_s1000x1200_tt6&_nc_cat=109&ccb=1-7&_nc_sid=c26028&_nc_ohc=ojJfa7VFmJEQ7kNvgHfnqpF&_nc_zt=23&_nc_ht=scontent.ftpe7-2.fna&_nc_gid=ABWPdUDI7PnIFC97mC-FfhA&oh=00_AYAWRHkHw3zQIjfZh7R0VsGwayRKYaxMEk3N6WiMGvmvHw&oe=6773AEA5 "Re: [爆卦]半夜銀行有開?!小草捐款?!柯文哲3000萬交保")
26
[問卦] 拿三千萬交保是不是要被酸了？20
[問卦] 法官是超級血汗的職業嗎![[問卦] 法官是超級血汗的職業嗎](https://i.imgur.com/S64yPKNb.jpeg "[問卦] 法官是超級血汗的職業嗎")
爆
[問卦] 這種起訴書你要是法官會罵檢察官嗎？19
[問卦] 夫妻醫生 執業3-40年 湊3000萬要多久？23
Re: [新聞] 智商157? 柯文哲辯「orange出國」拼錯字25
[問卦] 所以可以用Excel 交保嗎？![[問卦] 所以可以用Excel 交保嗎？](https://i.imgur.com/gLnIgxcb.jpeg "[問卦] 所以可以用Excel 交保嗎？")
爆
[問卦] 為什麼律師們反應跟鄉民差這麼多？![[問卦] 為什麼律師們反應跟鄉民差這麼多？](https://i.imgur.com/QNErwGqb.png "[問卦] 為什麼律師們反應跟鄉民差這麼多？")
23
[問卦] 湊不出交保金怎麼辦
![[問卦] 檢察官:你可以不相信檢察官 你要相信證據](https://i.imgur.com/5Ku7BaXb.jpeg118.231.185.137 "[問卦] 檢察官:你可以不相信檢察官 你要相信證據")
![[問卦] 有過大人物保證金湊不出來的例子嗎？](https://i.imgur.com/reJIBvdb.jpeg122.118.159.110 "[問卦] 有過大人物保證金湊不出來的例子嗎？")
![[問卦] 交保要多少錢啦 操](https://i.imgur.com/11Wgwlab.jpeg123.194.128.214 "[問卦] 交保要多少錢啦 操")
![[問卦] 這種起訴書你要是法官會罵檢察官嗎？](https://i.imgur.com/cOq9v2cb.jpeg42.71.111.207 "[問卦] 這種起訴書你要是法官會罵檢察官嗎？")