Re: [爆卦] 中央研究院詞庫小組大型語言模型
※ 引述《derekhsu (浪人47之華麗的天下無雙)》之銘言:
: 對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去
: 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。
: 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型,
: 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資: 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。
: 第二個錯誤的認知是把所有的LLM都當成是同一個等級,好像只要A不如B那A就不行,是: 垃圾。以這個案例來說,它是Llama-2-7b跟Atom-7b模型,前面的Llama-2模型是代表它: 是META出的Llama模型第二代(可商用),而7b則是說它的參數是70億個,不要以為70億: 個參數很多,70億參數以LLM來說只能說是非常小的,所以答出一切亂七八糟的答案非: 常正常,在7b之上,還有13b跟70b的模型參數量。
: 7b的模型實務上如果沒有經過finetune然後針對小範圍的特定任務,基本上就是玩具而: 已。
: 第三,就是對於台灣的能力有誤會,做AI大概分為三個要素,模型/資料/算力。在大語言: 模型方面,台灣三個都弱,模型用開源的即便是台智雲,也是用開源模型。資料方面,: 繁體中文本來就在中文領域本來就是弱項(中文已經很弱了,繁體中文更弱),算力方面,: 台灣有算力從頭到尾訓練LLM的不是說沒有,但跟OpenAI, META都還是非常非常遙遠的距離
: ,所以能做作finetune就不錯了。
: 這是原生llama-2的試玩網址(記得把模型調到7b來比較)
: https://www.llama2.ai/
: 好,回歸重點,中研院在網站上就已經說過了
: ####
: 以商用開源模型Llama-2-7b以及Atom-7b為基礎,再補強繁體中文的處理能力
: ####
: 好,剛剛我說了Llam2-2-7b,那Atom-7b我剛剛沒有提到,這是什麼東西?
: Atom-7b就是https://github.com/FlagAlpha/Llama2-Chinese
: 這個就是中國訓練出來的大語言模型,Atom-7b
: 中研院從頭到尾都沒有隱藏這件事,它就是基於中國訓練的Atom-7b然後再用繁體中文去: finetune出來的模型啊。
: 從頭到尾中研院就沒有隱藏這件事,完全不知道前面好像發現什麼新大陸一樣。
看到這篇真的龜懶趴火
語氣還真的他媽的大啊 敢嗆鄉民去上LLM課程啊
誰不知道LLM的正確率一定會有誤差?
現在的問題是我國最高學術研究機構中央研究院直接拿對岸LLM套
且直接用opencc大量將簡體資料轉繁體資料!
這很嚴重啊
第一
你今天是私人公司就算了 大家笑一笑就好
但中研院是什麼等級?是直接隸屬總統府的政府機構!
結果你他媽的拿台灣人民納稅錢 騙台灣人經費 然後抄中國LLM交差
還語氣很大跟我們說 完全沒藏啊!
第二
這垃圾模型標榜「商用」
所以是很多個人、學校、企業會接觸到的
直接暴露這麼多中國資訊 你確定會沒問題?
政府成立數發部、強調資訊安全是在玩假的嗎?
第三
台灣沒算力、沒資料、沒模型
這大家都知道 大家也沒在急 一步一步踏實地做嘛!
但這種為了求大眾關注吸引投資騙取經費的偷吃步手法
才是被鄉民真正唾棄的原因 無關政治
--
綠能你不能
不嚴重吧 現實沒人在乎 民調50%
說沒藏就感覺沒有錯的口氣真的讓人吞不
下去
推
推 偷懶還敢大聲
你說的合理
有台灣價值就夠了 你是不是製造社會不安
正解
中研院很多研究沒什麼開創性
喔這麼氣喔
補助名目的補助才是重點 名目只是次要 不
要也沒差
還有一個更好笑的號稱AI Lab每天分析ptt
動不動就找到中共協力者
樓上指的開創性很到位哦
難怪中研院一堆放棄治療的舔共反戰老人...
你第一就錯了
現在一層層包出去 還真的是私人企業
你問題 根本沒人在意說的像是天崩地裂
建議改名中央翻譯院
不意外
中研院那麼綠 還甚麼舔共反戰笑死
外包給敵國就是賴臭蛋政府價值核心 紅
綠共一起強姦台灣人
不嚴重啦!反正台灣小孩就是喜愛學習支語
==通篇政治結果最後一行寫無關政治?!=
抄抄抄 騙稅金
人民血稅
推,有人半瓶水
通篇在解釋,有人只看到政治
綠色就是抗中保台,其他就是同路人
推
很遺撼那個也批站超老ID了 可以護航出這
種瞎話就是
垃圾民進党
推
執政團隊換成別人一定被噴到翻起了
.
你這樣也是同路人了,會被說看不起
我們AI產業(最廣義)
爆
首Po不知道這研究案領多少錢?3
剛特別來測試 "台灣是獨立國家嗎?"-"不是" "台灣是個獨立國家嗎?"-"是" 這種東西拿出來會不會笑死人了? --7
本魯也很好奇問了一些問題, 首先是比較基礎的: 接著是大家都知道的:3
復旦大學認證阿北不代表台灣 最後還是抓到阿北中共同路人的證據 原來一切的佈局中共早就計畫好了X
對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。6
現在上不去了 只截到這個 你現在問它台灣總統是誰 它會說蔡英文了 問它台灣是不是國家 也說會 問它簡單的問題都會覺得台灣來的6
這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫 其中中文占的比例很少 中文當中繁體中文的資料更少 因此訓練起來 中文其實都不像樣 同時間訓練台灣的內容資料又更少之又少1
那是政治上的問題,我說的是說中研院直接拿Atom-7b模型來用的這件事 我想你大概沒有真的去比較過 Atom-7B跟中研院型的一部分 你用中國的模型去問「台灣是中國的一部分嗎?」它的回答是台灣政治上是一個獨立 的國家X
你應該將題目改為"共產黨代表中華民國嗎?" 如果這個程式與很多網路遊戲一樣,不回答這個問題或禁止"中華民國"這四個字, 我們就有理由懷疑共產黨控制這個程式。 : 拿別人的成功來tune一下就可以掛名中研院...... : 有沒有掛?2
阿肥外商碼農阿肥啦! 今天忙到剛剛才看到這篇,先說derek大大有點避重就輕的點, 大家都知道LLM就是一個機率模型,更正確來說應該是一個生成式模型,概念就是他從訓 練數據集當中去模仿數據源的分佈。 當然,我相信這絕對是中研院自己finetune的,也不是說只是拿別人模型出口接了openCC
爆
[問卦] 中研院自己做的大型語言模型怎麼了?中研院最近發布了他們自己開發的LLM 說是在處理繁體中文的任務上表現優異 可是小妹看了一下跑出來的成果20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦! 剛好看到這篇文章就回覆一下,這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力,我其實不贊同LeCun說的LLM是歪路,畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證), 但科學上不去驗證你沒辦法證明某些事情的。6
Re: [問卦] ChatGPT改變了什麼行為模式?行? : : 業都發揮著重要作用,對許多人的生活產生了深遠影響。我想請問各位前輩,究竟Ch at : : T改變了哪些行為模式呢? : : 希望大家能分享一些寶貴的經驗和看法,讓我對ChatGPT及其對社會行為模式的影響2
Re: [問卦] ChatGPT問世,臺灣的AI大師在想什麼?阿肥外商碼農阿肥啦! 當前LLM像chatGPT即使問世,依舊還是有很多前沿問題沒解決,模型即使透過Instructio ns 由人工引導學習,還是很難達到真正的在線學習,人腦卻是可以時時重塑世界模型, 而且當前很多新研究都發現人腦耗電非常低但新皮質效能卻很高,而且LLM在很多層面即 使優於人腦,但是他卻缺少部分的世界模型。- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬
77
[問卦] 昨天那個光頭裁判是什麼洨?43
[問卦] 統神:我打算明年打館長,後年打toyz43
Re: [新聞] 藍白強行通過3法 台中罷免不適任立委人45
[問卦] 跑跑卡丁車1三服比賽 三服第一會是?(發$)爆
[問卦] 統神:當初協議我減到100kg以下 拿16oz打44
[問卦] 只有我不懂魷魚遊戲哪裡好看?35
[問卦] 抵制Netflix卻因魷魚遊戲沾沾自喜?32
[問卦] 林夕 黃偉文 李焯雄 方文山 誰是詞神?34
Re: [問卦] 被台派出征的那個梅花糕 有人吃過嗎30
[問卦] 煤油是最屌炸天的暖爐吧19
[問卦] 跑船薪水高,為何商船系分數不高?17
[問卦] 烏龍派出所哪一集最好笑29
[問卦] 吃過最難吃的名店是哪一家?17
[問卦] 統神減肥完是不是真的有差26
[問卦] Tilda 在台灣的照片大家還有臉嗎?14
[問卦] 統神會復胖120還是繼續瘦到8026
[問卦] 33K透天無貸和74K無房哪個有安全感15
[問卦] 為什麼8+9都瘦瘦吃不胖的八卦?7
[問卦] 沒人發現蔡依林紅這麼久根本莫名其妙嗎!14
[問卦] 張柏芝算是香港第一美女嗎?10
[問卦] 統神不是賺很多嗎 不至於賠不起50萬吧72
[問卦] 魷魚遊戲為何在台灣選擇高雄當宣傳呢28
[問卦] Rose是怎麼逆襲成為Blackpink最紅8
[問卦] 阿拉丁電影版精靈是黑人?79
[問卦] 統神直播說明有關體重、拳套(懶人包)23
[問卦] 穿這樣見網友可以嗎?(圖)10
[問卦] 魷魚遊戲要上了,反韓仔要出動了嗎?7
[問卦] 其實蹦闆這樣前後改規則也不意外吧?23
[問卦] 二十年後很多刺青阿姨嬸嬸?9
[問卦] 為何89社群媒體的自介都打差不多的東西?