Re: [問卦] AI領域中的LLM會讓英語系國家更具優勢?
其實光是中文資料不斷地消失這件事情
用中文資料訓練的LLM效果自然不會太好
中文的網路資料這幾年不斷消失 原因無他 很多中文圈的網路公司沒錢收掉
這些資料就可能從世界上消失 等於中文的訓練資料無法累積
資料不夠 模型再大也沒用
現在英文圈把整個網路的文本資料拿來訓練不夠 開始再把影片轉化成文字抓來練
而且網路公司基本上都是英文圈的 資料最多最有錢 要賺錢也是優先做英文的
現在網路公司是美國獨大 中文的LLM不是他們加減做 就是中國的網路公司做
台灣現在沒有公司有那個財力從頭做一個llama2等級的模型
※ 引述《wa007123456 (大笨羊)》之銘言:
: 大型語言模型(LLM)在處理語言的時候
: 都無法避免要執行分詞的動作
: 所謂分詞就是把句子中的 主詞 動詞 介係詞 ...等
: 分離開來。
: 由於中文的特性,要進行分詞其實是很有挑戰的一件事;
: 反觀英文可以透過空白來分離單字,實作上真的比較輕鬆。
: 沒有要崇洋媚外,單純討論@@
: PS:
: 最近使用Python套件來做文字辨識
: 也發現中文不但辨識又慢又肥,而且辨識正確率也不是很好
: 請問中文在未來的世界中還具有甚麼優勢嗎?
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.70.97.250 (美國)
※ PTT 網址
推
翻譯成中文再訓練也是一種解法
推
長知識。 感謝
推
直接用語音訊號訓練,不要轉文字
推
同意
推
聯發科表示:
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。14
Re: [閒聊] 文心一言AI繪圖(慎入)文心一言實力不如ChatGPT是理所當然的,微軟投資幾百億美元並且用微軟的雲端訓練整個網 路資料兩年了,到了去年底才終於開花結果 目前這種LLM模型,最重要的就是 資料 算力 和算法,其中基礎的資料是非常重要的,Chat GPT在建立模型的過程跟一般的Ai一樣要機器學習建立模型,而ChatGPT的基礎原理就是由上 一個字生成下一個字,週而復始,其中在訓練的過程還會經過人工挑選優質回答和一些和添X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。6
Re: [爆卦] 中央研究院詞庫小組大型語言模型這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫 其中中文占的比例很少 中文當中繁體中文的資料更少 因此訓練起來 中文其實都不像樣 同時間訓練台灣的內容資料又更少之又少5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?5
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎關於這個,最近騰訊的AI Lab在1/31有篇technical report Link: 這篇文章是想要比較 ChatGPT, Google翻譯,DeepL,騰訊(Tencent)翻譯的翻譯表現 他們用的測試來源有這四樣1
Re: [新聞] ChatGPT不能用了!OpenAI宣布「斷供中國支那AI贏不了美國的真正原因其實不是買不到輝達最先進GPU 真正原因是訓練資料的限制 因為就算AI硬體算力再強 如果你餵給AI的資料是垃圾 那麼垃圾進垃圾出- 複查 中文:逆迴十六夜 日文:逆廻十六夜 英文:Sakamaki Izayoi 中文資料
- 完整的LLM訓練成本極高 可能一次就要兩百萬美金 如果本土化LLM因預算限制只進行fine tune調整 因為pre trained內容以英文為主 處理中文效率差很多
爆
Re: [新聞] 財政部雲端發票「調權重」惹議 網紅Chea43
[問卦] 看哪個Ytr在八卦不會被嫌?25
[問卦] 台灣扣掉台積電大概是哪個國家?57
[問卦] 李多慧騎車環島被跟蹤…回不了家19
[問卦] 中國如果直接讓台灣獨立會怎樣?20
[問卦] 為什麼一大堆南部人要北漂去捷運上砍人?18
Re: [新聞] 影/詐助理費案466元被判2年 王郁文:18
[問卦] 老狐狸 到底憑什麼拿金馬獎 = =51
[問卦] 每月被動收入3萬,不想工作,你想定居哪?62
[問卦] 烏:選擇戰爭後仍得面對屈辱13
[問卦] 高端疫苗總經理陳燦堅 地中海俱樂部的八10
Re: [新聞] 北捷砍人婦遭起底 高雄北漂...碩士論8
[問卦] momo的貨源是哪來的?10
[問卦] 美國大選怎麼還有一州沒開完票68
[問卦] 這樣是詐騙嗎?爆
[問卦] Ryu、Yuma事件第三方女生回應了!10
[問卦] 戰略位置重要,但都沒被邀參加聯合軍演47
[問卦] 家裡沒礦的文組要怎麼合法翻身9
[問卦] 存到?百萬元就退休!!48
[問卦] 台灣戰略位置重要,美國一定幫怎麼反駁?29
[問卦] showgirl去汽車旅館幹嘛16
[問卦] 南韓 至今仍封鎖色情網站?16
[問卦] 「亂糟糟的Yuma」是什麼意思?7
[問卦] 有國家敢用公權力嗆美嗆俄嗎?15
[問卦] 梁朝偉最適合演金庸武俠的哪個角色?30
[問卦] 去印度旅遊,買超市東西回去煮最安全?7
Re: [問卦] 俄打烏沒問題,中打台也ok的吧?7
[問卦] 羅貫中是不是委屈了?