PTT推薦

Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」

看板Stock標題Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」作者
Arim
(億載金城武)
時間推噓 2 推:3 噓:1 →:6

※ 引述《aPplAus (燦爛)》之銘言:
: 原文恕刪
: 小弟剛好最近有跟到一些台灣LLM的發展,可以補充一下關於模型的部分。聯發科的研究: 單位聯發創新基地,做語言模型有一段時間了,之前有一版Breeze-7B模型,發佈了一篇: 技術論文放在arxiv:
: https://arxiv.org/pdf/2403.02712.pdf
: 論文提到這個模型是從mistral-7B 繼續訓練而成,花了7000小時的H100,灌了650GB的da: ta。如果有一半是中文,325GB,也灌了超過1000億漢字(3bytes=1word),其實很多了啦: 。
: 然後Breexe是從Mixtral訓練而成,是更大一級的模型,論文好像還沒出,但很多公司都: 有不同大小的模型,做法應該不會差太多(?)。最近有開放API試用:
: https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1
: 跟ChatGPT的比較,最重要的點應該是,像Breeze-7B這種已經開源的模型,對能架伺服器: 的公司來說,是用越多越賺;跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知: 道會不會開源就是了。
: 達哥的部分,沒有親自用過,但有認識的人用過。基本上就是平台,然後有一些功能,像: 是讀pdf等等。就把AI推廣給更多人的東西,應該是不錯啦。


說真的,發哥做這種東西,我是一點都不期待,以我試過各種開源的 LLM 的經驗來看,幾乎都稱不上通用,唯一可以稱的上通用的就 gpt-4 跟 claude3,開源的模型基本上跟垃圾沒兩樣

你說要收費也還好,你架 server 跑開源的模型難道不用花錢?而且 gpt 的收費有個頃向是越來越便宜了,負載平衡都幫你做好了,說真的現在商用解決方案用開源的模型我真的還沒看過,因為真的用起來的感覺跟 gpt-4 差太多了,不是一直跳針就是答非所問

然後 gpt-5 應該也快出來了,gpt -4 大概率又會大降價

這東西的霸主應該還有很長一段時間會是 openai 啦,發哥還是專注在本業卡實在

-----
Sent from JPTT on my Xiaomi 2311DRK48G.

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.37.230 (臺灣)
PTT 網址

s5656556612304/11 08:37市場買單就好

php4 04/11 08:39全台灣能搞的就那幾家,老大不搞這技術以後被甩開

php4 04/11 08:39你是要養他的員工嗎

AirLee 04/11 08:44為什麼不叫達叔比較有名

fukku100 04/11 08:44有人願意跟上是好事

hhj47815 04/11 08:46ChatGPT要連線,會有安全性跟機密資料疑慮,有些公

hhj47815 04/11 08:46司可能會想要本地端的自我訓練模型,商業化的商機

hhj47815 04/11 08:46只想得到這樣。

問題是誰幫這些公司訓練跟架 server? 而且資料都有條款說會保密,已經一堆公司在用 gpt 寫 code 了,會在乎這個的我覺得不多啦

GinginDenSha04/11 08:48sora 公布後就等於宣告接下來要突破模型表現的首要

GinginDenSha04/11 08:48條件就是算力,算力不夠再猛的公司都不行

算力夠猛的條件下就是錢錢要夠多,openai 至少十萬片頂規 gpu 起跳,台灣哪個公司願意砸錢搞這個?

※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:51:23 ※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:53:16