Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」
※ 引述《aPplAus (燦爛)》之銘言:
: 原文恕刪
: 小弟剛好最近有跟到一些台灣LLM的發展,可以補充一下關於模型的部分。聯發科的研究: 單位聯發創新基地,做語言模型有一段時間了,之前有一版Breeze-7B模型,發佈了一篇: 技術論文放在arxiv:
: https://arxiv.org/pdf/2403.02712.pdf
: 論文提到這個模型是從mistral-7B 繼續訓練而成,花了7000小時的H100,灌了650GB的da: ta。如果有一半是中文,325GB,也灌了超過1000億漢字(3bytes=1word),其實很多了啦: 。
: 然後Breexe是從Mixtral訓練而成,是更大一級的模型,論文好像還沒出,但很多公司都: 有不同大小的模型,做法應該不會差太多(?)。最近有開放API試用:
: https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1
: 跟ChatGPT的比較,最重要的點應該是,像Breeze-7B這種已經開源的模型,對能架伺服器: 的公司來說,是用越多越賺;跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知: 道會不會開源就是了。
: 達哥的部分,沒有親自用過,但有認識的人用過。基本上就是平台,然後有一些功能,像: 是讀pdf等等。就把AI推廣給更多人的東西,應該是不錯啦。
說真的,發哥做這種東西,我是一點都不期待,以我試過各種開源的 LLM 的經驗來看,幾乎都稱不上通用,唯一可以稱的上通用的就 gpt-4 跟 claude3,開源的模型基本上跟垃圾沒兩樣
你說要收費也還好,你架 server 跑開源的模型難道不用花錢?而且 gpt 的收費有個頃向是越來越便宜了,負載平衡都幫你做好了,說真的現在商用解決方案用開源的模型我真的還沒看過,因為真的用起來的感覺跟 gpt-4 差太多了,不是一直跳針就是答非所問
然後 gpt-5 應該也快出來了,gpt -4 大概率又會大降價
這東西的霸主應該還有很長一段時間會是 openai 啦,發哥還是專注在本業卡實在
-----
Sent from JPTT on my Xiaomi 2311DRK48G.
--
市場買單就好
全台灣能搞的就那幾家,老大不搞這技術以後被甩開
你是要養他的員工嗎
為什麼不叫達叔比較有名
有人願意跟上是好事
ChatGPT要連線,會有安全性跟機密資料疑慮,有些公
司可能會想要本地端的自我訓練模型,商業化的商機
只想得到這樣。
問題是誰幫這些公司訓練跟架 server? 而且資料都有條款說會保密,已經一堆公司在用 gpt 寫 code 了,會在乎這個的我覺得不多啦
sora 公布後就等於宣告接下來要突破模型表現的首要
條件就是算力,算力不夠再猛的公司都不行
算力夠猛的條件下就是錢錢要夠多,openai 至少十萬片頂規 gpu 起跳,台灣哪個公司願意砸錢搞這個?
※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:51:23 ※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:53:1620
[閒聊] 投入 生成式AI / GPT 的顯卡選購建議看了板上的一些AI組機文,實在有點話想拿出來聊聊。 比較常提到的繪圖大家應該都知道,現在建議就是3060 12G,VRAM稱王, 其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G,4080 16G CP值太差...之類。 不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。 為什麼呢?10
Re: [請益] 為什麼有人說AI會讓資工人失去工作?阿肥外商碼農阿肥啦! 我只能說當前甚至往後十幾年都很難完全取代,除非真正的AGI實現了,那取代的可能不 止資工人,而是整個人類社會了,想想看AGI都有人類智慧了,那鎖螺絲、自己修理自己 或是檢測同類機器人都是很簡單的,那幹嘛還找人類黑手? 先說說像GPT-4即便是大成功的當下,很多企業要復現這樣的模型難度也是跟登天一樣X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。7
[閒聊] RPG Maker+ChatGPT Plugin = 生成NPC對話可以透過輸入框跟遊戲中的NPC對話,他們也會用GPT生成回應。 Plugin也開源放在Github上 其實技術上應該沒什麼問題,問題只有...5
Re: [問卦] 支那都有無人駕駛公車了,台灣怎麼沒有?阿肥外商碼農阿肥啦! 認真說,中國那邊在軟體、科技執法發展很幾年前就走得比台灣快了,還有他們對於AI的 投注也比台灣還多,我印象中幾年前哈工大就有他們政府投注資源包含培育人才跟製作自 己的簡中開源數據。 台灣這邊其實很多想做研究像中文或是華人人臉數據都是需要先拿他們的開源數據來玩,X
Re: [問卦] 中研院自己做的大型語言模型怎麼了?這語言模型基礎是建構於Llama 2,meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型, 也是開源且開放商用 技術上也不用解釋太多,反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答3
Re: [新聞] ChatGPT燒錢太兇! OpenAI公司驚爆已近「破產邊緣」太好喇,這下子微軟的機會來了,微軟可以抓緊時間搶在其他禿鷹公司之前,直接將 OpenAI整間公司給併入麾下。 反正感覺上,OpenAI在未來還是有很大的概率,被歐盟盯上然後被冠個反托辣斯的罪名, 變成歐盟的萬年提款機,以OpenAI的情形,估計撐不下去,不過如果被微軟整個併入麾下 的話,那麼,微軟有財力可以幫坦。3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事1
Re: [新聞] 台版ChatGPT雛型曝光 國科會用4個月秀TAI版 : 的生成式AI模型,耗時4個月今(14日)宣布第一階段成果,目前已投入70億個參數量 , : 針對繁體中文訓練,實測已達自動摘要、翻譯文本、寫信與寫文章,都有不錯表現,並 首
爆
[請益] 臺灣人為什麼這麼喜歡高股息15
[情報] 2646 星宇航空 113年第三季財務報告 0.649
[創作] 梅花7
[請益] 可轉債還債?7
[情報] 2530 華建 113年Q3:0.63現金股利約0.57584
[情報] 113/11/12 八大公股銀行買賣超排行5
[情報] 1506正道 2024Q3 EPS 單季0.04累計0.111
[情報] 3693 營邦 113年Q3EPS10.53 前三季23.1210
[情報] 6223 旺矽 113年YTD EPS13
[情報] 2606 裕民 113年 Q3 EPS1.84 累計4.4524
[情報] UPST 發行可轉換優先票據1
[情報] 6596 寬宏藝術 113年度第三季合併財務