Re: [新聞] Google與Hugging Face合作宣布推動開放
結果Google竟然釋出了開源大模型Gemma,超出預期!
https://www.inside.com.tw/article/34270-google-gemma
Google 2 款新開源模型「Gemma」來了!直接挑戰 Meta Llama 2 7B
2024/02/22 Sisley 聊天機器人 、 生成式 AI 、 摘要 、 輕量級語言模型 、 負責任生成式 AI
Gemma 現在有兩種規模:Gemma 2B 和 Gemma 7B,這兩個規模都發布了預先訓練和指令調整版本,對於研究和開發來說更為方便。
繼 Gemini 1.5 推出不到一周,Google 21 日再度宣布推出新的、輕量級開源大型語言模型 Gemma,其研究技術與該公司的旗艦人工智慧模型 Gemini 相同,但適合較小的任務,如聊天機器人與摘要,並在速度與成本上有較大優勢。Google 計畫在自家 Vertex AI 以及 Hugging Face、Nvidia 的 Nemo 以及 Kaggle 上提供 Gemma,可用於商業與研究用途。
Gemma 現在有兩種規模:Gemma 2B 和 Gemma 7B。這兩個規模都發布了預先訓練和指令調整版本,對於研究和開發來說更為方便,且可在桌上型/筆記型電腦、工作站、物聯網裝置、行動裝置與 Google Cloud 上執行。
Gemma 支援 Colab 和 Kaggle Notebooks,以及 JAX、PyTorch、 Keras 3.0 和
Hugging Face Transformers 等框架。此外,Google 也與 NVIDIA 攜手合作,以最佳化Gemma 在 NVIDIA GPUs 上的效能。此外,NVIDIA 也在一篇部落格文章中宣布,將很快
將 Gemma 添加到最近推出的 Chat With RTX 功能中。
Google 指出,開發者可以使用 Gemma 從事下列工作,包括:
針對文字生成、內容摘要和問答等輕量級任務,構建生成式 AI 應用程式。
使用自訂的輕量級模型進行探索和實驗,以支援研發作業。
支援需要低延遲的即時生成式 AI 應用場景,例如串流文字。
另外,Google 也提供了負責任生成式 AI 工具包,以提供打造更安全 AI 應用程式的指南和基本工具,包括一個 debug 工具,可協助使用者調查 Gemma 的行為並糾正問題。
其他科技公司也發表了較小的模型版本,例如 Meta 就在去年發布了 Llama-2 7B,不意外地 Google 也拿 Meta 作為競爭對手比較了一番,並指出 Gemma 是所有這些類似模型中「最先進的」。
據 Google 稱,Gemma 在推理、數學和程式碼的關鍵基準測試中,其效能優於較大的開源模型,例如 Meta 的 Llama-2。
在 2023 年正式展開的 AI 大戰中存在著所謂的「開源與閉源」之爭,像是 OpenAI 就曾被科技社群批評已經不夠「Open」,反倒 Meta 在開源上獲得不少好名聲。現在 Google也加入了提供開源模型的行列中,在開源與閉源上兩面下注。
開源模型過去被認為規模較小、能力較弱,但現在效能的差距已經正在縮小,且事實證明,開源模型的尺寸以及客製化程度,更受到 AI 應用程式開發者的歡迎,且在成本上也更具優勢。
Google DeepMind 產品管理總監 Tris Warkentin 指出,Google 已經聽到了軟體開發者的心聲,開發者指出,他們在打造 AI 應用程式時時常需要結合專有模型和開源模型,
而 Google 的做法,即是希望能提供一個完善的雲端運算平台,在這平台上能運行兩種類型的模型,讓更多的客戶完全在 Google Cloud 上打造他們的應用程式。
Google 指出,Gemma 是為了那些在推動 AI 的研究者與開發者開源社群而打造的,有需求者即日起即可用 Kaggle 中的免費存取權限、Colab notebooks 的免費方案,另外研究人員還可以申請高達 50 萬美元的 Google Cloud 積分。首次使用 Google Cloud 的使用者則可獲得 300 美元的積分來使用該模型。
Google 還特別指出,與 Meta 不同的是,Meta 制訂了授權條款,以防其他大型科技競爭對手使用其 Llama 2 開源模型,Gemma 則完全沒有此類商業限制。
不過要注意的是,Warkentin 指出,目前 Gemma 仍然最適合英語語言相關任務,「我們希望能夠與社群共同努力,滿足英語任務以外的市場需求。」
HuggingFace連結: https://huggingface.co/google/gemma-7b
※ 引述《stpiknow (H)》之銘言:
: 原文標題:
: Google與Hugging Face合作宣布推動開放式AI與機器學習發展
: 原文網址:
: https://bit.ly/4bmSg46
--
全民debug 借眾人力量打敗openai
社群力量一直是最強大的
好,放到hugging face了
已經追不到meta ai, opwn ai
google現在研發的任何東西就都有毒 SJW病毒
連白人都不會畫的ai
94
Re: [新聞] 輝達傳再推中國特供AI晶片 最快「這時」老黃應該是有機會能繼續用黃家刀法 用高階價錢賣低階產物給中國 從美國的最大化利益角度來想 美國也會希望老黃賣次級的晶片給中國 這樣就某種程度能最大化阻滯中國發展 和弱化中國科技樹發展 比方說 中國最近的華為昇腾910B AI晶片號稱對標A100 已經賣給百度作為AI開發用途 如果說中國目前上面自製化晶片算力是10 那A100是30 H100是50 那老黃只要賣給中國晶片55
Re: [問卦] 中研院自己做的大型語言模型怎麼了?阿肥外商碼農阿肥啦! 昨天晚上都在跟獵人直播來不及趕上大型翻車現場,這邊中午看hugging face hub還 可以進去,但現在已經進不去了。 這邊阿肥就直接說,基本上現在所有中文開源語言模型除了少數像chatGLM這種中國比較 早期做的自己完全從零訓練的語言模型外,大家都是從meta 的llama魔改的,差別在於預46
[瑟瑟] 看色圖不求人Part2 AI生成色圖全教學古拉鎮樓 (從Discord搬運 非本人生成) Part 1 在這 不重要 過時了 這篇將包含所有你生成色圖需要的資訊 1. 使用者界面 Stable Diffusion Webui15
[爆卦] 全球最強中國 AI 模型被爆是套用 Meta 的李開復 所創立零一萬物 推出全球強中國 AI 模型 包括 Yi-6B 和 Yi-34B 兩個版本 取得了多項 SOTA 國際最佳性能指標認可 成為全球開源大模型的雙料冠軍 擊敗了 LLaMA2 和 Falcon 現在被爆是套用 Meta 的 LLaMa 模型架構17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。6
[情報] 微軟, META合作 Llama2上 Azure1. 標題: 微軟與META擴大他們的AI合作關係,讓Llama 2上Azure以及 windows 2. 來源: 微軟公司 3. 網址:5
AWS 與 NVIDIA 宣布策略合作 針對 AI 推出超級電原文標題:AWS 與 NVIDIA 宣布策略合作 針對 AI 推出超級電腦基礎設施 原文連結: 發布時間:2023-11-29 14:26 記者署名:經濟日報 記者孫靖媛 原文內容:X
Re: [問卦] 中研院自己做的大型語言模型怎麼了?這語言模型基礎是建構於Llama 2,meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型, 也是開源且開放商用 技術上也不用解釋太多,反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答