[問卦] AI推理 LPU會打扒GPU嗎
groq的語言模型推理
從硬體架構上就針對語言模型最佳化 號稱比GPU快10倍
是否可能把GPU打趴 讓GPU回去做他該做的事(遊戲 生圖等等)?
--
※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.115.242 (臺灣)
※ PTT 網址
推
準備歐印!
→
不行
推
not for training
推
只適合推理 訓練微調一樣要GPU
推
剛剛試用 速度真的快
→
UUU
→
懶趴油
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,87
[情報] 產生式 AI 大爆發 NVIDIA GPU 恐供不應求生成式 AI 大爆發,NVIDIA GPU 恐供不應求 來源 微軟 Bing 搜尋引擎整合 ChatGPT,加上其他生成式 AI 工具的需求攀升 都相當依賴人工智慧處理能力,正是 NVIDIA GPU 優勢所在 當科技公司利用 NVIDIA GPU 滿足增長的 AI 需求19
Re: [討論] AI晶片這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm21
[閒聊] 串連數千個 Nvidia GPU,微軟打造 Chattechnews 串連數千個 Nvidia GPU,微軟打造 ChatGPT 的超級電腦 March 14, 2023 by 陳 冠榮 微軟斥資數億美元打造一台大型超級電腦,串連數千個 Nvidia GPU,為 OpenAI 的聊天機18
Re: [新聞] 輝達A100、H100獨家供應商!法人調高緯創前陣子自家公司GPU也不夠用了...在測試一堆想法時候 決定自掏腰包去租外面GPU 找了幾間像是 結果...wtf 也是大爆滿 看了幾個AI論壇 一堆自行開發者都自己測試各種pretrained model的下游fine-tune 也是各種哀嚎搶GPU 以前這幫個人開發者在自己的RTX 就可以簡單測試 但現在的 LLaMA也好 Diffusion也好 越來越難在家用遊戲顯卡上跑12
Re: [情報] 情報數則其實也不知道怎麼說明,再不講得太深入又能夠很簡白地說 真的蠻難的,我就大概點到一些點,然後開頭直接下個結論吧 美國想阻止的是中國透過AI完成強人工智慧,或是通用型的AI 有點類似現在目前的ChapGPT進化的最終版 但如果要阻止中國完成區域性或是弱人工智慧已經不可能了9
Re: [新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執專用型跟泛用型不同 GpU 可執行繪圖 渲染 訓練 LLVM 什麼都可以 LPU 只能提供訓練後的LLVM 產生結果 而且 GROQ 展示的參數遠比 openAI 70BX
[情報] NVIDIA 推出 RTX1000 RTX500NVIDIA 推出 RTX 500 和 1000 Professional Ada Generation 筆電 GPU 強化行動 AI 工作流程 隨著生成式AI和混合工作環境成為新標準,幾乎每個專業人士,無論是內容創作者、研究人員還是工程師,都需要一台功能強大的人工智慧(AI)加速筆記型電腦來幫助使用者應對他們產業內最嚴峻的挑戰-即使在移動途中。 全新NVIDIA RTX500 和 RTX1000 Ada Generation 筆記型電腦 GPU 將應用於全新型高度便攜的行動工作站,擴展了基於NVIDIA Ada Lovelace 架構的產品陣容,其中包括 RTX 2000、3000、3500、4000 和 5000 Ada Generation 筆記型電腦。 AI 正在迅速被採用,以提高專業設計和內容創建工作流程以及日常生產力應用程式的效率,這凸顯了在系統中擁有強大的本地人工智慧加速和足夠的處理能力的重要性。 配備 RTX500 和 RTX1000 GPU 等 Ada Generation GPU 的新一代行動工作站將包括神經處理單元(NPU)、CPU 組件和 NVIDIARTX GPU,其中包括用於 AI 處理的 Tensor Core。 NPU 有助於卸載輕型 AI 任務,而 GPU 則可額外提供高達 682 TOPS 的 AI 效能,以滿足要求更高的日常 AI 工作流程。
29
[問卦] 高雄實居人口六都倒數第二?18
[問卦] 女友常邀隔壁黑人交換生來吃飯?18
[問卦] 如果你忽然有100億會開始過什麼人生呢?15
[問卦] 真的作戰,我們義務役如何跟志願役合作8
[問卦] 考上公務員可以輕鬆買房嗎?11
[問卦] 桃園是有什麼結界嗎? 颱風地震天災都無感12
[問卦] 金山長興宮也太慘烈了13
[問卦] 公教吸引力現在有優於國營嗎?6
[問卦] 解放軍根本沒把日本放在眼裡嗎?12
[問卦] 後天要去香港要怎麼玩才專業?11
[問卦] 開戰時撤僑機場地勤、機師是內奸怎麼辦?9
[問卦] 艾爾登法環破關後要玩什麼遊戲?7
[問卦] 新聞標題寫律師...點進去是黃帝穎?9
[問卦] 現在WW3的讀取進度到哪了8
[問卦] SONY MDR-CD900ST 女聲也太毒了吧@@9
[問卦] 雨量600毫米是什麼概念?8
[問卦] 問一部車子拖金庫的電影?7
[問卦] 台灣的空污已經比中國嚴重了嗎?9
[問卦] 支持無期徒刑犯劉志明再殺人的舉手8
[問卦] 加薩憑什麼比台灣搏取更多同情?4
[問卦] 找一部開馬自達所以遲到的電影8
[問卦] 找一部白人主角被CCR的片9
[問卦] 獨立音樂獨立樂團的得憂鬱症 很正常吧?9
[問卦] 為什麼台灣出國旅遊變成常態?8
[問卦] 有沒有好看的詐騙議題的電影或影集?7
Re: [新聞] 快訊/高雄淹水逾50cm可拿1萬5、泡水車7
[問卦] 中國是不是即將成為地球霸主?7
[問卦] 有可能ㄧ輩子都沒發現自己喜歡男生嗎??4
[問卦] 重機垃圾騎士幹5
[問卦] 遷首都到台中合理吧?