Re: [討論] AI晶片
這我來回答吧
AI晶片一般是指用來加速深度學習模型推理的晶片
如果是訓練通常還是利用Gpu 因為生態系比較成熟
那麼深度學習推理時間會耗在哪裡呢
通常就是convolution 或是Gemm
當然convolution 可以透過線性代數幾次的轉換
變成gemm 這也是一門學問
所以矩陣相乘等於是最重要的運算了
你只要能加速這麼簡單的東西
就能號稱你在做AI晶片了
不斷的堆硬體上去 性能就出來了
甚至有些公司走火入魔
連非矩陣運算的指令都做了
因為深度學習的模型越來越大
所以並行去運算矩陣相乘就是很重要的事了
你的硬體並行時 耗電跟降頻做得夠好的話
就能有點能見度了 現在中國的新創沒有一家做到的
所以就有一些人腦袋動到光計算上面
訊號轉成光能計算 算完再轉回電
但這非常的不穩定 基本上也是不可能回收成本
好了 你說這麼簡單的話 那也很容易啊
然而 深度學習在運行過程中 還有一個很大的耗損
就是算子與算子之間的資料傳輸
用硬體加速過後 每個算子的時間大幅縮短
但是彼此之間的memory copy仍然耗損嚴重
於是cache或是local memory變的異常重要
算子與算子之間的fusion做得好
搭配上速度夠快又大的memory基本上也很厲害了
中國那一堆新創耗電降頻不行
現在就往這方向拼命做
那麼AI晶片前景怎麼樣呢
老實說 前景是死路一條
CPU GPU 大公司都在從自家指令來優化模型
或是直接配上特殊資料格式 如tf32 fp8
華為的c4比起來就是個花拳繡腿 還推行不起來
我現在底下50多人就在做未來的方向
從模型優化演算法 記憶體策略 框架
到底層assembly加速 完整的一套方案
如果你有關注一些新的paper
優化到最後 對比常用硬體 AI晶片根本沒有優勢
就像挖礦沒有收益時的礦機一樣
純電子垃圾
※ 引述《QQmickey》之銘言
: 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: 自己也是理工背景 但是想問科技版的大大們
: 這是真的嗎?
: 我所學的 覺得不太可能
: 雖然很多事很難講 已知用火
: 諾貝爾物理獎也一堆錯的
: 難道是神學
--
推!
推
電子垃圾那幹嗎做??大數據之前就有了
而且優化到最後ai不是會自算嗎??
推
疑惑?哪個做AI晶片的不最佳化暫存器不最佳化快取的
請問最近Graphcore的IPU有搞頭嗎?
老闆請問有缺人嗎?
涼
謝謝補充說明
涼
有缺人嗎(舉手
說穿了Ai晶片只是GPU的subset
GPU DSP VPU NPU TPU 科科
用asic做不贏gpu cpu based的ai晶片,倒一倒算了
BIREN的BR100/BR104 你評價如何?
ASIC做不贏收收會好點 現在問題不是做不贏 是時候還
沒到
唉,將帥無能累死三軍就是這樣...明明能賺錢的東東
自以為垃圾
推
大公司都有AI processor 像tpu等 cpu/gpu/tpu很難
互相取代
同意樓樓上
你自己不行 希望你底下的人能取代你
看不出是真的還是唬爛的 只看的出想被喊"大大你好厲
害"哈
你意思是給你50人,然後你做出垃圾嗎
你哪個部門說一下 我不敢去...
推電子垃圾
這個人的文章 可信度存疑 給噓
MIT 韓那個lab看一看抄一抄搭上台積電很難嗎
那個未來的方向早就做好幾年了,一聽就知道你不是那
方面背景的,只是年資長就被不懂的人資抓去當大頭
呵 好幾年 怎麼減小transformer的sequence說來聽聽
你有top conference嗎
這種優化還要搭配硬體 PTT臥虎藏龍啊 還能早好幾年
做出新硬體並軟硬配合 看來data center cpu gpu
都是台廠天下了 但市佔率好像是0欸
美國做這類的新創去年才出來 都沒有ptt的厲害 嘴巴
超越加州
推 好心
考慮效能也要考慮功耗和資源,要這樣說影像壓縮用軟
解,理論上目前廣用硬體也可以超越專用硬體
目前純AI晶片台灣也不是排在前面的,資料中心沒有台
廠晶片也很正常
專用硬體架構輸CPU GPU硬幹 你有沒有想過會不會輸的
是做的那個人
google的gpu要求可是白天運行遠端遊戲 晚上才跑AI
專用硬體做得到嗎 又不是做了AI功能大家就會買單
當然google不會這樣要求自家的東西 但是晶片公司處
境就是這麼坎坷
你該不會只知道用CMOS硬幹吧 這樣當然輸大廠
講的都不是同一個東西你也能回
會講TOP Conference就知道是外行了,重要東西都公司
內部自己做誰會去公開重要的東西,再來近年論文品質
越來越水,不是拿簡單dataset東西做看起來高難任務
就是隨便接個transformer performance看起數字變好
就行了,講美國新創還來這邊留言不會是在sifive做吧
觀念不太正確
噗 nvidia跟微軟都是外行 你們公司最內行
不要講這麼多把你們家MLPerf數據貼上來看阿 呵
呵呵 想釣人? 我們MLPerf數字蠻多的啦 然後呢 給
你看幹嘛 讓你去歐兔徵友?
這樣就怕啦XDDD 只說多就是排名不高,敢出來在網路嘴
一定不是大公司的,八成就是待過大公司跳到小公司
或竹北中資騙騙錢那種等級的
呵呵 讓你酸又不要緊 我可不想被認出來 比起一個徵
友徵四年的人 我還是蠻注重隱私的
講top conf外行? 不如你先說自己發幾篇吧 不是很水?
不公開 整個社群哪會進步? github都是佛心來的?
確實挺佛心的
先贏得了耐能再來說嘴
口憐喔,還沒退休...
就連不是做電路端做材料的都知道你講的問題解答在哪
你到底多久沒看文獻...
哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖
出來了 NV記憶體存取的專利就是這產業最有價值的東
西 你看看文獻就能找到 intel amd的人都不如你呢
想必是個fellow吧
Raja Mike hong 都解決不掉的問題 你查文獻就能查
到欸 奇才啊
啊不對 連jim keller 這種傳奇人物都沒處理掉這問
題 你一個材料專業的人吊打這些大神喔
連citadel這種頂級投行找了專業的人去研究nv硬體的
行為 最後的分析報告也沒能觸碰到核心 你說看文獻
就可以了 太神了
我也不看好 XD
他就是之前工作十年 美商主管職哥啊 呵呵
Top conference 都嘛做完 賺完錢去秀肌肉的
現在問題是market 做了要賣誰? 做了會不會被卡 能
做AI針對某NN專用IC的公司數起來都沒幾家
Special purpose的電路效能會輸general purpose,
聽起來就不合理
TVM卡了好一陣了 說實話概念好 但很難推
是啊 但誰會那麼做 那來市場可賣?
Top conference 硬體相關的一堆都在玩bit … 壓縮
XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是
這樣搞啊
推!
誰跟你比電路效能 最後都是整網性能下去看 硬體性
能再強也強不過直接從模型優化
現在都是ㄧ起做好嗎? 這也是很多公司搞得不上不下
死在沙灘上的原因
11
現在業界單純說AI晶片是太籠統的說法了, 為了獲得最高效能與最高CP值, 業界把AI晶片細分成以下幾類, 1. Training 訓練: 這是目前業界最難做的部分,11
首Po 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的 自己也是理工背景 但是想問科技版的大大們 這是真的嗎? 我所學的 覺得不太可能 雖然很多事很難講 已知用火5
多嘴插句話,除了Training跟Infer差異外,其實真的要細分還有從硬體、軟體的優化, 從最上層到底層跟硬體的結合才能夠把edge computing提升到產品落地階段。 像是閣下說的自然語言這塊把Transformer從軟體層面做降維優化、新一代更輕量的CNN模型 ,還有既有的半精度FP8這種跟指令集優化,另外這幾年學界比較有研究的從Complier上做 優化通用矩陣乘法。X
AI 人工智慧 30年前就有了 以前有部電影 說的就是AI 聰明的霍金也警惕人們 因為AI有可能有仿生的狀況 導致人類走向毀滅
爆
[討論] 法環-建立在讀指令的難度?大家可能有看過這張動圖 基本上就是門外小怪讀你放法術(攻擊)的指令來閃避 打一些ai可能也會發現 像是百足怪 幾乎是只要你第一次攻擊他就會往旁邊閃爆
Re: [問題] 繪師有權力禁止別人學習畫風?兩邊都有學一點,試著回一下: 「繪師能不能禁止AI學習他的畫風?」 其實這個問題預設條件就錯了,現行的AI其實追根究柢到最後都是統計技術, 那種「會自己思考」的AI還不存在,可能也還要很久才會出現。 現在所謂的AI技術幾乎都是指深度學習、類神經網路等技術,55
Re: [問題] FS社弄優化都這麼慢的嗎?先說沒有,嚴格來說 PS5 版比 PC 版還順,以下解釋。 基本上目前所有解法其實都是偏方,當然如果意外因此跑得很順的話......恭喜? 除了 Steam 的 Linux 模擬層 Proton 自己偷偷幫法環修好了以外 XDDDDD 先解釋清楚一下這次 PC 版卡頓的主要理由是因為 DX12 Shader Compilation。28
Re: [閒聊]Mac 就是與遊戲無緣,MacBook升級到M2晶片也沒用其實Mac現在用的Apple Silicon(以下稱AS),在硬體上比遊戲機還遊戲機 PS5/XS用的AMD APU,一開始的目的就是想要將CPU/GPU整合 但因為PC上面的獨立顯卡盛行,所以一直沒有真正的整合 蘋果則是直接讓AS除了CPU/GPU外,還整合了一堆其他晶片 很多人以為Mac的顯卡不行,但其實AS的GPU已經不差了34
[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?雖然下了很農場的標題 但這一篇認真的研究論文 大家或許以為AI跟色圖很遙遠 但事實真的是這樣嗎 在一年前可能沒有錯 但經過最近的突飛猛進 故事已經進入了新的轉捩點19
[情報] 類比電腦的未來可能性?類比電腦(Analog computer)是有別於數位電腦(Digital computer)的一種計算裝置, 在早期的計算機發展史當中也算具有一席之地, 但後來因為真空管元件與二進位理論的適配性, 讓數位電腦在泛用性上大大超越了類比電腦。 結果就是,現在,提電腦這兩個字,沒人會想到類比模型的電腦去。18
Re: [閒聊] 只剩AI創作的世界身為一個資訊從業人員,從另外一個角度來分享一下我的看法 目前程式設計師 a.k.a. 碼農的領域,其實已經有 "直接利用AI寫程式"的方式 包含Github的Copilot以及其他競品例如tabnine(但我沒用過這款) 目前的實用性老實說高出我的想像許多,甚至幾乎你只要函式名稱取的好,或是寫 個備註,寫個兩三行,剩下的Code AI直接都幫你「猜」出來14
Re: [新聞]全面禁止高階AI晶片出口中國要看懂這個新聞需要一些對於高速運算的基本知識。 輝達的GPU產品分成三種不同等級與用途,第一種叫做消費用晶片,也就是大家常常聽到跟使用的GTX跟RTX,主要用途在於遊戲運算以及虛擬貨幣挖礦,主要安裝在伺服器跟個人電腦上面 第二種等級的 GPU 是nvidia quadro系列,這種等級的GPU是與用來做3D繪圖運算用,用來渲染3D影像,主要安裝在工作站級的電腦上面。 最後一種等級的GPU是Tesla系列的A100跟更新的H100,他們的價格完全不是前面兩種等級可以比的,這種等級的GPU是安裝在高速運算中心,提供最高的算力。 另外這三種等級的晶片雖然都有其專有設計的目的,但是並非只能用在那個領域,要用A100來挖礦或是用RTX來跑深度學習都完全沒有問題的,他們的差別在於最高算力以及能耗上面,A100跟H100有著遠比其他等級晶片要高出許多的算力,要達到同樣算力,要用更多的能源,或是更多的空間以及更多成本。- 其實現在有個癥結點就是 AI其實有嚴格定義 很多號稱AI的根本不是AI 就只是比較龐大的資料庫 真正的AI定義是要有學習能力的 而這種有能力"學習"的AI