Re: [討論] AI晶片
現在業界單純說AI晶片是太籠統的說法了,
為了獲得最高效能與最高CP值,
業界把AI晶片細分成以下幾類,
1. Training 訓練:
這是目前業界最難做的部分,
目前只有Nvidia 跟 Google TPU 有量產並且是大規模用在資料中心,
基本上Training 需要用到的算力是Inference 的百倍到百萬倍以上,
這塊主要是用大量的資料來訓練出最佳深度學習模型
2. Inference 推理:
這塊是目前大部分的公司與新創公司最想要做的部分,
畢竟算力要求比Training低很多,
但是需求的量卻是Training的百萬倍以上,
這塊也是你我大部分人每天在接觸的AI晶片,
主要是拿已有深度學習模型來套用即時資料得到即時結果,
比方說手機裡頭的AI晶片: Google tensor, Huawei NPU 等,
監視器(尤其中國出產的)裏頭的即時人臉辨識, 天網系統,
自駕車裡頭的即時自駕運算晶片,
另一種說法,就是 edge computing,
當然Inference 推理不完全等於 edge computing,
因為很多資料中心還是會用Inference 推理晶片來做Training/Inference,
但是edge computing就一定是Inference,
然後ㄋ,這又可以因為演算法與應用的不同,
而又更細分不同應用的AI晶片,
目前最成熟也是最精準的就是影像應用的AI晶片,
精准度可到99.x%,
這也是中國最大力推動的部分,
例子就是我前面說的人臉辨識, 天網系統, 自駕車, 手機等,
目前你看到中國甚至是大部分的新創公司,都是做這塊,
中國甚至在一些地方可以得到更高的效能跟更精準的結果
但是還是有非常多不同的應用與需求,
比方說自然語言處理,
包含文字或是語音的處理,
這塊目前的發展就相對不理想,
不論是效能或是精準度都不理想,
不信你去玩一下一堆線上語音幫助系統,你就知道我說的,
但是這塊需求很大,
想想看接客服電話的工作就是個例子,
還有更多的應用,像是Ptt灌水機器人,
臉書發言省查系統等,
目前這塊只有Nvidia Google TPU兩家有晶片
然後還有一些非常特殊也相對冷門的AI晶片,
像是 youtube argos chip
https://9to5google.com/2021/04/22/youtube-google-custom-chip/
Smart NIC 等...
※ 引述《sheepmanager (AI專家)》之銘言:
: 這我來回答吧
: AI晶片一般是指用來加速深度學習模型推理的晶片
: 如果是訓練通常還是利用Gpu 因為生態系比較成熟
: 那麼深度學習推理時間會耗在哪裡呢
: 通常就是convolution 或是Gemm
: 當然convolution 可以透過線性代數幾次的轉換
: 變成gemm 這也是一門學問
: 所以矩陣相乘等於是最重要的運算了
: 你只要能加速這麼簡單的東西
: 就能號稱你在做AI晶片了
: 不斷的堆硬體上去 性能就出來了
: 甚至有些公司走火入魔
: 連非矩陣運算的指令都做了
: 因為深度學習的模型越來越大
: 所以並行去運算矩陣相乘就是很重要的事了
: 你的硬體並行時 耗電跟降頻做得夠好的話
: 就能有點能見度了 現在中國的新創沒有一家做到的
: 所以就有一些人腦袋動到光計算上面
: 訊號轉成光能計算 算完再轉回電
: 但這非常的不穩定 基本上也是不可能回收成本
: 好了 你說這麼簡單的話 那也很容易啊
: 然而 深度學習在運行過程中 還有一個很大的耗損
: 就是算子與算子之間的資料傳輸
: 用硬體加速過後 每個算子的時間大幅縮短
: 但是彼此之間的memory copy仍然耗損嚴重
: 於是cache或是local memory變的異常重要
: 算子與算子之間的fusion做得好
: 搭配上速度夠快又大的memory基本上也很厲害了
: 中國那一堆新創耗電降頻不行
: 現在就往這方向拼命做
: 那麼AI晶片前景怎麼樣呢
: 老實說 前景是死路一條
: CPU GPU 大公司都在從自家指令來優化模型
: 或是直接配上特殊資料格式 如tf32 fp8
: 華為的c4比起來就是個花拳繡腿 還推行不起來
: 我現在底下50多人就在做未來的方向
: 從模型優化演算法 記憶體策略 框架
: 到底層assembly加速 完整的一套方案
: 如果你有關注一些新的paper
: 優化到最後 對比常用硬體 AI晶片根本沒有優勢
: 就像挖礦沒有收益時的礦機一樣
: 純電子垃圾
: ※ 引述《QQmickey》之銘言
: : 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: : 自己也是理工背景 但是想問科技版的大大們
: : 這是真的嗎?
: : 我所學的 覺得不太可能
: : 雖然很多事很難講 已知用火
: : 諾貝爾物理獎也一堆錯的
: : 難道是神學
--
Smart Nic 也算?
看你怎麼定義AI 晶片, 狹義定義當然Smart Nic 不是 AI 晶片, 廣義定義所有AI 晶片都是硬體加速器 Accelerator, Smart Nic 當然算是Accelerator, 而且你也不知道Smart Nic 裏頭偷藏了甚麼東西, 搞不好主動幫你濾過關鍵字跟特定網站/ip, 充分展現天網價值
這篇才符合現況啦,現在CPU和GPU是要和NPU/APU拼什
麼…
中國為了影像辨識AI晶片還去特刻監視器專用的sensor
ARMv9有一些為了AI的Extension ARM也想吃edge這塊
那個充其量就是個coprocessor, 類似neon, vfp這種, 跟專屬的tensor/NPU 比起來, 效能還是差很多,
Intel也有AI啊(Nervana/Habana)但爛到美國不禁運
中國就更多了,燧源/商湯/寒武紀都有投片,效能就..
推分享
只不過中國掌權者真的很變態,徹徹底底的監控人民
這些影像辨識系統有一大部分拿去維穩
這篇比較正確
有大大知道AI晶片的需求量跟價大概是怎樣的概念嗎
edge 需求量很大, 尤其在中國, 你知道的, 全世界的手機現在幾乎都需要一顆影像處理AI晶片, 幾乎每家都有, 以後自駕車普及的話也是每台車要好幾顆這種即時影像處理晶片, 價格我不熟
例如跟CPU或GPU 車用包的話
不就邊緣運算 類CPU的東西啊 不過有特化而已
以研發人員的進入門檻而言, 不論是data center 或是 edge computing 都是一樣的門檻, 就是CPU/GPU技術背景, 基本上目前全世界在做AI晶片的人都是做CPU 或 GPU出身的, 但是邊緣運算 絕對不是類CPU這麼簡單, 裏頭硬體設計最複雜的是多核處理(遠比CPU多很多得多核), 用數學的說法就是矩陣運算硬體實現, 還有 memory cache bus 等非常複雜
那有誰知道 Tenstorrent 這家如何
我只知道 Jim Keller 到這家公司當CTO, 其他的我不清楚
※ 編輯: waitrop (24.5.140.67 美國), 09/19/2022 04:55:31推
感覺跟CPU差很多吧, 比較像systolic array
現在拚DSU比較有賺頭啦
主要你演算法進步 資料進步 沒有ㄧ定能有賺頭的東西
IC很難下去的
推
19
這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm11
首Po 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的 自己也是理工背景 但是想問科技版的大大們 這是真的嗎? 我所學的 覺得不太可能 雖然很多事很難講 已知用火5
多嘴插句話,除了Training跟Infer差異外,其實真的要細分還有從硬體、軟體的優化, 從最上層到底層跟硬體的結合才能夠把edge computing提升到產品落地階段。 像是閣下說的自然語言這塊把Transformer從軟體層面做降維優化、新一代更輕量的CNN模型 ,還有既有的半精度FP8這種跟指令集優化,另外這幾年學界比較有研究的從Complier上做 優化通用矩陣乘法。X
AI 人工智慧 30年前就有了 以前有部電影 說的就是AI 聰明的霍金也警惕人們 因為AI有可能有仿生的狀況 導致人類走向毀滅
96
[轉錄] 李家同:機械公司可以自己設計晶片作者: keel90135 (尼可) 看板: Tech_Job 標題: [討論] 李家同:機械公司可以自己設計晶片 時間: Wed Aug 24 12:53:15 2022 我們應該平心靜氣地研究低薪問題34
Re: [標的] 特斯拉在美國薪水的競爭力如何?先講結論 看組 特斯拉的旗下的業務很廣 馬投顧說過可以把特斯拉看成很多新創公司的集合 許多業務跟傳統車廠完全沒有交集 下面這張圖列舉了特斯拉涵蓋到的業務以及相對應的競爭對手 至於2025年預估的市值部分 參考就好28
Re: [標的] NVDA/AMD 討論周末閒聊, 如果這兩支股票要選一個, AMD會是個比較安穩的選擇, 因為在可預見的幾年內, AMD一直吃Intel的市場就夠了,19
Re: [新聞] 中國晶片爆雷潮 啟靈芯3個月前募資27億現剛剛在前同事的聊天群組裡頭聽到這新聞, 來搜一下還真的有找到, 來聊八卦, 這是我前同事, 我一兩年前說過一個故事,18
Re: [閒聊] 只剩AI創作的世界身為一個資訊從業人員,從另外一個角度來分享一下我的看法 目前程式設計師 a.k.a. 碼農的領域,其實已經有 "直接利用AI寫程式"的方式 包含Github的Copilot以及其他競品例如tabnine(但我沒用過這款) 目前的實用性老實說高出我的想像許多,甚至幾乎你只要函式名稱取的好,或是寫 個備註,寫個兩三行,剩下的Code AI直接都幫你「猜」出來14
Re: [新聞]全面禁止高階AI晶片出口中國要看懂這個新聞需要一些對於高速運算的基本知識。 輝達的GPU產品分成三種不同等級與用途,第一種叫做消費用晶片,也就是大家常常聽到跟使用的GTX跟RTX,主要用途在於遊戲運算以及虛擬貨幣挖礦,主要安裝在伺服器跟個人電腦上面 第二種等級的 GPU 是nvidia quadro系列,這種等級的GPU是與用來做3D繪圖運算用,用來渲染3D影像,主要安裝在工作站級的電腦上面。 最後一種等級的GPU是Tesla系列的A100跟更新的H100,他們的價格完全不是前面兩種等級可以比的,這種等級的GPU是安裝在高速運算中心,提供最高的算力。 另外這三種等級的晶片雖然都有其專有設計的目的,但是並非只能用在那個領域,要用A100來挖礦或是用RTX來跑深度學習都完全沒有問題的,他們的差別在於最高算力以及能耗上面,A100跟H100有著遠比其他等級晶片要高出許多的算力,要達到同樣算力,要用更多的能源,或是更多的空間以及更多成本。