Re: [新聞] 減少依賴輝達傳微軟將推自研首款AI晶片

waitrop 發表於 2023/10/8 下午4:05:17

看板Stock標題Re: [新聞] 減少依賴輝達傳微軟將推自研首款AI晶片作者

(嘴砲無雙)時間Oct 8 16:05:17 2023推噓23 推:25 噓:2 →:34

每次討論到Nvidia 就會引戰，
但是看到一堆不實的指控，
又會讓我忍不住想說明，
然後就引戰刪文，無限循環

先說結論：CUDA
就此打住，再多說就是引戰

這幾家大型軟體公司有自己的晶片與硬體研發團隊已經十幾年以上，
當然有自己的AI晶片一點都不會意外，
就以新聞說的微軟來討論，
微軟AI晶片主要有兩個項目: OpenAI, Cloud
OpenAI 用的晶片是微軟跟AMD合作，
由AMD主力開發賣給微軟

Cloud的部分才是新聞說的首款自製晶片，
這款自製晶片的研發團隊由兩個主力組成:
xbox硬體團隊 + 原snapdragon cpu core團隊，
原snapdragon cpu core團隊被高通整組裁員之後全部被微軟收下，
改作微軟Cloud 的晶片,
xbox硬體團隊除了xbox之外，
比較有名的是hololen project,
這個團隊實力很強，
做出來的AI晶片應該是不錯,
不過微軟很多時候做硬體只是為了殺價用，
讓人懷疑他們自己軟體部門是否會願意使用這款自製的晶片

同樣情況Amazon AWS有一堆自製的晶片與硬體，
最有名的是AWS ARM CPU 跟 lab126,
同樣的Google Cloud 也有一堆自制晶片與硬體，
甚至安卓/pixel/nest 也有一堆自製晶片，
所以不要以為市場只有Nvidia 能做AI晶片，
這些大型軟體公司都有能力做AI晶片，
效能都不輸Nvidia，
問題在CUDA (我不多做解釋了)

※ 引述《Lushen (pttlushen)》之銘言：
: 上次台裔Google科學家紀懷新Ed H. Chi (L9)來台灣接受訪問的時候就有談到這個:
: 今天記者會上，紀懷新也解密，其實 Google 在訓練 AI 時，100% 使用的都是自家的: TPU，「Google 很早就在 AI 領域投入了大量資源，包括硬體，包括裡頭的數學、算法等: ，這些都是我們的強項。」
並不是100% 使用的都是自家的TPU，
最多就只是他的部門的某一兩個project 用自家的TPU,
我沒有詳細數字，
但是我猜大概50%用自家的TPU

原因很簡單，
自家的TPU是對自家特殊的算法做加速,
每個TPU的設計都不同，不能共用，
比方說，
現在最熱門的LLM需要極大的記憶體空間，
對運算速度需求反而不是最大瓶頸，
所以會有一款特製TPU把記憶體拉到最大來符合LLM需要，
但是這款TPU拿去做search, youtube 圖像辨識等等卻又不適用了，
並不是每個算法與專案項目都有相對應的TPU，
可能難度過大或是需要的資源過多，
也有可能這個專案只需要一些機器就夠用，
也有可能這個專案只需要一次性短時間train data,
所以很多算法與專案項目是直接拿Nvidia or AMD GPU

: Google 2023 最新的論文
: TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with: Hardware Support for Embeddings
: Abstract
: 1.2x–1.7x faster and uses
: 1.3x–1.9x less power than the Nvidia A100
客製化的TPU or ASIC一定比GPU快，
某些TPU在某些特殊算法上面的應用甚至比H100 快很多，
但是這些TPU or ASIC並不是通用AI 晶片，
無法通用在各式各樣的算法與應用

: 大公司自己搞這些東西沒問題
: 沒資源搞這些有的沒的還是只能跟Nvidia買沒衝突
: 至於什麼生態
: 大公司完全可以自己在公司搞一套自己專用的工具
: 進來的人自然會想辦法學會這套工具怎麼用
: https://www.inside.com.tw/article/32510-Google-Bard-Ed
: 微軟要搞鏟子好啊
: 還是只能找台積電代工
: 代工鏟子94舒服
: ※ 引述《jerrychuang ()》之銘言：
: : 原文標題：
: : 減少依賴輝達傳微軟將推自研首款AI晶片
: : 原文連結：
: : https://ec.ltn.com.tw/article/breakingnews/4451397
: : 發布時間：
: : 2023/10/07 11:13
: : 記者署名：
: : 原文內容：
: : 〔財經頻道／綜合報導〕根據《The Information》報導，微軟（Microsoft）可能下個月
: : 在其年度開發者大會上，推出首款專為人工智慧（AI）設計的晶片。

--

※ PTT 留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)

※ PTT 網址

推

kakar0to 10/08 16:07CUDA只是一個語言.要取代很容易

推

zerro7 10/08 16:08蘋果只是一種手機要取代很容易?

推

pkro12345 10/08 16:09晶片只是一堆砂子要取代很容易

推

la8day 10/08 16:11長久下來還是會不斷有人試著用ASIC

→

stkoso 10/08 16:11那你慢慢取代我都賺爛了10幾年後你再開始賺

→

Brioni 10/08 16:21CUDA是框架吧？Linux: fxxx you NV

→

Brioni 10/08 16:22怎沒人弄一個開源的？還是都寄望OpenCL?不可能吧

→

Brioni 10/08 16:25不過玩大顆GPU的其他大廠也只有AMD、牙膏，他們不合

→

Brioni 10/08 16:25作搞開源新框架，其他廠就是繼續自己開ic

推

xm3u4vmp6 10/08 16:25可以參考George Hotz的想法

→

xm3u4vmp6 10/08 16:26他講過AMD驅動就是爛到爆軟體爛

→

xm3u4vmp6 10/08 16:27一堆想搞ai晶片的思路是錯的要從軟體先下手

推

abccbaandy 10/08 16:301F嘴砲誰不會？這麼多年有人取代了？

推

xm3u4vmp6 10/08 16:35https://geohot.github.io/blog/jekyll/update/20

→

xm3u4vmp6 10/08 16:3523/05/24/the-tiny-corp-raised-5M.html

推

xm3u4vmp6 10/08 16:40一堆新創ai晶片多少死掉根本騙投資人重點是讓現

→

xm3u4vmp6 10/08 16:40有的軟體無腦運作順暢在你的晶片

→

xam 10/08 16:42通常開源的缺點就是驅動力不足,優點也是沒驅動力的

→

xam 10/08 16:42情況下

→

lolpklol097510/08 16:58像IOS的生態? NV也創建自己的生態

→

bnn 10/08 17:03生態圈是幾萬幾十萬開發者的力量你要一家公司對幹

→

bnn 10/08 17:04你要嘛證明說你有成倍的提升要嘛你更簡單好用上手

→

bnn 10/08 17:05不然你就要降價夠便宜讓其他公司跟你租

→

k85564 10/08 17:221F嘴砲 csp用自己的晶片不可能完全取代gpu的

推

henry326326 10/08 17:531F是我看過今天最好笑的話，完美的展現出對軟體業

→

henry326326 10/08 17:53的無知

推

pacino 10/08 19:46黃董說過：NVDA是軟體公司。知道了吧？

推

TWkobe5566 10/08 20:18C++也是一種語言要取代很容易XD

→

xm3u4vmp6 10/08 21:42我在等tinygrad超猛電腦只要15000鎂

推

xm3u4vmp6 10/08 21:44可以先預購超便宜的啦

推

Sixigma 10/08 21:45台積電也只是一家公司，要取代很容易

推

q3512768 10/08 22:061F是在反串嗎嚇死了

推

dragonjj 10/08 22:08其實AMD也有在搞但是沒有CUDA 加上一堆演算法專家

→

dragonjj 10/08 22:08不去支援所以CUDA就讀大了!

推

twlin 10/08 22:55微軟今年初已經把整個cpu core團隊裁掉了…

能做事比不上政治正確, 這件事我十年前就看破了, 十年前明明做出64bit kryo, 卻因為政治問題被上層壓著不出反而去用ARM IP, 之後卻把過錯怪在這個組上面大裁員, 當時我就看破離開, IP 組沒掛revenue 的都是這樣任人宰割, 後來他們約我去微軟開發AI 晶片, 但是我進去之後還是覺得這條路不是辦法, 必須要自己掌握住revenue 跟 end product 才行, 所以我又離開了現在他們加入ARM 應該會比較好一點, 在Jeff 下面有他保護著, 不會有這些政治問題, Jeff 是個好人, 也跟我一起流浪到這幾個組, 他算是自己人, 也很了解他們的政治問題

噓

ekgs 10/08 23:14CUDA弄開源XDDD 我看你逆向工程要做到哪時

推

fourkg 10/09 00:22你忘了推TQQQ

→

kamitengo 10/09 00:35那為啥tesla要搞dojo？這些在台面上的都富可敵國，

→

kamitengo 10/09 00:35請foundry代工後自用，針對自己的應用優化設計，也

→

kamitengo 10/09 00:35不對外銷售，nv想阻擋都無從下手。這幾家開始

→

kamitengo 10/09 00:35tape out就是現在進行式