Re: [新聞] 阿里巴巴推新晶片中企搶攻自主技術拼不

waitrop 發表於 2025/9/1 上午8:11:46

看板Stock標題Re: [新聞] 阿里巴巴推新晶片中企搶攻自主技術拼不作者

(嘴砲無雙)時間Sep 1 08:11:46 2025推噓42 推:42 噓:0 →:26

週末來閒聊美中AI晶片的故事,
這是我個人觀點也會加上我對未來十年的看法,
我盡量避免中美政治議題與辦公室政治學

先說結論,
這也是我當年面試高通SnapDragon Core team時,
最大的頭跟我說的話:
業界一直在重複循環相同的發展,
從大到小, 小再到大,
從單機到分散式處理, 再從分散式處理到單機

他當年在IBM做Mainframe,
同時期的競爭對手是SunMicro System,
當時的情況就跟現在AI比拼算力一模一樣,
大家都想盡辦法做出超級電腦,
結果他們團隊在離開IBM時的最後一個project,
是跟蘇大媽合作的cell process, 給遊戲機使用,
然後他們出來開公司做的是手機ARM CPU,
而同樣的對手從SunMicrso System離開也是開公司(PA Semi)做手機ARM CPU,
又很巧合的一家被高通收購,
另一家被蘋果收購,
他說他們無法想像同一個團隊做比一個房間還要大的超級電腦,
最後居然是做比一個指甲還要小的手機CPU

以下是我的看法,
AI 晶片正在走過一模一樣的路,
現在處在堆算力的超級電腦階段,
之後一定會慢慢演變到EdgeAI,
模型也一定會從LLM 慢慢轉變成分散式處理的SLM,
我無法給確切時間,
但是我猜兩三年內會轉換成分散式處理的SLM,
EdgeAI的應用應該在三到五年內會普及,
再多說就太底層的東西,
我自己也不是很懂,
反正你上網找SLM, LLM, EdgeAI 就能找到相對應的公司股票

接下來我用編年史的方式描述AI晶片的發展過程,
大概在2010年之前,
大部分的ML都還是靠CPU 運算比較多,
GPU加速有, 但是幫助不大,
真正帶起這波AI浪潮的關鍵在2010年初期,
有人拿GPU 去跑類神經網路 (neural network),
把一個卡住四五十年的人類古老科技 (neural network),
用GPU 的算力重新定義,
也就是Deep Learning,
AI 晶片突然火紅起來

在2010年初,
只有NVDA GPU能跑Deep Learning,
華為在那時候想開發類似的AI 晶片跑Deep Learning,
也就是昇騰的第一版,
同時間,
寒武紀把NPU AI晶片的想法實現在手機上,
谷歌那時候也看到Deep Learning的威力, 開始開發TPU
所以第一波AI晶片的領跑者是NVDA,
谷歌, 華為, 寒武紀大概落後NVDA一兩年,
不過同樣是第一梯隊

手機NPU的研發相對沒那麼困難,
所以隔不久,
很多公司也就跟著發表類似的手機NPU,
包含蘋果, 高通, 谷歌 (Tensor), 聯發科 (後來分出來成耐能科技),
這大概是2016年左右

但是server端的AI 晶片開發並不順利,
很多公司嘗試打入 server AI 晶片, 全都失敗,
這段時間, 2016-2022年,
只有NVDA 一家寡占,
其中有一些公司陸續開發一些ASIC,
像是阿里巴巴的含光, Amazon ASIC, 谷歌TPU,
但是"每年"一直持續開發演進的只有谷歌TPU,
原因是AI應用達到瓶頸了,
Deep Learning 在影像處理跟語音辨識等等超強,
但是到了2022年,
這些應用已經到了極限, 能用到的都用了,
圖像分辨率可以高達99.99% (你逃不掉天網的),
AI很像要冷卻下來了,
現有的ASIC 處理影像, 語音跟手機照相, 監視器等等已經足夠,

然後就迎來了AI二次革命, ChatGPT,
這個真的把業界打得措手不及,
谷歌是真的被殺的很慘,
尤其GPT這算法還是谷歌自己發明自己open source,
被別人拿自己的魔法來攻擊自己,
2022年之後,
ChatGPT 帶來LLM的需求,
之前所有的設計全都不適用, 不能用在LLM,
不論是NPU, TPU, 含光, 昇騰全都不能用在LLM,
整個架構跟設計必須重做,
當然,
事情沒有真的那麼糟,
畢竟LLM (ChatGPT) 只是千萬種AI應用之一,
大部分的AI應用不用LLM的話,
舊有的ASIC跟架構還是能順順使用

只是2022年之後,
LLM ChatGPT在風頭上,
但是當時全世界只有NVDA GPU能夠跑LLM,
業界必須重新設計架構來面對LLM,
這兩三年業界也的確研發出新的架構可以處理LLM,
包含博通, Alab, Mrvl, 谷歌TPU等等,
華為的解法是類似博通Alab的方式用網路堆算力,
阿里巴巴跟寒武紀的架構我就不熟了,
故事講完了

※ PTT留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)

※ PTT 網址

→

bnn 09/01 08:25tapeout週期性發展先做個大的把東西塞進去Demo功能

→

bnn 09/01 08:26然後再微縮化想辦法做小省錢提高die count

→

bnn 09/01 08:27做小後新的知識和layout成熟就繼續做大堆數量提升

→

bnn 09/01 08:27達成更高單晶片算力 loop

推

sswgame 09/01 08:31推分享，學歷史

推

easyman 09/01 08:33Edge 我賭riscv

→

totoro7923 09/01 08:38商學組有看沒有懂淚）

推

davie11333 09/01 08:43謝謝TQ王分享

推

sdbb 09/01 08:44謝謝

推

birdane32 09/01 08:46FPGA呢

推

stevenkuo 09/01 08:48厲害，六年級前端班生以上嗎

推

sdbb 09/01 08:49祝假期愉快

推

shead1983 09/01 08:51好文值得推，感謝提供投資思維

推

meviswei 09/01 09:01嗯嗯對對跟我想的一樣

推

palapalanhu 09/01 09:03推

推

noddle 09/01 09:17感謝

推

roseritter 09/01 09:20推故事

推

dragonjj 09/01 09:33謝謝分享現在似乎要專精於網路的迭算力所以傳輸

→

dragonjj 09/01 09:33很重要單個晶片就是拚不過輝達要並聯了!

推

Destiny6 09/01 09:35感謝分享，感覺LLM還要再變革架構才能更前進就是..

→

Destiny6 09/01 09:35. 可能是用免費版CHATGPT吧，失憶還是滿嚴重的...

→

ActionII 09/01 09:43狗家兩邊都有成果，看影片感覺新披索的edgeai還不

→

ActionII 09/01 09:43錯

推

israelii 09/01 09:44https://i.imgur.com/CBNWRvk.jpeg

→

ActionII 09/01 09:44重返榮耀？

→

israelii 09/01 09:45阿里巴巴開盤就大漲18％有夠猛但台灣要買很麻煩

→

israelii 09/01 09:45 應該沒有什麼人吃到這一波可惜

推

pantani 09/01 09:49美股baba啊蒙格之前被套很慘

推

flyawayla 09/01 10:03感謝前輩分享，先推再享用

→

welkin0105 09/01 10:10美股的巴巴上周五就十多趴了，敢追要心臟大顆

推

qw99992 09/01 10:18買狗沒事

推

strlen 09/01 10:32他的手穿過我的巴巴

推

atpx 09/01 10:47推分享

推

andy7829 09/01 10:49推講古

推

masala 09/01 11:12推AI講古！我猜gpt無法講得比這篇好

推

tkc7 09/01 11:12好奇架構為何不能用在LLM? 不都是deep learning

原來的架構記憶體不夠大可以處理LLM 訓練, NVDA GPU 在那時候就已經可以串連(NVLink, NVSwitch)做LLM 訓練

→

rbelldandy 09/01 11:20卷起來棒

※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:04:45

推

lanslore 09/01 12:04推分享

※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:05:44

推

minazukimaya09/01 12:14繪圖架構的天生優勢就是大通道高頻高容量記憶體囉

→

minazukimaya09/01 12:14畢竟原本需求就要存大量的texture

推

minazukimaya09/01 12:17我覺得下一波需求Server AI會從LLM往World Model走

→

minazukimaya09/01 12:17LM會下放到edge AI 但會往雲端調用高級需求(深度推

→

minazukimaya09/01 12:17理之類)

→

minazukimaya09/01 12:18Edge需要更深度與Home和Glass之類的應用整合

推

hc23310 09/01 12:22推一個

推

doitlasting 09/01 13:32好文推

推

doitlasting 09/01 13:36請問edge AI現在已經很成熟了不是嗎？例如車用、工

→

doitlasting 09/01 13:36廠自動化之類的，認為會有爆發性成長是指在更多領

→

doitlasting 09/01 13:36域？

EdgeAI 跟 SLM 只是個統稱, 其方向是對某些AI應用做本地端的硬體加速與應用, 每種不同的EdgeAI 跟 SLM 都有完全不同的設計, 所以EdgeAI 與SLM 的方向跟AGI剛好相反, 但是可以透過分散式處理達到AGI的效果所以EdgeAI 很成熟只在特定某些部分的應用, 目前最成熟的是圖像辨識跟語音辨識, 比方說人臉辨識99.99%準確率, 阿里巴巴的含光最強的就是圖像辨識這塊, 被拿去裝在無人商店監視器, 天網系統, 小愛等等, 但是Chat GPT類的應用在 EdgeAI 非常不成熟, 目前只有Gemini 能夠在EdgeAI 本地執行, OpenAI ChatGPT要遠端連線到伺服器處理我個人看法, 自駕車跟智慧眼鏡雖然還稱不上是成熟, 但是自駕車跟智慧眼鏡的EdgeAI廣泛運用今年已經開始, 大概一兩年的時間能夠成熟, 監視器,語音辨識等等已經完全成熟, 最後最難的部分會是在手機的EdgeAI, 因為手機的EdgeAI 會比較偏向AGI, 各種AI應用都會想在手機上面實現

推

minazukimaya09/01 13:41Edge AI永遠都有功耗和性能提昇的需求因為哪些應用

→

minazukimaya09/01 13:41和運算會下放到Edge是一個動態進化的過程

推

lawy 09/01 13:42推

推

doitlasting 09/01 13:45類似windows或iso 要一直update然後越來越吃硬體規

→

doitlasting 09/01 13:45格這樣？

推

minazukimaya09/01 13:49是也不是作業系統再怎麼升級功能都是作業系統