PTT推薦

[閒聊] 現在橫空出世的NPU

看板PC_Shopping標題[閒聊] 現在橫空出世的NPU作者
wahaha99
(我討厭人類)
時間推噓16 推:16 噓:0 →:54

為了因應即將到來的AI時代,
各家CPU廠開始在CPU裡面加入NPU, 即神經網路處理器

這邊已有一篇評測

https://www.youtube.com/watch?v=cN_bm3jT5VI

以這個評測為例, 讓我有點霧裡看花, 不是很能明白:

Intel Ultra 7 155H

CPU分數 67
GPU分數 413
NPU分數 282

嗯....這NPU看起來沒比較厲害?

所以我的疑問就是:

1. NPU 表現還不如 GPU, 這也許可以理解為最佳化還沒到位,
不過即使未來能小贏, 為什麼不拿去做GPU就算了, 還可以增加3D性能。

2. NPU 能執行通用計算嗎? 如果可以, NPU 只是神經網路運算特化
的 GPU?

3. 如何調用 NPU? 是視為 OpenCL / DirectML 裝置?
還是又整出新的方法跟API了?
又或只是在GPU下的子集? (調用核顯運算時指示調用NPU?)

有沒有正在行內的說說看吧...

-----

未來五年可能漸漸開始沒人要比x86性能, 改比NPU性能了...


--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.169.11.48 (臺灣)
PTT 網址
※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 16:47:57

smallreader 12/27 16:53類似說桌上型處理器可以直接用CPU算

smallreader 12/27 16:53但行動裝置會太耗電所以設計專用電路

friedpig 12/27 16:58asic拼的就能耗比 除非規模堆到超大 不

friedpig 12/27 16:58然輸GPU 也還好吧

確實 要等NPU的每瓦性能出來才知道 不過類神經網路也是百百種 應該不會是ASIC這麼沒彈性的做法吧

※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 17:00:31

friedpig 12/27 17:00相容性87%靠one api去處理吧 牙膏養一

friedpig 12/27 17:00堆人做one api不是養假的

friedpig 12/27 17:06牙膏的npu 居然是有支援fp16的 本來以為

friedpig 12/27 17:06只有到int8的 ASIC

wahaha99 12/27 17:09fp16一定要的吧 int8跑AI應該很BI

SHR4587 12/27 17:17看起來問題會是桌上型真的需要這東西嗎

SHR4587 12/27 17:18目前看起來煮戰場會是筆電跟平板,看微軟

SHR4587 12/27 17:18之後的動向了

wahaha99 12/27 17:19如果AI服務成為標配,那桌上型肯定也要啊

wahaha99 12/27 17:21尤其是沒獨顯的系統

aegis43210 12/27 17:28因為微軟想推廣copilot,所以一定要有

aegis43210 12/27 17:28NPU

kimula01 12/27 17:33以後說不定玩lol可以離線全AI隊友了

kimula01 12/27 17:34全隨機中路 本地電腦運算AI控制隊友

aegis43210 12/27 17:34實際上MTL上面的應該叫VPU,並不是專

aegis43210 12/27 17:34門拿來加速LLM的推論,所以只是堪用程

aegis43210 12/27 17:34度,真正的NPU要等ARL

kimula01 12/27 17:35星海爭霸3搞不好也不用微操 每個都AI算

rgo 12/27 17:44炒股用的話術 1-2個月就消風啦

rgo 12/27 17:46但能把 宏碁 華碩這些帶到突破幾十年的新高也

rgo 12/27 17:46是很利害

lazioliz 12/27 17:55你先會用再來說吧

hidalgo22976 12/27 17:56應該是軟體要優化吧,等於arm64又

hidalgo22976 12/27 17:56多了類神經

hidalgo22976 12/27 17:57這華碩年前就在手機做過了

hidalgo22976 12/27 17:58現在還不成熟,之後再看吧

zo6596001 12/27 18:01未來說不定會出現AI小畫家,可以自動

zo6596001 12/27 18:01摳圖、調色。

Rust 12/27 18:03如果把這個 NPU 設計成插 PCI-E會有市場嗎

stepnight 12/27 18:25已經有自動摳圖了

pig 12/27 19:12可以參考一下 apple 的a系列跟m系列怎麼用的

Ceferino 12/27 19:16特化計算阿,而且應該是CPU+GPU+NPU混

Ceferino 12/27 19:16合計算,微軟的DirectML團隊應該正在忙

Ceferino 12/27 19:16這些事

oppoR20 12/27 19:16Pcie的不就是tensor tpu嗎

oppoR20 12/27 19:18當然沒像npu那麼通用就是了

ss218 12/27 20:21先有實際應用面再來討論效能也還來得及

tokikaze 12/27 20:23目前生成式AI那麼夯哪沒有實用面

Ereinion9895 12/27 22:46他能做的顯卡都能做,只是能耗問題

Ereinion9895 12/27 22:46還有是否最佳化過。要是你用4090,

Ereinion9895 12/27 22:46npu還是無法贏過那是當然。相較之

Ereinion9895 12/27 22:46下筆電上的npu會更加實用。能耗問

Ereinion9895 12/27 22:46

tint 12/27 22:47剛起步 而且還有等未來微軟Win12的要求標準

tint 12/27 22:53目前NPU主要是執行低精度矩陣乘法 功耗更低

leviva 12/27 23:33說不定zen 5 / arrow lake就會拼NPU了

crimsonmoon9 12/27 23:39int8在邊緣運算很常見啊 低功耗精度

crimsonmoon9 12/27 23:39也不會掉太多

crimsonmoon9 12/27 23:44*準確度

stepnight 12/28 01:30對你沒有實際應用

stepnight 12/28 01:30不等於這東西沒實際應用內==

menchian 12/28 02:12是蠻期待以後遊戲導入之後,能看到完全

menchian 12/28 02:12不同風貌的遊戲出現

asmodee 12/28 03:48等PS/XBOX導入再說吧

ma721 12/28 09:37再過2到3代再來煩腦

lpoijk 12/28 09:50當初cpu覺得算圖形很浪費 所以跑出了GPU

lpoijk 12/28 09:50同樣道理 現在gpu覺得算這些數學很浪費

lpoijk 12/28 09:51所以出了npu/vpu

lpoijk 12/28 09:51gpu還有很多其他能力 用4090其實很浪費

mitchness 12/28 10:48等3代以後吧 前面一定是又貴效能低

phylen 12/28 12:25目前看起來沒什麼特別優勢

phylen 12/28 12:25https://i.imgur.com/zYp9niP.jpeg

phylen 12/28 12:25https://i.imgur.com/0ix6TZR.jpeg

phylen 12/28 12:25https://i.imgur.com/N01MEMB.jpeg

phylen 12/28 12:25https://i.imgur.com/acIX0L9.jpeg

phylen 12/28 12:25https://i.imgur.com/NesAPsn.jpeg