PTT推薦

Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售

看板Stock標題Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售作者
oopFoo
(3d)
時間推噓10 推:50 噓:40 →:122

千禧年的網路泡沫,也是先炒作硬體商,Cisco, Sun...,Sun還有"dot in dot-com"的廣告。

網路確實是改變世界,但真正大賺的是軟體公司,而且是完全新鮮的軟體公司。

這次AI浪潮,應該也是類似。

N家這次炒作這麼高,是因為真的,Compute是供不應求。每個大公司都怕買不夠,跟不上。

但最近一些AI的發展,也許會發現,這些Compute是不需要的。

Mamba, RetNet, RWKV是從"Attention"的這點來改善。"Attention"是Quadratic Complexity,這是硬體需求的關鍵。現在在找方法從Quadratic改成Linear。

Mamba我很看好,它的作者之一也是"Flash Attention"的作者。

但昨天一篇新的論文,可能是真的翻天覆地的開始。
https://arxiv.org/abs/2402.17764
"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"
https://news.ycombinator.com/item?id=39535800
hn的討論。

現在討論的共識是,可行,理論基礎很扎實。各路人馬開始指出,從2006年開始的這方面研究,已經找出好多篇證實這方向是可行的。

現在的LLM是用fp16(16bits),這方法可1.58bits,(討論說可以縮到0.68bits)
然後本來是fp dot product的只要int add。

輕鬆10x的效能,新ASIC針對Ternary weight發展可以輕鬆100x的效能改善?

如果這篇證實是可行的,AI起跑點重新設置,所有公司的價值都要重新計算。

這篇的作者群很有資歷,但很有趣的是,主要是來自北京/清華大學。美國猛力壓制中國的運力運算,造就不太需要Compute的方法的發現,戳破美國AI泡沫,這會是非常的諷刺。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.70.128.119 (臺灣)
PTT 網址

addy7533967 02/29 08:08蒜粒概念股有嗎

YummyLin212002/29 08:10可惜民進黨逢中必反 根本反智

leochen124 02/29 08:11中國沒有a100也可以發論文?

patrol 02/29 08:13嗯,先拿點實際的東西出來看看

sirins 02/29 08:13種蒜用農藥,重返榮耀哪一間我就不說了

poisonB 02/29 08:14說得很好 繼續加油啦

fedona 02/29 08:16實作的出來再吹

apple123773 02/29 08:16這時候崩真的好,大家就可以xdd

kausan 02/29 08:16算力需求根本沒極限 結案

wUbInG 02/29 08:17 可惜民進黨逢中必反 根本反智

otaku690 02/29 08:17對於降低資料頻寬的追求跟美國打不打壓沒關係啦

iamchuan314 02/29 08:18

zxcvb123452202/29 08:21投資那麼多算力,結果沒辦法賺錢,目前很多AI產品

zxcvb123452202/29 08:21的狀況

audic 02/29 08:21沒有算力才在那邊搞五四三,最終還是回歸算力追求

hwei9582905 02/29 08:21大紀元

audic 02/29 08:22跟縮小晶片跟先進封裝兩條線不衝突一樣

mojito888 02/29 08:22理論上時光機也做得出來,理論上啦!中或贏,要加

mojito888 02/29 08:23油餒…

ppon 02/29 08:23之前以太幣也是出現更有效率的挖礦法 結果沒人再用

ppon 02/29 08:23顯卡挖 AI感覺也是遲早的事

emind 02/29 08:25美國用這個技術訓練更大的模型?

tttt0204 02/29 08:25中文太爛,重寫一遍

littlejackbr02/29 08:26我很懷疑你到底知不知道自己在講什麼

AGODC 02/29 08:28就是沒算力才在那邊搞東搞西的,等這東西真的弄出來

AGODC 02/29 08:28,人家瘋狂買算力的都跑多遠了?

s5656556612302/29 08:29好了啦 你賺多少

WTF55665566 02/29 08:30優化架構本來就一直存在 把這個扯成跟打壓晶片有關

WTF55665566 02/29 08:30?問號

WTF55665566 02/29 08:30還在理論可行沒實作的東西看看就好 不要又搞個超導

WTF55665566 02/29 08:30體笑話

henry200306102/29 08:30你是誰

kausan 02/29 08:31這麼說好了 gpu遲早會降價 沒錢的公司可以等價格合

kausan 02/29 08:31理再買阿

powerkshs 02/29 08:31又是太監在自慰不用性生活ㄏㄏ

herrowui 02/29 08:31大學的論文著重在理論,是的理論!!

c928 02/29 08:32這文字看了就頭痛

ck326 02/29 08:33看到吹強國就可以不用看了

CORYCHAN 02/29 08:33大大你在電蝦版吹的MSI Claw

CORYCHAN 02/29 08:33好像是跑分80 性能40欸

CORYCHAN 02/29 08:33這樣還賣的比Ally貴是怎樣..

zsquarez 02/29 08:34說得很好,下次別說了

flycarb 02/29 08:34可4現在AI專家們都爽用CUDA欸,而且大力出奇蹟呢

e223833755 02/29 08:36跌了就出來透氣了

Fww 02/29 08:36看到吹強國就知道可以跳過了

flycarb 02/29 08:37工程師:改算法太麻煩惹,我們直接大力出奇蹟吧~~

iamjojo 02/29 08:41戳破再說 先搞個比sora厲害的出來我就相信

henry200306102/29 08:44補噓

gk1329 02/29 08:45好 中國又贏惹 贏兩次

AndyMAX 02/29 08:48之前吹量子 吹爆了改吹AI

kentsv 02/29 08:50中國又來贏了,推文有些人又被空氣碰到就高潮跳針

kentsv 02/29 08:50民進黨了

abbjesper 02/29 08:50擋人財路不怕死嗎

flipflap 02/29 08:50中或贏

JKjohnwick 02/29 08:50這次跟.com差那麼多

Mchord 02/29 08:52AI發展到現在只有論文標題愈來愈像農場文是真理

wrider987 02/29 08:52中國還在用算盤解算式嗎?

alberthcc 02/29 08:54中共還沒死?

TSMininder 02/29 08:55寫得不錯 適合丟給AI翻譯一下

joygo 02/29 08:57算力高也不見得做的出好ai,等老黃出算力補偵

yoshilin 02/29 08:57美國人不習慣省錢

ariadne 02/29 08:57我覺得中國量子電腦搞出後ai就會領先世界 又雙贏

joygo 02/29 08:58現在主要是大家都要搶頭香,agi這種東西第一個做出

joygo 02/29 08:58來的人直接自霸軟體界,一個24小時不休息會思考記

joygo 02/29 08:58憶無限的天才員工,有什麼軟體是他寫不出來的

newwu 02/29 08:58變linear有差,省個運算你以為老黃就會怕了?

oopFoo 02/29 09:00論文作者一半以上是微軟亞洲研發的員工。我是在釣XD

oil01 02/29 09:01就中國貪小便宜以為自己聰明!

previa 02/29 09:02噓的人多少人付費買AI產品過?

previa 02/29 09:02我懷疑有1/3就不錯了

previa 02/29 09:03chatgpt噓的有多少人是付費會員?

ccy858 02/29 09:04

aleventy 02/29 09:04這跟三星超車台g的言論,哪個可信度高?

sdiaa 02/29 09:07怎麼會覺得算力高的公司沒有在優化自己的程式阿??

xlaws 02/29 09:09嘻嘻

icedog122 02/29 09:16overbooking 丸子

GiPaPa 02/29 09:16量化太多精確度會下降 確定要拿這個講不需要算力嗎

thbygn98 02/29 09:22我覺得蠻難的,有些問題變interger反而更難

Westzone 02/29 09:22呵呵,信的去放空輝達阿,笑你不敢而已

thbygn98 02/29 09:25而且運算變簡單不一定等於算力需求降低,反而讓十

thbygn98 02/29 09:25倍百倍大的模型變的可能,說不定相反變ai爆炸

thbygn98 02/29 09:27只是贏家可能換人而已,說不定回頭做fpga了

stevenkane 02/29 09:28中國或成最大贏家

thigefe 02/29 09:28還以為是什麼,原來是彎道超車啊

littlelaba 02/29 09:30優化是一定要優化 但不代表硬體需求一定會滿足

steven3231 02/29 09:34下次先把吹中國放文章開頭好嗎,省得浪費時間看整篇

BruceChen22702/29 09:35中又贏

jympin 02/29 09:41結論:中或贏

Altair 02/29 09:41看起來只有理論 沒有實作? 紙上談兵??

laechan 02/29 09:42中或贏

Altair 02/29 09:42又 這個會否跟ram很像 你說不需要太多ram就能做?

Altair 02/29 09:42ram是愈多愈好 沒人嫌少

oopFoo 02/29 09:43有3.9B的,70B的還在路上。如果這可行,就不需要

boy1031 02/29 09:44AI又不會向領導敬酒下跪繳紅包,這在共慘就是完全沒

boy1031 02/29 09:44用的東西

oopFoo 02/29 09:44GPU做inference。普通CPU就可用了,這是關鍵。

rockocean 02/29 09:46彎道超車 拓海還是填海?

oopFoo 02/29 09:47本來贏者全拿的,現在每個人都有機會。int add很容

oopFoo 02/29 09:48易的。然後本來是compute限制的,現在回到data限制

polome 02/29 09:48這不就是大部分晶片都12奈米,所以1奈米不用花錢研

polome 02/29 09:48發了的理論嗎?

oopFoo 02/29 09:48誰有好的data足夠的data會是目前的領先者。

lPla 02/29 09:49中國或成最大贏家

mic73528 02/29 09:50爽,遙遙領先,XDD威武

azhu 02/29 09:51這文似乎觸發了什麼東西

a000000000 02/29 09:52他這東西問題在尼所有model都要重新train

a000000000 02/29 09:52training的硬體需求大概沒變

newwu 02/29 09:53Training 才是這篇比較有價值的點吧

newwu 02/29 09:53Inference 本來就有quantization,這又不是第一天

newwu 02/29 09:53的事,大驚小怪喔

a000000000 02/29 09:53inferencing的話現有的gpu也可以跑int8

a000000000 02/29 09:53路上asic公司倒是一大堆惹

a000000000 02/29 09:54整體來講大概就下一代model等級的東西可以塞這帶的

a000000000 02/29 09:54硬體 沒惹 反正ai公司還是會想辦法把硬體塞滿

a000000000 02/29 09:54ai model膨脹的速度太快惹 摩爾定律的四倍

DLHZ 02/29 09:57論文都給數據了 說沒實作的真的有看文章?

piy12345689 02/29 09:58論文…跟實作別混為一談

sdbb 02/29 10:02認真文,謝謝

kobi0910 02/29 10:05東西放出來給大家用了再說

brucetu 02/29 10:07輕鬆一百倍那巨頭的算力不就是一百倍?你以為這個

brucetu 02/29 10:07技術美國人拿不到?

brucetu 02/29 10:08給巨頭一百倍的AI應該可以生出新的應用了吧繼續噴一

brucetu 02/29 10:08百倍

macair 02/29 10:09又來考古了,AI是未來100年的發展,還在2000年的教

macair 02/29 10:09訓,都被教訓到快4萬點了還教訓啊

brucetu 02/29 10:09軟體是隨著硬體成本降低而泡沫化還是隨著硬體成本

brucetu 02/29 10:09降低而蓬勃發展,你再想想

LDPC 02/29 10:1199猩猩 5555554 QQ

evil0108 02/29 10:12可惜美國逢中必反 根本反智

evil0108 02/29 10:12笑死 推文一堆政治腦

ohya111326 02/29 10:13好啦 中國又贏 開心了嗎

nata12 02/29 10:13哥布林說別人反智

evil0108 02/29 10:14把實際東西拿出來再說吧 intel也說能造出2奈米阿

evil0108 02/29 10:14阿東西勒?只能實驗室做出來無發量產 搞笑唷

Ceferino 02/29 10:14逢中必反真可怕

videoproblem02/29 10:15占國廁可以不要再來亂了ㄇ

jfw616 02/29 10:17所以量產了嗎?

jfw616 02/29 10:18運力運算只會越來越多,跟你研究出效能改善...

jfw616 02/29 10:18兩回事...

jfw616 02/29 10:19ai是不是泡沫還不得而知...

abcjoe61115 02/29 10:20中或贏

strlen 02/29 10:21好 輝達身家空 目標價2元 收到打收到

ck960817 02/29 10:27Training跟inference都沒搞清楚你還是先回去唸書吧

showlive021402/29 10:32蘋果算硬體還是軟體商

js850604 02/29 10:37你用的資源少又怎樣,還不是要更多硬體一起算

a000000000 02/29 10:37這東西4微軟中國研究院的所以其實講中或贏應該還早

v21638245 02/29 10:40逢中必吹,中又贏

zephyrmartin02/29 10:45難得會想在股版噓人

metallolly 02/29 10:48中國又贏了

sheep2009 02/29 10:49Nv真的很多人沒上到 一堆招

qazwsx1225 02/29 10:56中國要贏多少次?

ypes970813 02/29 11:08繼續幻想

leon1757tw 02/29 11:08中又贏

xfile 02/29 11:17永動機的實現終於出現了嗎

csluling 02/29 11:19中國的車我先不上

Lowpapa 02/29 11:23正確 AI泡沫了 10年後再來

karta235995002/29 11:30真的做到再出來吹 很會唬爛

followwar 02/29 11:37Training 跟 inference 是兩回事

aegis43210 02/29 11:40如果CPU可以靠特殊指令集達到和目前一堆ASIC一樣的

aegis43210 02/29 11:40推論效能,那的確是x86陣營的大機會

sxing6326 02/29 11:48反指標的咖洨

pacino 02/29 11:55網路泡沫(x). 達康泡沫(o) for 2000

jamie81416 02/29 12:21各位,中國又贏啦

iceyeman 02/29 12:21少來 真出來股價就會跌了 我看還繼續往上噴勒

jamie81416 02/29 12:23北京清華是個出產奴工的好地方,但說他們能搞啥

jamie81416 02/29 12:23創新?哈哈哈哈

dave070715 02/29 12:31中國又贏了XDD一直贏一直贏,喔對了 再一年就2025了

dave070715 02/29 12:31,怎麼還是被美國吊打XDD 中國韭菜就是要任命啦,美

dave070715 02/29 12:31國肛中國;中國韭菜被黨肛QQ

wu2183 02/29 12:49未看先誰中國又贏

eemail 02/29 12:54彎道超車概念 但你不要以為ㄧ直在彎道會變曲速XD

cannedtuna 02/29 13:04語言模型夠了就加上視覺模型

cannedtuna 02/29 13:04視覺夠了再塞物理模型

cannedtuna 02/29 13:04要說算力夠了還太早吧

henry200306102/29 13:24這種文大家就別認真了

LDPC 02/29 13:32cannedtuna這點子不錯耶 QQ等等搞一個測測看

blackjose 02/29 13:33要修改LLM結構,然後重新弄一套高效的,再訓練,通

blackjose 02/29 13:33常時程不會贏大力出奇蹟的。

blackjose 02/29 13:33現在瘋搶H100就是要拼時間上灘頭。

LDPC 02/29 13:34大力出奇蹟就scaling law所預測啊不過1b fgpa model

LDPC 02/29 13:35已經很久以前就有 shannon都可以拿來預測上限

LDPC 02/29 13:35不過mamba只是為了解決infernece 他在training端

LDPC 02/29 13:36還是有一堆限制和缺點RNN缺點就是不能並行運算

LDPC 02/29 13:36然後mamba那個做法會無法有效利用tensor core

HenryLin123 02/29 13:43GPU inference?

oopFoo 02/29 13:43Mamba用prefix-sums來避開rnn不能平行運算的問題。

LDPC 02/29 13:44樓上 那玩意不能有效利用tensor core

LDPC 02/29 13:45Google最新那篇設計就好很多BlockState Transformer

LDPC 02/29 13:47StateSpace+Transformer 我個人覺得比較符合現在

oopFoo 02/29 13:48parallel scan(prefix sums)可以用tensor core啊。

oopFoo 02/29 13:49只是比較麻煩而已。Mamba的問題是"selective"會不會

oopFoo 02/29 13:50太loosy。目前看來是沒問題的,但還是需要更大的

LDPC 02/29 13:50以A100為例 fp32(19.5Tflops) Tensor-core(156Tflop

oopFoo 02/29 13:50model來證實。Mamba最重要是"context"可以變得很大

oopFoo 02/29 13:52當你有unlimited context的時候。直接就用zero shot

oopFoo 02/29 13:53learning了,RAG就不需要了,更容易使用。

LDPC 02/29 13:53mamba優點就是hidden state update會根據input調整

LDPC 02/29 13:55QQ這幾天來實作一下mamba好了 看一下訓練的成本

shadtalker 02/29 14:08扯到底中國為何CV LLM可以這麼強

yiersan 02/29 14:48中國自我安慰罷了 可憐那

vacuityhu 02/29 17:40不是啊...就算真的能無損效能改int, 那改完int省出

vacuityhu 02/29 17:40來的算力我也可以繼續擴增模型尺寸啊, 模型變大能

vacuityhu 02/29 17:40做的事更多更好一樣甩你好幾個車身, 不加大模型我

vacuityhu 02/29 17:40也可以加快運算效率啊, 影片即時翻譯字幕比你快比

vacuityhu 02/29 17:40你精準還是把你壓在地上摩擦, 追根究底算力碾壓的

vacuityhu 02/29 17:40前提下還在妄想什麼彎道超車?

sa87a16 02/29 19:16連晶片都要手工的國家,你吹慢慢吹

sa87a16 02/29 19:17上次一堆韭菜被詐騙,這次一定不一樣對不對

musie 03/02 02:58笑死 一堆不懂AI的在亂噓 我公司在小模型可以重現

musie 03/02 02:58這對降低成本還有inference速度有很大的影響

musie 03/02 03:01這是今年以來最重要的Paper