PTT推薦

Re: [請益] 費半成份股全線崩盤 怎麼辦?

看板Stock標題Re: [請益] 費半成份股全線崩盤 怎麼辦?作者
LDPC
(Channel Coding)
時間推噓61 推:62 噓:1 →:60

DeepSeek這塊有幾個看法 Training端就等之後瓜出來再吃
在Inference這塊 因為受限於MoE 所有推論成本可以降下來 但需求變高的是用記憶空間和各個node之間的通訊開銷 以及軟體上cpu/gpu的load balance

以deepseek v3來說 600GB+ fp8 需要許多平行運算 這意味通訊瓶頸很重要
因為在切換專家時候 延遲會因此也跟者追加 而記憶體需求開銷也很大

另外一點就是37B Activation是主因讓推論可以成本下降 (不用全部671B來跑)
以h100來算這會讓同樣算力 成本下降10倍以上
但對算力晶片load balance和通訊跟記憶體開銷需求也跟者增大
但對於同樣算力可以提高10倍以上token產出

MoE好處就是更適合特制化的低成本下游任務 不適合泛化場景 所以不能用在機器人
這種場景多變任務上

這就代表 假設Deepseek最後成為低成本主流 這意味還是只有老黃能吃下它
(因為需要昂貴load blance 通訊開銷 高需求vram)
ASIC那邊不適合用在MoE架構 這些低成本就某種意義會解鎖ai產品化
原本之前最大問題就是 現有的模型在Inference產生token的電力成本太貴
如果能讓現有成本下降 這樣才會能直接適用到消費端去

並不是說 提高tokens生產數量/單位算力 就等於減少鏟子賣出
事實上 token數量/單位算力 過低 會造就無法ai模型落地化 反而產子賣不出去
最好的例子就是DeepSpeed (AI Backend 優化) 這玩意一年前 微軟就用它來提高
tokens數量/單位算力 號稱能增加1.5~3倍快同樣算力 結果微軟反而願意花更多錢買算力

這波最大意義大概就是會變動推行MoE架構 然後ASIC死去 QQ 而老黃有NVLink
和壟斷HBM產量 又有良好的cuda為主的AI Backend做load balance 感覺很難輸

說到底 最簡單的觀察就是看1/23微軟財報的資本支出 微軟在01/03說出2025 80B
(Deepseek v3 12/26/2024 模型釋出) 如果01/27資本支出維持原案 那就沒啥太大擔心

--
MoE缺陷:需要把所有專家放入內存 對顯存(VRAM)壓力需求高大 高熬貴通信成本
不利模型泛化性 適合單一任務(畢竟你只用了原本模型部分activation parameter)






※ 引述《keio5566 (56不滅)》之銘言:
: 是不是又是GG的勝利
: 能夠用科技大頭的5%成本就能開發AI
: 意味著行業的進入門檻變低,AI元年正式啟動
: 最高端產品的銷量受影響,但接下來市場要的是便宜堪用的產品
: AMD吃到一波紅利,整體晶片代工需求繼續增加
: 苦的是NV,GG依然贏麻了= =
: 大家恐懼我貪婪
: 2025年抄底GG的最佳時刻是否即將到來?

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
PTT 網址
※ 編輯: LDPC (76.21.72.78 美國), 01/27/2025 14:15:02

HenryLin123 01/27 14:14NVDA > AVGO 嗎?

acidrain 01/27 14:15海力士/美光利多

davie11333 01/27 14:15弄HBM的MU還有救嗎

ck326 01/27 14:16微軟支本支出不太可能有什麼變,時間這麼短

aspirev3 01/27 14:16想知道萬潤和法師的看法QQ

MacBookAir1201/27 14:20其實反而應該是AVGO 的利空...3661 3443...

jumilin927 01/27 14:20推 低成本的ai晶片不妙

strlen 01/27 14:21https://i.imgur.com/1glBeN3.jpeg 說到微軟 剛剛

圖 費半成份股全線崩盤 怎麼辦?

strlen 01/27 14:21CEO也發推了 立場很清楚了吧

Brioni 01/27 14:22資本支出不可能短時間修改+1

qweaaazzz 01/27 14:22推推,好人一生平安

MacBookAir1201/27 14:22前一陣子有炒作一波ASIC 現在通通都要下去

Brioni 01/27 14:23但股價可以短時間劇烈波動

HiuAnOP 01/27 14:23其實更優的成本對軟軟,狗哥,雅麻,詐騙公司都是

HiuAnOP 01/27 14:23長期利好

HiuAnOP 01/27 14:23短期跌一下前期投入根本沒差,祖大少元宇宙虧爛還

HiuAnOP 01/27 14:23不是好好的

MacBookAir1201/27 14:24然後AIPC 或許可以提早放量

JoshBeckeet 01/27 14:24但avgo 股價還未受到衝擊

Jerry469 01/27 14:243661死去

MacBookAir1201/27 14:24甚至不需要額外NPU去運算了<-這比較極端想法XD

Brioni 01/27 14:24再來就是次級玩家不一定要追GB200、GB300

s987692 01/27 14:24那怎麼看AMD去搶推論這塊?

jerrychuang 01/27 14:2599 MU

MacBookAir1201/27 14:25AVGO可能要等市場開盤之後會比較清楚

MacBookAir1201/27 14:25現在美國那邊還是27號凌晨

abcd5566 01/27 14:25如果是有效率的話 資料中心一定越蓋越多

jumilin927 01/27 14:25ASICㄘㄨㄚ、勒蛋

zer0319 01/27 14:26如果DS能這麼低成本達成80%水準,那這些大頭應該是

zer0319 01/27 14:26研究怎麼讓資本支出跟成效比例合理,而不是降低支出

zer0319 01/27 14:26吧,不然這些大頭一堆現金要幹嘛

uuuc1223 01/27 14:28請問交換器需求的看法?

Brioni 01/27 14:29根據過往Cost down財報噴!股價噴!

MacBookAir1201/27 14:30能不能COST DOWN 我覺得先看論文 可不可能重現

sheep2009 01/27 14:30利多吧 一堆人加入ai反而csp要更多算力租借出去

MacBookAir1201/27 14:30DS使用類似當初GOOGLE 圍棋那套方式去自我訓練

MacBookAir1201/27 14:31然後5萬張H100 傳聞也不知道真假XD

MacBookAir1201/27 14:31不過MoE模型的確是可以有效降低成本 這沒錯

MacBookAir1201/27 14:32最後變成是賈維斯跟事務型機器人的對決XD

zer0319 01/27 14:33最終目標還是拼出AGI,其他都是過渡

aegis43210 01/27 14:33還早,各大廠可以用DSP來提前適應新的推論需求,而

aegis43210 01/27 14:33記憶體方面用HBM2E也足夠應付推論需求

aegis43210 01/27 14:36DS這套不可能成為AGI,這是提前耗盡潛力的模型

King530678 01/27 14:36結論:NV 多更多

CCH2022 01/27 14:39的確,NV LINK還是優勢,與軟體的平衡。AI基建的需

CCH2022 01/27 14:39求還是持續。

onekoni 01/27 14:39推分析 謝謝 我差點想成反的方向

tsukuyomii 01/27 14:39以美股現在來看 感覺是NV AVGO TSM三殺

onekoni 01/27 14:40短線通殺一定的 重點是殺完買誰

onekoni 01/27 14:41年後有殺來買點老黃@@

dani1992 01/27 14:41論文裡就寫alphago那套MCST失敗了,是怎麼看的

s800525 01/27 14:42第一天看科技股?通常消息出來都先漲/殺,之後再來

s800525 01/27 14:42澄清再反轉,都懷疑那些資金趁消息出來故意拉/壓股

s800525 01/27 14:42價作法

Brioni 01/27 14:42殺完整理籌碼繼續往上

kill2400 01/27 14:42可是股價不是這樣反應喔

sharkpops 01/27 14:42不過我剛剛請他幫我讀個股報告 說報告內容違反政策

tsukuyomii 01/27 14:43AVGO不止做ASIC 交換器 網通 光通訊都做 就算沒AI A

tsukuyomii 01/27 14:43SCI也是持續成長的東西 AVGO就算這個利空也很難崩跌

tsukuyomii 01/27 14:43 畢竟她產業太多樣

jumilin927 01/27 14:44殺完如果最終評估不受影響還是噴回來 哪次不是這樣

JoshBeckeet 01/27 14:45總覺得華爾街不會亂買再亂殺XD

sharkpops 01/27 14:46應該是指完全不依賴人類知識...接近alphazero...

sharkpops 01/27 14:46華西街最擅長的就是亂買跟亂殺啊XD

jacktypetlan01/27 14:48https://i.imgur.com/HUKLWkC.jpeg

圖 費半成份股全線崩盤 怎麼辦?

jacktypetlan01/27 14:49很有趣 可以自己去問看看

watashino 01/27 14:49認真文 給推 好人

dongdong040501/27 14:53這才是有料的發文 不像那些無腦黑無腦吹的

squelch 01/27 14:53GPT-4 不也是 MoE? 差在哪裡?

lolpklol097501/27 14:53https://i.imgur.com/FhzpfAY.jpeg

圖 費半成份股全線崩盤 怎麼辦?

vicklin 01/27 14:53很久以前PTT這種很多..

squelch 01/27 14:54問題是這篇怪怪的,機器人如果不聯網。

squelch 01/27 14:55請問憑機器人有限的算力與記憶體 能使用什麼模型?

squelch 01/27 14:56機器人問題跟自駕系統是一樣的。

audic 01/27 15:00感謝好人一生富貴

allen0080 01/27 15:00優質好文。

ImHoluCan 01/27 15:03

JoshBeckeet 01/27 15:09NV盤前7%了?真嘟假嘟

fuhoho 01/27 15:11

IBIZA 01/27 15:20NV差不多跌7%沒錯

IBIZA 01/27 15:22不過現在還不到盤前時間 是黑池交易所跟券商內部

IBIZA 01/27 15:22報價

JoshBeckeet 01/27 15:26達人說TSM也快7%了,真的是腥風血雨

patri0052 01/27 15:27今天晚上可以接刀子嗎

IBIZA 01/27 15:28TSM -6.57%

pilimew 01/27 15:32HBM只是這幾年的過渡期產品,沒跟上的不需要追高。

bnn 01/27 15:33講白了 你人類接上網之前怎麼學習的就怎麼學習

bnn 01/27 15:33不聯網只是比較智障 但你很多工作本來也只需要智障

bnn 01/27 15:34一堆訓練真的需要聯網嗎 他這模型是在節省訓練&記憶

s860703 01/27 15:36開盤台積連跌停兩天我就相信

cosmite 01/27 15:38好人推

vicklin 01/27 15:41這種極端工作條件總感覺有免洗軍用衍生的用途

zxzx8059 01/27 15:43nv出了比avgo還猛的pcie sw才會是avgo利空

Brioni 01/27 15:46讓子彈飛一會兒

wed1979 01/27 15:48記憶體跟SSD不就長江庫存超多,換別的地方還真沒這

wed1979 01/27 15:48條件

popo123456 01/27 15:58Chatgpt meta google Amazon 早晚會下去吧,中國用免

popo123456 01/27 15:58費跟你競爭,怎麼玩下去

cht12341234 01/27 15:58我是相信後年b通就會讓老王吃屎

cht12341234 01/27 15:59nvlink沒那麼厲害

pucca068 01/27 16:01這重點不是大陸不再受到美國限制嗎…..如果ai可以

pucca068 01/27 16:01自己研發到這程度話~世界就不再是美國說了算歐~

pucca068 01/27 16:02單純討論公司間的影響的話~我覺得意義不大~

s1001326 01/27 16:15誰可以寄信給教主發文 快瘋了

roseritter 01/27 16:15記憶體要HBM吧 長江也有這麼多嗎

oGsMvP 01/27 16:1999 B康

beavertail9701/27 16:24跌深就是給上車的,趕快開盤

ubei 01/27 17:00長江有做HBM嗎?我記得沒有吧...

ymlin0331 01/27 17:48AVGO的ASIC是CSP大廠自研晶片

ymlin0331 01/27 17:48怎麼可能沒有量?傻傻的

sean667cd 01/27 18:15參考了LD大和其他論述、這幾天想一想,推出來了後續

sean667cd 01/27 18:15方向也差不多,LD大猛

poru 01/27 18:18有我川在.美國AI絕不可能輸的

poru 01/27 18:19反倒會激起我川更激烈的管制

sean667cd 01/27 18:21LD大後續會布 CRM , SAP (SAAS) / PLTR (特定API)

sean667cd 01/27 18:21領域麻,算力成本、選擇變多情況下游,我覺得應該受

sean667cd 01/27 18:21

abdiascat 01/27 18:25https://i.imgur.com/mIMzXDs.jpeg

圖 費半成份股全線崩盤 怎麼辦?

nina801105 01/27 18:492/3日紅盤日,世芯跟台積電開盤跳空跌停鎖死

joseph2616 01/27 18:58前面一堆廢文

joseph2616 01/27 18:58這篇才是有效討論

josephpu 01/27 19:34ASIC出世AMD遭殃,DS出世ASIC遭殃,99蘇媽

ksjr 01/27 22:33不過deepseek r1 一個禮拜前01/20才出

※ 編輯: LDPC (76.21.72.78 美國), 01/28/2025 00:57:17