Re: [新聞] DeepSeek顛覆AI產業模式!曝中國2大發展
※ 引述《KIMBEOM (HYYY)》之銘言:
: 原文標題:DeepSeek顛覆AI產業模式!曝中國2大發展方向 ASIC成關鍵
: 原文連結:https://reurl.cc/qn2x9n
: 發布時間:2025/02/02 12:40
: 記者署名:壹蘋新聞網 / 呂承哲
: 原文內容:
: 【記者呂承哲/台北報導】中國AI新創公司DeepSeek近期在科技界掀起熱議,根據調研機: 構TrendForce集邦科技的最新研究,DeepSeek近期接連發表DeepSeek-V3、DeepSeek-R1等: AI模型,將影響終端客戶對AI基礎設施的投資決策。未來,業者可能更注重軟體運算模型: 的效率,以減少對GPU等昂貴硬體的依賴。同時,雲端服務供應商(CSP)可能擴大使用自: 家ASIC(特殊應用積體電路)基礎設施,以降低建置成本。這使得2025年後,市場對GPU: AI晶片及相關半導體的需求可能產生變化。
: 心得/評論:
: 看來ASIC就是未來趨勢 IC設計準備噴噴
: 明天加碼世芯 創意 M31
LLM經過這三年發展已展現其潛力,但也陷入(公開)知識枯竭造成的瓶頸
網路爬蟲能抓的都已訓練完
AI模型如還需增加功力,只能望向各家機構(公司)的商業祕密
比如DS團隊使用低階語言PTX來增加GPU計算效率
此部分的知識儲備,據說來自母公司幻化量方過往最佳化量化交易模型的經驗
拿 Python/C/組語/機器語言 來比喻就更明瞭
過往程式語言往高階發展,是因為有著訓練人才普及的需求
畢竟組語難學,機器語言就別提了
所以在一個python程式滿天飛的時代,能用C重寫效率優勢就驚人,更不用說使用組語
GPU這塊也是,現在很少有CUDA的使用者會去寫PTX
所以關於"PTX最佳化"公開的知識並不多
但很可能DS團隊已經成功將幻化量方PTX經驗轉換為大模型
然後用在設計下一代大模型的架構上
簡單說就是掌握獨家的低階語言知識,教給AI,然後再"手動迭代"
不斷產生更高效率的低階AI碼農
當然OpenAI內部也有可能擁有類似知識,但效率較低
所以基本可以推論,未來誰越能掌握壓榨硬體的知識,就能持續拉開效率差距
--
可以避開使用CUDA,NV就不再獨大
快買a股
現今的 compiler 最佳化技術太強大,在很多系統上寫
C 語言執行效率未必會輸給寫組合語言
簡單程式可能效率相當,但稍微複雜點,人力就很難分析驗證整個流程 加上組語/機器語言可以控制更底層的元件,特定情況下會存在更高效率方法
推
PTX是CUDA到機械碼之間的中介碼 不可能繞開
真的快笑死 都是NV的東西 要怎麼避? PTT水準的是...
存疑,低階語言很有效率沒錯,但系統大到一定程度
後很難維護/除錯,你用機器語言寫的出windows 11?
我個人覺得不可能,ds若真的效率比其他model好,
應該是算法有進化,不會是用低階語言寫導致的
拿Windows來比太誇張,或許再過30年有機會吧 事實上現有LLM的架構很單純,一張圖就能表示清楚 只是運算的數量級巨大無比,所以特別適合追求極端的最佳化
架構才是重點
專業推
我記得是用ptx繞過nvlink的限制,但換不同型號就要
重寫
最佳化不是全部底層優化 是瓶頸用底層加速 會用pt
x 表示掌握底層 換別的硬體架構也只是需要時間而已
cuda ptx不是重點了 是他有離開nv生態圈的能力 另
外不要只關注DeepSeek 模型OpenAI 新模型出來了 用
戶使用成本也變低了 整個ai用戶成本降價時代來臨
不懂裝懂
並不是說DS已完全脫離CUDA 但有機會突破護城河
他開源給大家摸索, 未來會怎麼發展起來都不好說
等有辦法不用NV的產品 做出一樣的東西再說
(純討論程式語言)回樓上:其實在桌電、筆電這種或以
上複雜的環境,人們投入很多精力在改良 C/C++ compi
ler,所以用 C/C++ 就很夠了(Windows 11 是用 C++
寫的, Linux 是用 C 寫的) -- 最多就是在少數特定
地方夾進一段組合語言
使用中階GPU,就能產出高效
這點就是優勢
我知道你的意思 連AMD都沒辦法克服效能衰退問題
中國能? AMD還有微軟出錢出人
有人應該蠻誤解原 po 的意思 wwww
用NV低階程式語言做出 較不穩定的ANI要怎麼繞過NV?
你解釋看看 我哪裡誤解?
架構的極致優化和算力需求的精簡,就是Ai的精髓
DS做到了
讓業界廣泛使用
門外漢以為寫程式是電影敲鍵盤亂按喔
事實上也是爭相採用
AMD 在做的事和 DS 在做的事情又不一樣 =.=
台灣軟體界的看法,褒貶不一,但台灣自己搞不出來
我只是舉例AMD+微軟都無法取代NV的意思
除非 AMD+微軟做出自己的平台
openAi準確率也不是100%,DS準確率較低,只要繼續優
化
微軟在做的事和 DS 在做的事又不一樣 =.=
拉高準確率,小而美就是市場主流
微軟自己沒什麼在搞 LLM
你自己去找資料吧
微軟主要合作的 LLM 公司都是用 NV 的硬體架構,含
NVLink 和 NV 認證的 HBM
微軟和 NV 根本不是競爭對手的關係
樓上正解 微軟大概只能算算力掮客
PTX優化是其中一項 但DS還做了其他事情 兩件以上
一樓完全誤解 PTX只是自己寫cuda
不是都是NV架構嗎 要拿什麼繞 你當撐竿跳喔
傻眼..PTX是NV跨架構的膠水語言哪有啥繞過NV==
難怪open AI會說自己站錯邊,開源真的很猛
不是繞過,而是研究NV架構比其他家透徹
從開發框架到主要架構都有一定掌握
現在怕的是萬一用低階GPU就可以達到OPEN AI
高階顯卡會有賣不掉的疑慮
疊帶 習大大你字打錯了
迭代吧? 樓上是習大大的秘書?
這個就跟某些廠商拼時間魔改java把某些拿掉執行速
度一樣 但後面新的語言足以做到ex: Rust 公司團隊
就重新改寫切過去了 不可能再折磨自己用魔改版本維
護系統
用PTX寫這些東西 不要CUDA自己干涉 由自己決定所有
事 這個要考慮團隊經營跟當時時空的環境有什麼條件
你往更低階的寫所有條件會更難維護或非常考驗的開
發團隊的經驗 但真的會變得更窄
團隊成員拿翹你就知道問題會變成什麼樣
我相信r1能如此成 PTX不會是最大功勞
79
Re: R: [請益] 為什麼中國越來越強?怎抹這邊突然變AI版 =_= DeepSeek 有件事情幹得比矽谷好 就是AI Backend 優化(這玩意就是需要懂架構 和軟體 就是一個苦力枯燥活) 大體而言 在A100架構以前 大部分訓練都還是用fp32 少數模型對精度不敏感會用到fp16 (浮點16進位)主因是用16進位去訓練 精度不夠 容易模型崩潰 尤其用P100的fp1616
[情報] DeepSeek繞過CUDA 自己優化底層編程語言關於DeepSeek的優化改進 許多人沒注意到的是: DeepSeek也繞過了CUDA並使用底層編程語言PTX做優化 在輝達的PTX語言實際編譯流程中15
Re: [新聞] 跳過 CUDA,Deepseek 用精細的 PTX 寫成《轉載》 網路上傳deepseek繞過了輝達cuda,我跟大家講一下deepseek到底做了什麼。 輝達嚴格來說是一個平台性公司,並不止是硬件,硬件只不過是一個載體,它的護城河是cuda計算平台,所有高性能並行計算的祖師爺,只要你用輝達的顯卡做高性能計算,就要透過cuda計算平台。 你說用AMD的顯示卡,嗨,它沒有生態呀,就像android和windows phone那麼大的差別。 你買蘋果手機,不是買的硬體,而是IOS整個生態,這個生態也是用戶黏性的核心,cuda也是如此,你搞高效能運算,週邊的配套生態工具都是cuda的,你總不能自己再開發一套出來,就像你一個開發電商的會去再造個JAVA的輪子嗎? 輝達打來十年的領先時間。 所以各大公司都被英偉達狂宰,有苦難言。 總之一句話,英偉達創造了當代高效能運算的所有標準軟體、硬體以及工俱生態,你想寫個demo用啥都行,你想上生產除了輝達別無選擇,這就是過去十年AI圈的現實 ,天下苦達子久矣。18
Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援Musk贊同投資公司Atreides Management合夥人兼資訊長貝克(Gavin Baker)在X提到 DeepSeek的R1低成本來自在訓練和推理效率上,取得了真正的算法突破 例如 FP8 訓練、MLA(機器學習加速)和多 token 預測。 訓練過程中涉及大量的知識蒸餾(distillation) 這意味著在沒有無限制存取 GPT-4o 和 o1 的情況下,這項訓練幾乎不可能完成。![Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援 Re: [新聞] DeepSeek 遇大規模網路攻擊,暫時只支援](https://i.imgur.com/wNCJOYBb.jpg)
10
Re: [問卦] DeepSeek成本這麽低的原因是啥?目前的推測應該是跳過了訓練模型的部分 也就是說不是從0開始構築AI模型,而是用成熟的AI模型來訓練,避免掉很多無謂的試錯 或空轉,也就是之前新聞在說的「蒸餾技術」 AI 系統中的 「蒸餾技術」(Knowledge Distillation,知識蒸餾),是一種 模型壓縮 (Model Compression) 方法,主要用來讓較小的模型學習較大模型的知識,同時保持高9
Re: [討論] Deepseek 繞開cuda 用任何GPU都可以這種文章完全就是在造謠 用PTX寫程式繞開的是CUDA開發框架而不是CUDA硬體 PTX是CUDA開發框架產生的中繼語言,通常,演算法工程師撰寫的是高階語言 (C++或pyt hon) ,開發環境會將高階語言轉換成中繼語言 你能直接撰寫PTX是可以說繞過CUDA沒錯,但繞過的是指CUDA框架的API以及從高階語言轉X
Re: [討論] 藍白為什麼連蹭Deepseek都能翻車?剛剛看到最新分析 跳過 CUDA,Deepseek 用精細的 PTX 寫成 韓國大宇未來資產的分析報告指出,Deepseek 並未使用 Nvidia 的 CUDA 編寫,而是透過 大量精密調整的併行線程執行代碼,達成採用較低規格的硬體產出高效能 AI 模型表現。 所以他不用cuda![Re: [討論] 藍白為什麼連蹭Deepseek都能翻車? Re: [討論] 藍白為什麼連蹭Deepseek都能翻車?](https://i.imgur.com/rcylSPZb.png)
7
Re: [新聞] 跳過 CUDA,Deepseek 用精細的 PTX 寫成cuda架構長這樣 一般人都是用上層土黃色那部份的cuda api來寫ai程式 PTX就下層driver那部份,基本上還是奠基在NV的GPU上 PTX的操作方法,NV自己都有手冊了![Re: [新聞] 跳過 CUDA,Deepseek 用精細的 PTX 寫成 Re: [新聞] 跳過 CUDA,Deepseek 用精細的 PTX 寫成](https://i.imgur.com/Enp8heXb.jpeg)
4
[討論] deepseek 主要創新點應該是繞過cuda看了一下討論 發現ds 主要有關ai 的部分如同老美的說法 但加速的關鍵主要還是來自於用組合語言直接寫 原本都還得透過cuda 這是nv 的技術護城河![[討論] deepseek 主要創新點應該是繞過cuda [討論] deepseek 主要創新點應該是繞過cuda](https://i.imgur.com/TJAtdO3b.jpeg)
5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?
爆
[請益] 0056可以這樣操作嗎![[請益] 0056可以這樣操作嗎 [請益] 0056可以這樣操作嗎](https://i.imgur.com/z8X13Bfb.jpg)
爆
Re: [心得] 山椒魚盤勢觀察![Re: [心得] 山椒魚盤勢觀察 Re: [心得] 山椒魚盤勢觀察](https://i.mopix.cc/LLOj00.jpg)
62
[情報] 114年12月05日 三大法人買賣金額統計表![[情報] 114年12月05日 三大法人買賣金額統計表 [情報] 114年12月05日 三大法人買賣金額統計表](https://i.imgur.com/roBWXt2b.png)
54
[情報] 2344 華邦電 114年11月營收![[情報] 2344 華邦電 114年11月營收 [情報] 2344 華邦電 114年11月營收](https://i.mopix.cc/JF4BB2.jpg)
54
Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性![Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性 Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性](https://img.youtube.com/vi/H_suOWdYLq0/mqdefault.jpg)
38
Re: [新聞] 川普希望美國製造全球5成晶片 賴清德紐![Re: [新聞] 川普希望美國製造全球5成晶片 賴清德紐 Re: [新聞] 川普希望美國製造全球5成晶片 賴清德紐](https://i.imgur.com/maDWxU7b.jpg)
29
[情報] 3443 創意 11月營收16
Re: [新聞] Fed主席大熱門哈塞特表態:下周應降息 預17
[請益] 第一金最近有什麼大事要發生嗎?![[請益] 第一金最近有什麼大事要發生嗎? [請益] 第一金最近有什麼大事要發生嗎?](https://i.mopix.cc/vMDTOu.jpg)
15
Re: [標的] 記憶體族群回檔 彎腰撿鑽石多![Re: [標的] 記憶體族群回檔 彎腰撿鑽石多 Re: [標的] 記憶體族群回檔 彎腰撿鑽石多](https://i.imgur.com/MO9jzZjb.gif)
13
[情報] 日本兩年期公債收益率升至1.03%29
Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性11
Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性22
Re: [新聞] 川普希望美國製造全球5成晶片 賴清德紐7
[情報] 2548 華固 10月營收 MoM 702% YoY 37447%![[情報] 2548 華固 10月營收 MoM 702% YoY 37447% [情報] 2548 華固 10月營收 MoM 702% YoY 37447%](https://i.meee.com.tw/gQ7aplg.png)
8
[情報] 1205 上市投信買賣超排行
Re: [請益] 0056可以這樣操作嗎4
Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性![Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性 Re: [新聞] OpenAI危險了!DeepSeek正式發佈V3.2 性](https://i.imgur.com/4uwgTa3b.png)
3
[情報] 2383 台光電 11月營收1
Re: 00641R 富邦日本反1 小單多
[情報] 工紙族群多
[標的] 2454聯發科2330台積電 哪個好![[標的] 2454聯發科2330台積電 哪個好 [標的] 2454聯發科2330台積電 哪個好](https://i.imgur.com/TbK5aJcb.jpeg)
Re: [請益] 0056可以這樣操作嗎
[情報] 2317 鴻海 2025年11月營收
[請益] 說AI會跟.com一樣泡沫化是假議題吧?![[請益] 說AI會跟.com一樣泡沫化是假議題吧? [請益] 說AI會跟.com一樣泡沫化是假議題吧?](https://img.youtube.com/vi/e0CJBzGa0hQ/mqdefault.jpg)