Re: [討論] 台灣為什麼搞不出DeepSeek?
※ 引述 《LinuxKernel》 之銘言:
: 這幾天被DeepSeek洗板,美股盤前也被炸到血流成河
: 但不禁好奇,為什麼台灣做不出DeepSeek這種等級的東西
: 早前機器學習時代,台灣學術界還有LIBSVM可以說嘴
: 但到了GenAI/LLM時代,好像就沒印象有什麼厲害的產出了?
: 幾年前AI Labs橫空出世,似乎也沒聽到什麼太大的impact?
: 問路人可能只對什麼協同帳號分析有印象...
: 究竟是什麼原因,讓台灣在這波GenAI/LLM熱潮顯得落後?
LibSVM早就是上古以前的東西了,現在做分類大家也都說拿好的backbone基礎大模型再接一層硬train一個baseline了,像Meta、谷歌這些基礎模型再預訓練的時候就想盡辦法拿到一堆沒看過的數據語料圖片設法先讓模型從複雜數據中學會抽基礎特徵,這樣後續你做分類根本不需要做什麼kernel function 就有能力擬合任意函數。如果你發只是純SVM的東西到現在ICCV等應用類的頂會只是刷分大概會被直接reject到爆,沒跟這些基礎大模型比根本沒插入點。
然後我印象中前幾年好像國科會有說要搭數據中心但現在也沒下文,但中國早在2012年人家就幾億人民幣再投入這塊的大專院校,然後扶持巨頭軟體企業就不止幾億人民幣了,所以能取得國際之間AI競賽的T1等級也是不意外就是了。
不然LLM出現幾年其實多半台灣還是只能拿Meta的llama來調,人家chatGPT剛問世其實就自研了chatGLM,後續還有千問、IntermLM跟相關多模態模型,後續還自己弄出MiniCPM這類多模態小鋼炮還被印度仔偷抄不承認鬧上國際。
不過值得關注的是號稱封閉的中國這幾波LLM他們的科技巨頭都是選擇開源,相比開放的美國中自稱Open的OpenAI卻是close的,到最近o1 OpenAI根本連技術報告裡面都不敢提方法,而DeepSeek R1確實從模型到報告都完整揭露訓練細節。
--
台灣有哪家有50000張gpu的啊 幫忙代
工全部的gpu
說過了 中國越來越開放 美國越來越
封閉 台灣則是越來越奴隸
那你還不全家搬過去?
樓上怪怪的,動不動就叫人搬家
崩潰到噓人文章 笑死人
越來越開放,想必可以提64了吧
台灣很多自卑轉生氣的 很可憐
台灣大公司的高層其實非常保守,可
能跟都是代工背景有關。我們的公司
其實不太能容忍失敗的。
譬如打仗,指揮官給了方向,但是的
底下的兵有沒有完成任務,若是兵的
武力值就不足,那指揮官也只能考量
兵的能力所及的事. 台灣人口基數少
,相對的人才就少,你說要像中國大
陸及美國那樣,不太可能. 舉例 台
灣的員工平常都不太發表自己意見,
一般都坐在台下靜靜的,像事不關己
一樣. 所以你說可用之兵都那麼少
了,你說代工廠的高層想要發展什麼
驚天動地的科技也有限. 加上又不給
開放國外科技人才進來台灣,怕被說
搶台灣人飯碗,所以只能得過且過,
發展技術層次低的代工囉
井蛙惱羞真的可憐
好好笑 只要講大陸好話就有人暴跳
如雷
你講大陸就夠讓牠們暴跳如雷了
台灣老闆不歡迎有想法但會燒錢的人
,只希望你能拿10元做出能賣出10000
元的東西
其實看面板廠就知道了,科技一有變
過個十年就被打趴了,沒得還手
有AI點麵線啊
在台灣就算真的弄了一個deep seek
那群寫firmware的也會酸你沒辦法
賺錢 炒房的會酸你不如多買兩間房
當兵的會酸你不如多買支飛彈 台
灣文化就是可悲內鬥
叫人家搬過去的,邏輯嚴重有問題,
故意讓不排斥大陸=討厭台灣 再看一
次邏輯就是明顯誤導
台灣花太多在資源在搞分裂了,你覺
得大陸進步,就滾出台灣,就是不愛
台灣,邏輯真的該好好重新學習
1X
首Po這幾天被DeepSeek洗板,美股盤前也被炸到血流成河 但不禁好奇,為什麼台灣做不出DeepSeek這種等級的東西 早前機器學習時代,台灣學術界還有LIBSVM可以說嘴 但到了GenAI/LLM時代,好像就沒印象有什麼厲害的產出了? 幾年前AI Labs橫空出世,似乎也沒聽到什麼太大的impact?15
AI = 大量的訓練資料 x 龐大算力 x 頂尖理論人材 地球上只有兩個國家同時具備這三個條件,一個是美國,另一個是中國。 其它國家能作的就是陪跑 比如台灣在硬體部分是很有機會可以摻一腳 撈一筆 硬體以外的部分就別想了 錢投下去 99.999% 跟丟到垃圾桶沒兩樣 --1
LIBSVM 是學校的東西,而且,它不用OOXX卡。 LLM 要大量的電,因為它要OOXX卡。 再說,LLM 這東西不賺錢,也沒什麼大不了的應用。 最後,本國是硬體立國。我們從不走在前面。 --7
我說啦,中華民國只有兩千三百萬人 本來就應該嚴重偏科(大陸用語) 就是重硬體輕軟體,或是重軟體輕硬體 選一條路走就好 科學家做過很多實驗X
因為吳越人真的比較聰明 自古以來吳越地區都是中國人才聚集地 全中國科舉時代最聰明的腦子就在吳越地區 這次深度求索公司也是在杭州 江浙滬聚集了14億的頂尖精英
爆
[心得] DeepSeek對AI產業鏈影響懶人包最這幾天股板跟 X 上的AI金融圈吵的火爆 DeepSeek 對全球 AI 技術發展影響 吵的火爆示意圖 金融人士擔憂影響爆
Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高預teamblind 匿名的可能有人不信 與其聽匿名、鄉民互吹/貶 不如來聽聽 Meta 現任 CEO Mark Zuckerberg 本人對於 Deepseek AI 模型的看法 2025/01/11 Mark Zuckerberg 接受美國知名喜劇演員 Joe Rogan 專訪 截至今日有 840 萬人看過這個影片67
Re: [新聞] DeepSeek R1來了,追平o1!它現在不但比OpenAI開放,也應該不用那麼久 重點是DS是開源的 現在應該有許多數據中心已經開始實驗DS的演算法 我們先假設DS的創新 是往AGI道路上的王道52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。47
[討論] Deepseek就之前吹過頭了呀 XD來看看DEEPSEEK之前怎麼吹的 「DeepSeek R1的問世,宣告AI訓練與推理成本大幅縮減,在不到600萬美元的極低投入成本 和2048塊性能遠低於H100與Blackwell的H800芯片條件下,DeepSeek團隊打造出性能堪比Ope nAI o1的開源AI模型,相比之下Anthropic與OpenAI訓練成本高達10億美元。該模型每百萬 個token的查詢成本僅爲0.14美元,而OpenAI的成本爲7.50美元,成本降幅高達驚人的98%。29
Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高目前就在旁邊吃瓜觀望@@ 成本這種本就是用開源後的可以拿已有的模型去當輔助下降成本 最常見作法就是拿gpt-4o當judge或者當數據產生器 去精煉數據集 如果再沒有gpt-4o 情況下 很多高質量資料去產生就花很錢 最經點例子就是LLaVa 一個博士班學生 用gpt-4o 去產生高質量多模態數158k 極小量數據集 用8xA100 1天時間 就幹爆之前所有 多模態大模型 能打贏saleforce的一間大公司堆出來的多模態BLIP-2模型29
Re: [討論] OpenAI GPT o1模型OpenAI 最近推出了 GPT-o1,但很多人可能還沒意識到這件事的嚴重性。事實上,OpenAI 已經找到了一條通往 AGI(通用人工智慧)的階梯!這個新模型的關鍵在於,它已經整合了 ToT(思維樹)和 RL(強化學習),在大型語言模型(LLM)領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」,記住了大量的資料,所以我們在人類記憶力上輸了X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事