Re: [黑特] AI什麼時後崩盤
自從 Hinton 提出反向傳播演算法以來,人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而,這種粗放的做法並沒有觸及問題的核心,只是不斷填滿內核空間,並沒有帶來演算法層面的革新。
雖然像 CNN 和 Transformer 這樣的架構看似新穎,但實際上,如果運算能力夠強大,這些技巧也並非必要。理論上,一個兩層的無限寬神經網路就足以擬合任何複雜邊界,並且擁有無限大的模型容量。
真正的突破需要在演算法層面實現創新,而計算力只是次要因素。目前,
整個人工智慧框架都建立在統計機器學習的基礎上,這限制了我們的思維和探索。
我們局限於inference 要嘛 Frequentist ,不然就 Bayesian inference,
導致陷入暴力求解的困境,並寄望於Scaling Law帶來的救贖。
一些研究者開始嘗試從 Information Theory、Causality Entropy 切入,這可能會帶來新的希望。
※ 引述《sxy67230 (charlesgg)》之銘言:
: ※ 引述《seraphimm ()》之銘言:
: : https://i.imgur.com/pydjqnE.jpeg
: : 很多年前光日本對於機器人早就開始
: : 2024還在炒機器人
: : 大家都需要機車汽車但不一定需要飛機
: : 所以好的道具不是人人用的著
: : 無法普遍與量化
: : 只能夠在特定的人與行業企業使用
: : 這種只變成危害大於進步的獨大炒作
: : 面對全球廣泛性
: : 戰爭風險,氣候變遷,資源匱乏,能源危機
: : AI這爛炒作根本就是加速人類世界的崩壞
: : 科科科
: 認真說,股價會不會出現泡沫我感覺很難說,不過過往經驗是2000年Internet的出現,曾: 經帶動美國股價暴衝但又馬上泡沫暴跌,雖然股價泡沫了但Internet卻已經變成人類最基: 本的權利之一了。
: 我自己本身是業內人,當前AI也差不多是這種狀態,基本上技術、理論都已經是實打實可: 以被驗證了,套一句Yoshua Bengio最新論文的聳動標題:「當前AI還不具備意識,但根: 據技術理論我們人類是有能力賦予他意識的。」
: AI革命這幾年也帶起來一系列腦科學的研究,有興趣可以翻一下最新的研究幾乎所有研究: 人員都認同人腦就是一個巨大的表徵向量機,就像蘋果跟香蕉其實有他對應的表徵空間關: 聯性。可能的猜測意識就是向量之間符號的交互作用下產生的,所以如果能破解基本上就: 是下一個世代的工業革命,我們現在只是在革命浪潮前而已。
: 然後我認為當前不管是GPU或是CPU、TPU、NPU都不太可能是未來符合AI的晶片架構,因為: 人腦根本就不是馮諾伊曼架構的。給一點乾貨,當前美國、中國學界對於存算一體的晶片: 都有一些進展,我認為存算一體才是未來,畢竟人腦也沒有一個叫做Memory跟ALU的器: 官,整塊大腦其實神經科學的研究下發現整個大腦神經都是皮質柱根本不存在差異,存算: 一體的架構幾乎可以
: 確定解決儲存、功耗瓶頸了。
: 大概隨便聊聊聊到這邊,不然小粉綠看不懂又說我誇對岸要爆氣,畢竟我可不想被砍。: 嘻嘻
--
--
等歐盟開始限制訓練資料取用後就會崩
確實現在一直在無限堆算力
雖然看不懂你在講什麼,但是感覺你很強
不過生成式 ai 才出現沒幾年就能發展這
樣,真的算是非常快速了
亂說一通,deep network 本身就是
提取 data sparsified stucture 才
能有效訓練,你沒有好的network 資
料成長的速度遠遠大於learnable pa
rameters 的 dimensionality 是無
法scale的. 另外back propagation
又不是什麼理論,只是chain rule的
應用而已.
5
首Po很多年前光日本對於機器人早就開始 2024還在炒機器人 大家都需要機車汽車但不一定需要飛機4
認真說,股價會不會出現泡沫我感覺很難說,不過過往經驗是2000年Internet的出現,曾 經帶動美國股價暴衝但又馬上泡沫暴跌,雖然股價泡沫了但Internet卻已經變成人類最基 本的權利之一了。 我自己本身是業內人,當前AI也差不多是這種狀態,基本上技術、理論都已經是實打實可 以被驗證了,套一句Yoshua Bengio最新論文的聳動標題:「當前AI還不具備意識,但根1
幾年前就在問ai股什時崩 結果越漲越高 同時期 我也在等房價崩盤 結果上不了車 所以 簡單一句話 你在期待崩的時候 表示很多人也在注意 這時絕對不會崩3
剛好網路泡沫我也遇到 其實泡沫大概就是 1. 硬體技術相關先有話題- 第一波 2. 買了硬體開始要開發應用-第二波 3. 開始大量應用夢-第三波
12
Re: [情報] 情報數則其實也不知道怎麼說明,再不講得太深入又能夠很簡白地說 真的蠻難的,我就大概點到一些點,然後開頭直接下個結論吧 美國想阻止的是中國透過AI完成強人工智慧,或是通用型的AI 有點類似現在目前的ChapGPT進化的最終版 但如果要阻止中國完成區域性或是弱人工智慧已經不可能了12
Re: [閒聊] 美術系怎麼看待這次Ai繪圖事件?前陣子剛好因為工作需求做了一些AI研究 我之前的工作設計到語音辨識領域,就個人實際測試經驗來說 現階段AI的確在很多部分無法取代人類 現階段無法取代的原因不少,個人覺得主要是兩點 1.演算法有限制4
Re: [問卦] 這次的人工智慧熱潮是玩真的嗎?阿肥外商碼農阿肥啦! 這波人工神經網路浪潮其實得力於兩三年前Lecun跟Hinton等等大神推廣的自監督的概念 。自監督其實就是用一種更有效的方法來學習網路或是數據庫長久以來建立的有效自然對 數據,透過自然對來做前訓練期望機器能夠自我學習到自然數據的相對關係。 這其實我們的大腦可能也存在相似的功能,這幾年隨著腦科學的研究其實有一種比較新穎1
[心得] 《造局者》人類在 AI 和動盪時代的優勢《造局者》讀後心得:人類在 AI 和動盪時代的關鍵優勢 運用「思考框架」的軟實力,對應最棘手的商業困境和社會議題 圖文好讀 這是我今年讀過最喜歡的書之一,作者探討在這個 AI 崛起和時局飄渺動盪的年代,人類 已經無法跟演算法和電腦的計算速度競爭。但是,身為人類的我們仍然擁有一項電腦無法- 活動時間 2021-05-22(六) 09:30 ~ 2021-07-03(六) 16:30 活動地點
- 不知道為捨抹會講到邊緣運算啦QQ 不過老黃這波佈局就是替兩三年後落地場景客製化晶片 一般落地場景Inference(AI推理)的工程順序如下 拿一個PreTrain萬用大模型 用特殊資料FineTune 然後Deploy (Inference) 以LLaMA 7B模型為例 假設我今天要做一個醫療問診小幫手的AI 當我用一堆醫療資料 FineTune這個LLaMA 65B模型後達到我需求 (到此為此都會在Cuda生態圈做)
X
[情報] NVIDIA 推出 RTX1000 RTX500NVIDIA 推出 RTX 500 和 1000 Professional Ada Generation 筆電 GPU 強化行動 AI 工作流程 隨著生成式AI和混合工作環境成為新標準,幾乎每個專業人士,無論是內容創作者、研究人員還是工程師,都需要一台功能強大的人工智慧(AI)加速筆記型電腦來幫助使用者應對他們產業內最嚴峻的挑戰-即使在移動途中。 全新NVIDIA RTX500 和 RTX1000 Ada Generation 筆記型電腦 GPU 將應用於全新型高度便攜的行動工作站,擴展了基於NVIDIA Ada Lovelace 架構的產品陣容,其中包括 RTX 2000、3000、3500、4000 和 5000 Ada Generation 筆記型電腦。 AI 正在迅速被採用,以提高專業設計和內容創建工作流程以及日常生產力應用程式的效率,這凸顯了在系統中擁有強大的本地人工智慧加速和足夠的處理能力的重要性。 配備 RTX500 和 RTX1000 GPU 等 Ada Generation GPU 的新一代行動工作站將包括神經處理單元(NPU)、CPU 組件和 NVIDIARTX GPU,其中包括用於 AI 處理的 Tensor Core。 NPU 有助於卸載輕型 AI 任務,而 GPU 則可額外提供高達 682 TOPS 的 AI 效能,以滿足要求更高的日常 AI 工作流程。
28
[討論] 反歧視法撤案! 差點直接進入DEI世界線22
[討論] 為什麼苗博雅一堆粉絲= =14
[黑特] 北捷割人,雙北市長敷衍了事11
[討論] 為什麼小草喜歡中共X
[討論] 政黑不覺得沈伯洋很虛偽嗎?31
[討論] 割讓金門馬祖換取和平大家ok嗎?X
[討論] 對青鳥來說反中比民生重要嗎7
[討論] 你反共卻支持民眾黨 知道柯屁舔共嗎45
[討論] 館長業績好像很慘 也不管觀眾就是要工商9
[討論] 川普要烏克蘭割地和解 綠共們怎看8
Re: [黑特] 公視現在是徹底爛掉了嗎6
Re: [討論] 黑熊學院:千人排字 展現守護台灣決心1
[討論] 中國美國景氣都不好9
[討論] 川普說要修憲限制議員任期2
Re: [討論] 為什麼苗博雅一堆粉絲= =4
Re: [新聞] 北捷砍人女碩士北漂工作不順遂 擔任理貨22
Re: [轉錄] 劉宇:柯文哲全家的代步車2
[黑特] 紐約時報崩潰: 川普只是超級好運的混蛋X
[黑特] 之前所有陸配參政均未被要求放棄國籍3
Re: [討論] 為什麼苗博雅一堆粉絲= =2
Re: [新聞] 沈伯洋質疑無中國護照怎來台 李貞秀嗆3
[討論] 如果調停成功川普會得諾貝爾和平獎嗎?2
[討論] 塔綠斑可以一天不討論民眾黨嗎3
Re: [新聞] 克里米亞已經失去了!川普顧問籲烏克蘭11
[討論] 沈伯洋這麼草包 民進黨以前不知道?7
[黑特] 公視現在是徹底爛掉了嗎22
[討論] 中國數十萬大學生夜衝開封吃灌湯包X
[討論] 沈伯洋當司法替代役的理由是什麼?X
[討論] 苗一堆粉絲的理由2
Re: [討論] 割讓金門馬祖換取和平大家ok嗎?