Re: [爆卦] 2024諾貝爾物理獎
※ 引述 《Eriri》 之銘言：
: 其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"
阿肥外商碼農阿肥啦！
快下班才看到這篇，寫得太好了。就補充幾個點，當前深度學習很少會去提Hopfield Network甚至Boltzmann machine真正的原因就是當前的模型架構早就脫離全連結的架構了。
不知道全連結可以看看這張我從微軟官方找到的兩層RBM圖：
https://i.imgur.com/IsU2Adg.png
如果像這種全連結做深做複雜以後，由於兩兩神經節點會相互更新，得到新的權重會還會在反覆疊代到取得動力平衡為止。所以計算複雜度就會很高，加上不管是Hopfield或是Botzmann machine都不像是監督式NN或自監督NN有真實的標籤可以對照，這種仿生Cognitive model最初就是想模擬生物腦，所以效果都沒辦法做大做深，更不用論現實可用程度。
所以當前流行的就是非全連結的NN再暴力用反向傳播，直接用微積分的chain rule去偏導求整個模型的梯度再一次性更新，這樣非常簡單也非常暴力，做深以後可以擬合任何非線性函數，連隨便一個AutoEncoder模型都輾壓Hopfield，暴力計算下證明了機械腦根本不需要真的模仿生物腦也可以成功。
補充差不多這樣
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.160.247 (臺灣)
※ 編輯: sxy67230 (223.137.99.35 臺灣), 10/09/2024 18:35:42
※ 文章網址:
https://www.ptt.cc/Gossiping/E.dUtDnOlk-_Xw
推
嗯嗯 跟我想的一樣
噓
好的，聽不懂
推
感謝補充
推
之前就想過了 太簡單不想發paper
推
脈衝神經網路還比較像神經腦的運作
→
是的 全連結架構中 若是想要更新權重 需要
→
整個系統動力學平衡的過程 另外 單從擬合含
→
數的角度 也沒法輕易擬合任何非線性函數
推
我有的是資源
推
就跟把馬子一樣 幽默帥身高這些花招都假
→
的 身價百億暴力解才是硬道理
噓
工三小 拎杯墊資都聽不懂
76
首Po瑞典皇家科學院決定將2024年諾貝爾物理學獎授予John J.field和Geoffrey E. Hinton ，以表彰其“通過人工神經網路實現的基礎性發現與發明」。 約翰‧J‧霍普菲爾德 (John J. Hopfield) 1933 年出生於美國伊利諾州芝加哥。1958 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。![[爆卦] 2024諾貝爾物理獎](https://www.nobelprize.org/uploads/2018/09/New-will-fullsize-496x328.jpg "[爆卦] 2024諾貝爾物理獎")
3
物理是這樣的厚 你不一定要發表開創性的理論 你只要能用既有理論研究沒人研究過的現象 根據你的理論假設跑完模擬，做出實驗 且數據都能佐證你的假設，就能發期刊了3
阿肥外商碼農阿肥啦！ 這邊說一個八卦，台灣媒體比較少提到Hinton的原話，”I am flabbergasted, I had no i dea this would happen”（我目瞪口呆，我不知道這件事情竟然就發生在我身上）。 連辛頓老爺都很驚訝自己怎麼就得了一個物理學獎了，回顧往年諾貝爾物理學獎連做理論物 理都不一定可以拿到獎了，更何況神經網路雖然確實有很多理論借鑑物理學（像波茲曼機、9
說神經網路學習應該算資工的 其實是眼光只放在現今人為分科 忽視整個領域發展脈絡的淺薄評語 實際上在機器學習火熱前 資工系根本不需要懂什麼微積分、線性代數 (雖然台灣的大學大都還是規定必修) 這就說明 AI 以資工來講本身就是滿"另類"的子領域12
其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理" 而是...單就物理而言 到底夠不夠原創性或有影響力 早期的機器學習 其實分很多種不同的路線 其中有些路線是受到物理和大腦神經科學研究的直接影響 試圖由真實的神經科學出發 建立物理模型 來理解和重現大腦真正的認知過程
爆
[閒聊] 訓練了一個生成凱留頭的模型廢話不說先直接上結果 使用範例:![[閒聊] 訓練了一個生成凱留頭的模型](https://i.imgur.com/I4xNU6Ab.jpg "[閒聊] 訓練了一個生成凱留頭的模型")
78
[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]版本資訊來啦！而且這次的內容超級多！生化科技飛龍的光榮回歸、全新效果的生化科技 峽谷、3 隻可愛的全新打野夥伴、7 件全新道具、全新的隨機單中模式平衡改動，還有全 新的……現在你懂我們指的超級多是什麼意思了吧～ 歡迎來到《英雄聯盟》的 2023 季前版本！![[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]](https://cdngarenanow-a.akamaihd.net/games/lol/2022/11/LOL_12-22.jpg "[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]")
43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力![Re: [請益] NVDA跟AMD怎麼突然崩了](https://miro.medium.com/v2/resize:fit:772/1*9bgIVlCRKiL7hxgvZW0wjg.png "Re: [請益] NVDA跟AMD怎麼突然崩了")
6
Re: [討論] GPU加速Transistor層的模擬器我有把你下面推文的兩個連結看了以確定我盡量能理解你的目的。 文中你提到transistor-level與邏輯閘層(gate-level)模擬， 這兩個用詞在你的語境下所代表的意思有點模糊， 我用我的理解以及上篇crossbar的觀點來定義一下： - transistor-level:3
[問卦] 評估後,該怎麼改善這個深度學習模型?好不容易建構好幾個深度學習模型, 依照專案的安排, 把整理好的dataset拿來跑實驗, 評估模型好壞, 其中一個評估是採用ROC curve,2
Re: [黑特] AI什麼時後崩盤自從 Hinton 提出反向傳播演算法以來，人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而，這種粗放的做法並沒有觸及問題的核心，只是不斷填滿內核空間，並沒有帶來演算法層面的革新。 雖然像 CNN 和 Transformer 這樣的架構看似新穎，但實際上，如果運算能力夠強大，這些技巧也並非必要。理論上，一個兩層的無限寬神經網路就足以擬合任何複雜邊界，並且擁有無限大的模型容量。 真正的突破需要在演算法層面實現創新，而計算力只是次要因素。目前， 整個人工智慧框架都建立在統計機器學習的基礎上，這限制了我們的思維和探索。 我們局限於inference 要嘛 Frequentist ，不然就 Bayesian inference，
[討論] neuralGCM 基於神經網路的通用循環模型本篇論文一樣由google的研究發表，包含以下幾點特點 1. 相較於graphcast直接對數據擬合，此模型同時採用物理核心與神經網路，預測過程受 ODE等物理條件限制，並採用類似數值模式的時間積分型式。![[討論] neuralGCM 基於神經網路的通用循環模型](https://i.imgur.com/fiau2Afb.jpg "[討論] neuralGCM 基於神經網路的通用循環模型")
![[問卦] 評估後,該怎麼改善這個深度學習模型?](https://lh3.googleusercontent.com/FblUMIYq2NycN3CPWvxvJ348u0t81VCu62UrMNkObv_vsp1zwO2W8mOR04odG5TgHds=w1200-h630-p "[問卦] 評估後,該怎麼改善這個深度學習模型?")
爆
[爆卦] 台灣隊全壘打！！！ 8:1領先澳洲![[爆卦] 台灣隊全壘打！！！ 8:1領先澳洲](https://i.imgur.com/1HrtmOUb.jpg "[爆卦] 台灣隊全壘打！！！ 8:1領先澳洲")
爆
Re: [問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺![Re: [問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺](https://i.imgur.com/cQDFTCab.png "Re: [問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺")
爆
[爆卦] 我在台南仁德大甲里抓到綠鬣蜥啦![[爆卦] 我在台南仁德大甲里抓到綠鬣蜥啦](https://i.imgur.com/39U31opb.jpeg "[爆卦] 我在台南仁德大甲里抓到綠鬣蜥啦")
79
[問卦] 綠鬣蜥在屏東/台南肆虐跳過中間高雄是因?![[問卦] 綠鬣蜥在屏東/台南肆虐跳過中間高雄是因?](https://i.imgur.com/KxEJfnrb.jpeg "[問卦] 綠鬣蜥在屏東/台南肆虐跳過中間高雄是因?")
爆
[問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺![[問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺](https://i.ytimg.com/vi/oMwv2ECuVAI/sddefault.jpg "[問卦] 綠鬣蜥 抓一隻500元 一晚400隻 比醫生賺")
59
Re: [新聞] 嘆民進黨欠他很多！ 余天：曾說要給華![Re: [新聞] 嘆民進黨欠他很多！ 余天：曾說要給華](https://i.imgur.com/drQ1IrBb.jpeg "Re: [新聞] 嘆民進黨欠他很多！ 余天：曾說要給華")
45
[問卦] 楊淑君當年是真的被婊掉還是媒體洗的？![[問卦] 楊淑君當年是真的被婊掉還是媒體洗的？](https://i.imgur.com/7poq27ab.jpeg "[問卦] 楊淑君當年是真的被婊掉還是媒體洗的？")
38
[問卦] 綠鬣蜥的英文怎麼念![[問卦] 綠鬣蜥的英文怎麼念](https://img.youtube.com/vi/AULG4MoYxQk/mqdefault.jpg "[問卦] 綠鬣蜥的英文怎麼念")
34
[問卦] 為什麼天團BP Lisa票價5到6折被拋售啊![[問卦] 為什麼天團BP Lisa票價5到6折被拋售啊](https://i.imgur.com/cn6BcHAb.jpg "[問卦] 為什麼天團BP Lisa票價5到6折被拋售啊")
33
[問卦] 薑母鴨好吃的點是？32
[問卦] 為什麼食藥署一直放有毒食物進來![[問卦] 為什麼食藥署一直放有毒食物進來](https://i.imgur.com/HtJk3Bvb.png "[問卦] 為什麼食藥署一直放有毒食物進來")
31
[問卦] 綠鬣蜥要怎麼唸啊？？？34
[問卦] 最好聽的聖誕歌〓〓？![[問卦] 最好聽的聖誕歌〓〓？](https://img.youtube.com/vi/91y-6gQH7lU/mqdefault.jpg "[問卦] 最好聽的聖誕歌〓〓？")
31
[問卦] 今晚中國的親戚要來 聊什麼？爆
[問卦] 快訊／咖啡廳上錯飲料 新北4煞持球棒猛![[問卦] 快訊／咖啡廳上錯飲料 新北4煞持球棒猛](https://cdn2.ettoday.net/images/7952/e7952799.jpg "[問卦] 快訊／咖啡廳上錯飲料 新北4煞持球棒猛")
29
[問卦] 沒人發現楠梓一坪買30萬是在開玩笑嗎！![[問卦] 沒人發現楠梓一坪買30萬是在開玩笑嗎！](https://i.imgur.com/PBK1jMbb.jpg "[問卦] 沒人發現楠梓一坪買30萬是在開玩笑嗎！")
24
[問卦] 現在台灣是不是「準戰爭狀態」？爆
[爆卦] 廣東工業大學發生砍人事件![[爆卦] 廣東工業大學發生砍人事件](https://i.imgur.com/rIzyYDtb.jpg "[爆卦] 廣東工業大學發生砍人事件")
25
[問卦] =.= 奇怪為什麼台灣的拉麵這麼跩這麼貴![[問卦] =.= 奇怪為什麼台灣的拉麵這麼跩這麼貴](https://i.imgur.com/i4rzdheb.png "[問卦] =.= 奇怪為什麼台灣的拉麵這麼跩這麼貴")
29
[問卦] 人生除了工作賺錢 還剩下什麼![[問卦] 人生除了工作賺錢 還剩下什麼](https://i.imgur.com/Z4B5Vfub.jpeg "[問卦] 人生除了工作賺錢 還剩下什麼")
29
[問卦] 15.6是筆電最划算的尺寸嗎27
[問卦] 綠鬣蜥的破口是哪個縣市？25
[問卦] 國片港片演壞人最經典的是誰21
[問卦] 中華隊去打MLB大概是落在哪個水準?19
[問卦] 新北二哥是誰啊？![[問卦] 新北二哥是誰啊？](https://i.imgur.com/mus9aa2b.jpeg "[問卦] 新北二哥是誰啊？")
17
[問卦] 這拉麵給幾分![[問卦] 這拉麵給幾分](https://i.imgur.com/pIv2c5vb.jpeg "[問卦] 這拉麵給幾分")
21
[問卦] 被澳州全壘打了 該準備什麼19
[問卦] 哪個國家會限制人民捕捉外來入侵種的？18
[問卦] 薄瓜瓜他爸和張學良他爸 哪個官比較大？15
[問卦] 為何要教過馬路不看車？
![[問卦] 薑母鴨好吃的點是？](https://i.imgur.com/pB1YIHSb.jpg111.251.192.128 "[問卦] 薑母鴨好吃的點是？")