Re: [爆卦] 2024諾貝爾物理獎

說神經網路學習應該算資工的

其實是眼光只放在現今人為分科 忽視整個領域發展脈絡的淺薄評語

實際上在機器學習火熱前 資工系根本不需要懂什麼微積分、線性代數

(雖然台灣的大學大都還是規定必修)

這就說明 AI 以資工來講本身就是滿"另類"的子領域

稍微了解過神經網路發展史的都知道

Hopfield, Hinton 這些人提出神經網路模型 其後有數十年

這個領域比較像是三不管地帶 沒什麼傳統科系真正認為屬於它

大概 2010 年代開始才大舉進駐資工系

另外有興趣的可以爬梳一下 Hopfield, Hinton 等等甚至遲至 Andrew Ng 的師承

就會發現他們及他們指導老師的背景五花八門

物理、生物、心理、統計、電機都有可能

回過頭來看神經網路到底"物理"在哪

其實諾貝爾獎主文就已經寫得很清楚了

這邊再補充幾點

神經網路最初源頭確實是由神經元電生理模型組建起的

Hopfield network 的原始論文就是發表在 PNAS 的生物物理分區中

https://doi.org/10.1073/pnas.79.8.2554

如果神經元數量太多 全部神經元的耦合微分方程跑下去運算量太大

則可以把一堆神經元統合成一個建模單位來進行化簡 就是所謂 neural mass model

那如果再進一步做一點線性近似

就變成大家今天熟悉的 weighted sum + activation function 模樣了

簡單的說大家今天熟知的神經網路就是 Hopfield 等人搞的簡化再簡化的版本

想知道詳細的話

我推這個免費線上教材 相關的推導都有在裡面

https://neuronaldynamics.epfl.ch/online/index.html

※ 引述《jackliao1990 (j)》之銘言：
: https://www.nobelprize.org/prizes/physics/2024/popular-information/
: 瑞典皇家科學院決定將2024年諾貝爾物理學獎授予John J.field和Geoffrey E. Hinton: ，以表彰其“通過人工神經網路實現的基礎性發現與發明」。
: 約翰‧J‧霍普菲爾德 (John J. Hopfield) 1933 年出生於美國伊利諾州芝加哥。1958
: 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。
: Geoffrey E. Hinton，1947年出生於英國倫敦。1978年獲英國愛丁堡大學博士學位。加: 拿大多倫多大學教授。
: 今年的諾貝爾獎得主使用了物理學的工具來構建方法，幫助奠定了當今強大機器學習的基: 礎。約翰·霍普菲爾德創建了一種可以儲存和重建信息的結構。傑弗里·辛頓則發明了一: 種可以自主發現數據屬性的方式，這在當今使用的大型人工神經網絡中變得至關重要。: 他們利用物理學來發現信息中的模式
: 霍普菲爾德此前利用他在物理學的背景來探討分子生物學的理論問題。當他受邀參加一個: 關於神經科學的會議時，他接觸到了對大腦結構的研究。他對所學的內容著迷，開始思考: 簡單神經網絡的動態。當神經元一起活動時，它們能產生新的強大特徵，而僅僅觀察網絡: 的單個組成部分並不能發現這些特徵。
: 然而，他並沒有放棄他在物理學中的基礎知識，這些知識為他理解由許多小組件一起工作: 的系統如何產生新的現象提供了靈感。他尤其受益於他學到的關於具有原子自旋的磁性材: 料的知識——這種性質使得每個原子都成為一個微小的磁鐵。相鄰原子的自旋相互影響，: 這可以使具有相同方向自旋的區域形成。他利用這些物理知識，創建了一個具有節點和連: 接的模型網絡。
: 網絡在一個景觀中保存圖像
: 霍普菲爾德構建的網絡具有相互聯繫的節點，每個節點可以儲存一個值——在霍普菲爾德: 的初步研究中，這個值可以是0或1，就像黑白圖像中的像素。
: 霍普菲爾德用一個與物理學中自旋系統能量等價的屬性來描述網絡的總體狀態；這個能量: 是通過一個公式計算的，該公式使用了所有節點的值以及它們之間所有連接的強度。通過: 將圖像輸入節點來編程網絡，節點被賦予黑色(0)或白色(1)的值。然後，通過能量公式調: 整網絡的連接，使得保存的圖像能量變得更低。當另一個模式輸入網絡時，會有一個規則: 依次檢查節點，看看如果改變該節點的值，網絡的能量是否會降低。如果發現將一個黑色: 像素改為白色會降低能量，那麼顏色就會改變。這個過程會一直持續，直到無法找到任何: 進一步的改進。當達到這個點時，網絡通常已經重現了最初訓練的圖像。
: 如果你只保存一個模式，這可能看起來不太顯眼。你可能會疑惑為什麼不直接保存圖像本: 身，並與測試圖像進行比較。然而，霍普菲爾德的方法的特別之處在於，可以同時保存多: 張圖像，並且網絡通常能夠區分它們。
: 霍普菲爾德將在網絡中搜索已保存狀態比作將一個球滾過高峰和谷地的景觀，並且有摩擦: 減緩其移動。如果將球放在某個位置，它會滾入最近的谷地並停在那裡。同樣，當網絡被: 給予一個接近已保存模式的模式時，它會繼續向前移動，直到最終到達能量景觀的谷底，: 從而找到其記憶中最接近的模式。
: 霍普菲爾德網絡可以用來重建包含噪音或部分擦除的數據。
: 隨著時間的推移，霍普菲爾德和其他人不斷改進該網絡的功能，包括允許節點儲存任何值: ，而不僅僅是零或一。如果將節點視為圖像中的像素，它們可以具有不同的顏色，而不僅: 僅是黑白。改進的方法使得可以保存更多圖片，即使它們相當相似，也能區分它們。
: 使用十九世紀物理學進行分類
: 當霍普菲爾德發表他關於聯想記憶的文章時，傑弗里·辛頓正在美國匹茲堡的卡內基梅隆: 大學工作。他此前在英格蘭和蘇格蘭學習了實驗心理學和人工智能，並思考機器是否能像: 人類一樣學會處理模式，自行發現分類方法來整理和解釋信息。與他的同事特倫斯·塞諾: 斯基一起，辛頓從霍普菲爾德網絡出發，並用統計物理學的概念將其擴展為一種新型結構: 。
: 統計物理學描述了由許多相似元素組成的系統，例如氣體中的分子。跟蹤氣體中所有單獨: 的分子是非常困難或不可能的，但可以通過集體考慮來確定氣體的整體屬性，如壓力或溫: 度。雖然氣體分子可以以多種方式在其體積內分布並保持不同的個別速度，但仍會得出相: 同的集體屬性。
: 統計物理學可以用來分析各組件共同存在的狀態，並計算其出現的概率。某些狀態比其他: 狀態更有可能發生，這取決於可用的能量。這些能量是根據十九世紀物理學家路德維希·: 玻爾茲曼的方程描述的。辛頓的網絡利用了這個方程，並於1985年以「玻爾茲曼機」這個: 引人注目的名稱發表了這個方法。
: 辨認同類型的新範例
: 玻爾茲曼機通常使用兩種不同類型的節點。信息首先傳遞到稱為「可見節點」的一組節點: ，另一組節點則構成了一個隱藏層。隱藏節點的值和連接也影響整個網絡的能量。
: 這台機器的運行規則是一次更新一個節點的值。最終，機器會進入一種節點模式可以改變: ，但整個網絡的屬性保持不變的狀態。每個可能的模式都會根據玻爾茲曼方程確定一個特: 定的概率。當機器停止運行時，它創造出了一個新模式，這使得玻爾茲曼機成為早期的生: 成模型之一。儘管電腦無法思考，但現在機器可以模仿記憶和學習的功能。今年的諾貝爾: 物理學獎得主幫助實現了這一點。他們使用物理學的基本概念和方法，開發了用網絡結構: 來處理信息的技術。
: 機器學習與傳統軟體不同，傳統軟體像一種食譜，軟體接收數據，然後按照明確的說明進: 行處理，最終產生結果，就像按照食譜收集食材並製作蛋糕一樣。與此不同的是，在機器: 學習中，電腦通過範例學習，從而能夠解決那些過於模糊和複雜，無法用一步一步的指示: 來處理的問題。比如說，識別圖像中的物體就是一個例子。
: 模仿大腦
: 人工神經網絡使用整個網絡結構來處理信息。這種靈感最初來自於理解大腦如何工作的需: 求。早在1940年代，研究人員就開始推理大腦神經元和突觸網絡背後的數學原理。另一塊: 拼圖來自心理學，神經科學家唐納德·赫布提出的假設表明，當神經元一起工作時，連接: 會被增強，從而促進學習的發生。
: 後來，這些思想促使人們試圖模擬大腦的網絡功能，通過構建人工神經網絡的電腦模擬。: 在這些網絡中，大腦的神經元被模仿為具有不同值的節點，而突觸則被表示為節點之間可: 以加強或削弱的連接。唐納德·赫布的假設至今仍然被用作更新人工網絡的基本規則之一: ，這個過程被稱為訓練。
: 玻爾茲曼機可以通過範例進行學習——不是通過指令，而是通過給定的範例模式進行更新: 網絡連接中的值，這樣當機器運行時，訓練時輸入到可見節點的範例模式就具有最高的發: 生概率。如果在訓練中多次重複相同的模式，那麼這個模式出現的概率會更高。訓練還會: 影響輸出類似於訓練範例的全新模式的概率。
: 訓練過的玻爾茲曼機能夠在其未曾見過的信息中識別出熟悉的特徵。想像一下，遇見一位: 朋友的兄弟姐妹，你可以立即看出他們之間的親屬關係。玻爾茲曼機也能辨認出完全新的: 範例，只要它屬於訓練材料中的一個類別，並能將其與不相似的材料區分開來。
: 玻爾茲曼機的原始形式運行效率較低，尋找解決方案需要很長時間。然而，當它通過各種: 方式進行改進時，事情變得更有趣了，這也是辛頓繼續探索的領域。後來的版本通過去除: 某些單元之間的連接，實現了「稀疏化」。事實證明，這反而讓機器變得更高效。
: 機器學習——今天與明天
: 我們如今目睹的這一發展得益於大量可用的數據以及計算能力的巨大增長。今天的人工神: 經網絡往往非常龐大，並由多個層級組成。這些被稱為「深度神經網絡」，它們的訓練方: 式被稱為「深度學習」。
: 目前，許多研究人員正在拓展機器學習的應用領域。哪些應用將成為最具可行性的還有待: 觀察，與此同時，關於這項技術發展和使用的倫理問題的討論也在廣泛進行。
: 由於物理學為機器學習的發展提供了工具，看到物理學作為研究領域也從人工神經網絡中: 受益，這也是一件有趣的事。機器學習早已應用於我們從過去的諾貝爾物理學獎中熟悉的: 領域。例如，機器學習被用來篩選並處理大量數據，這對於發現希格斯粒子至關重要。其: 他應用還包括減少黑洞碰撞引起的引力波測量中的噪音，或者搜尋系外行星。
: 近年來，這項技術還開始應用於分子和材料性質的計算和預測——例如計算蛋白質分子的: 結構，這決定了它們的功能，或是研究哪種新材料具有最佳性質，可用於更高效的太陽能: 電池。
: ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.82.233.52 (臺灣)
: ※ 文章網址: https://www.ptt.cc/Gossiping/E.2dRrxrlSRQIk
: 推 TexasFlood: 幹被搶先一步，我準備要發表的 133.46.150.220 10/08 17:51: → vowpool: 阿不就AI 125.227.40.62 10/08 17:52: 推 s72005ming: AI 114.32.250.98 10/08 17:53: 推 Panasonic: 為什麼拿物理獎不是去拿圖靈？？ 114.137.133.220 10/08 17:53: 推 gino0717: 物理獎怎麼頒給做ai的 114.36.8.65 10/08 17:54: → jjlee: 不然諾貝爾有什麼獎合適？ 1.163.211.117 10/08 17:54: 推 S0323109: 恭喜 176.1.18.78 10/08 17:54: 推 woulin: 這跟物理沒關係吧 114.137.186.120 10/08 17:55: 推 asosan: 應該給圖靈 39.9.135.5 10/08 17:55: → amaqua: 是人工神經元 59.127.98.131 10/08 17:55: → woulin: 資訊科技拿物理獎 114.137.186.120 10/08 17:55: 推 veryGY: 代表物理界這幾年沒啥進展都在原地踏步阿 114.45.217.27 10/08 17:56: 推 tim32142000: 恭喜 59.115.172.179 10/08 17:56: → bradyhau106: 怎麼怪怪的 114.32.3.97 10/08 17:56: 噓 NARUTO: 這是電腦科學的範圍吧？ 61.70.163.104 10/08 17:56: → woulin: 那以後一堆搞軟體的都可以得諾貝爾獎 114.137.186.120 10/08 17:56: → godofaluba: 嗯.........果然和我想的一樣 111.242.191.19 10/08 17:56: → PtT0615s: 抓來充數的 慘 61.216.99.139 10/08 17:57: 推 deltarobot: 可憐哪 理論物理學家都在混 49.217.120.241 10/08 17:57: → q123212: 這傢伙我認識啊 當年在學校也是普普而已 110.28.2.30 10/08 17:59: 推 Forcast: 研究線蟲也能醫學獎 114.25.151.59 10/08 17:59: 推 geminitea: 理論物理是不是走到極限了== 101.9.103.40 10/08 17:59: → Eriri: 早期的機器學習模型本來就是物理學家背景 99.229.221.178 10/08 18:00: → Eriri: 的人在研究 Hinton本人的PhD指導教授甚至 99.229.221.178 10/08 18:00: 推 veryGY: 為了頒給ai 硬拉了一個作物理的給獎 114.45.217.27 10/08 18:00: → Eriri: 跟上帝粒子的Higgs是同一位 99.229.221.178 10/08 18:00: 推 Forcast: 類神經網路 114.25.151.59 10/08 18:00: 推 woulin: 21世紀物理兩大烏雲，暗物質暗能量 無人 114.137.186.120 10/08 18:00: → woulin: 能解 114.137.186.120 10/08 18:00: → Eriri: 只是這個給獎的確挺爛的就是了 99.229.221.178 10/08 18:01: → vking223: 遇事不決，量子力學 61.223.95.226 10/08 18:02: 噓 dklash: 物理獎 頒這個... 諾貝爾地下有知... 111.241.171.206 10/08 18:02: 推 woulin: 開了先例，以後搞軟體的也可得物理獎 114.137.186.120 10/08 18:03: 推 piolet: 從缺也行唄 理論物裡大概幾百年才小突破 36.233.109.210 10/08 18:03: → nakayamayyt: 這算物理學喔 1.171.109.67 10/08 18:04: → freertos: --- 這就有點奇怪了... 物理已死？？ 61.220.184.181 10/08 18:04: → nadleeh: 物理學選這個喔== 49.215.88.119 10/08 18:05: → Eriri: 又沒規定非得一定每隔幾年要給理論物理 實 99.229.221.178 10/08 18:05: → Eriri: 驗物理一大堆比這更值得的人排隊 偏偏給這 99.229.221.178 10/08 18:05: 推 jerryhd921: 這是圖靈奬的東西吧，物理沒人囉！ 111.71.215.136 10/08 18:06: → Retangle: 諾貝爾獎有個標準是對人類社會的影響啊 101.12.151.83 10/08 18:06: 推 woulin: 物理研究的是物質和能量，不是資訊 114.137.186.120 10/08 18:06: → nakayamayyt: 這樣華爾街那些做金融的物理學家也有 1.171.109.67 10/08 18:07: 推 Jameshunter: 拿圖林或菲爾茲比較合理 諾貝爾物理? 140.109.214.4 10/08 18:07: → nakayamayyt: 機會拿物理學獎了 1.171.109.67 10/08 18:07: → Retangle: 前幾年氣候變遷大概也是靠影響力拿的 101.12.151.83 10/08 18:08: 推 wulaw5566: 這是圖靈獎的範疇吧 150.116.130.75 10/08 18:08: 推 woulin: 那作加密技術的RSA那三人也能得諾貝爾獎了 114.137.186.120 10/08 18:09: → Eriri: 前幾年那個大氣變遷的也頗無言的 99.229.221.178 10/08 18:09: 推 Recoverism: 物理學頒給AI? 223.137.153.225 10/08 18:09: → ev331: 蛤 114.24.204.29 10/08 18:10: 推 Ponder1230: 有點怪 101.9.203.76 10/08 18:10: → ykes60513: 這根本不是物理學 離物理也太遠了吧 57.140.96.40 10/08 18:11: 推 Obama19: 亂搞啊 笑死 物理學家應該都傻眼 118.231.145.220 10/08 18:11: 推 yoshilin: 以後物理都靠ai解答啊 101.137.165.234 10/08 18:12: 推 danielpupu20: 物理學本身就做不出新學問了，做出 27.51.33.251 10/08 18:12: 推 Chilloutt: Ai元年 懂蹭 118.167.180.2 10/08 18:12: → danielpupu20: 的理論也都無法驗證。才會都頒給這 27.51.33.251 10/08 18:12: 推 netsphere: 支持諾獎再多Computer Science獎項 223.137.64.245 10/08 18:12: → danielpupu20: 些。 27.51.33.251 10/08 18:12: → Chilloutt: 反正先進儀器早就一堆ai 118.167.180.2 10/08 18:12: 推 melancholy07: 恭喜 101.12.27.101 10/08 18:13: → Chilloutt: 這樣頒獎可接受啊 118.167.180.2 10/08 18:13: → elec1141: 這不是我小時候科展主題嗎 223.137.91.90 10/08 18:13: 推 MrStone: AI關物理學屁事 硬要蹭 1.162.155.183 10/08 18:15: 推 eg860610: 說不定以後得物理獎的都是CS背景的 223.139.15.249 10/08 18:15: 推 WWIII: 拷貝 這算物理喔 36.230.45.113 10/08 18:15: 推 Chilloutt: 大概每幾年搬給不太物理的東西 118.167.180.2 10/08 18:17: 推 jasonwuton: ？？？ 39.14.50.18 10/08 18:18: 推 jen1121: Ai 101.12.25.172 10/08 18:19: → Jin63916: 1年1次好像蠻多的 223.143.209.33 10/08 18:19: → nowitzkixd: 幹 我就差一點 223.138.62.95 10/08 18:20: 推 hitoli: Hinton在2018就拿過圖靈獎了 210.70.220.119 10/08 18:21: 推 turndown4wat: 物理攻擊 114.136.189.198 10/08 18:22: → nadleeh: 物理獎還是很多人在排隊吧 49.215.88.119 10/08 18:22: 推 m42040: 物理的部份在哪裡? 27.53.240.75 10/08 18:23: 噓 agoodjob: 這是資工吧什麼物理學 1.200.113.155 10/08 18:23: → andy2011: https://youtu.be/ekyKnRDMRF4 101.137.223.57 10/08 18:23 : → Eriri: 類神經網路本來就是受物理啟發的模型 早期 99.229.221.178 10/08 18:25: → Eriri: 很多物理背景的人研究 就像我前面說的 Hint 99.229.221.178 10/08 18:25: → Eriri: on本人甚至跟希格斯粒子的Higgs是同門師兄 99.229.221.178 10/08 18:25: → Eriri: 弟 說這是物理也無不可 只是單以物理價值 99.229.221.178 10/08 18:26: → Eriri: 而言 這實在沒什麼特別大的 99.229.221.178 10/08 18:26: 推 leon1757tw: 現在諾貝爾物理學獎也要扯AI喔 123.241.91.8 10/08 18:26: 推 agoodjob: 乾脆說萬物都由原子構成，所以這世上只 1.200.113.155 10/08 18:30: → agoodjob: 有一門學問就叫物理學 1.200.113.155 10/08 18:30: 推 Atropos0723: 這種工作拿諾貝爾物理獎？ 112.78.77.20 10/08 18:33: 推 zxcv3147: 張忠謀過幾年也要得獎了 42.73.92.58 10/08 18:34: 推 looooook: 早就這麼想了 111.82.63.56 10/08 18:35: → aggressorX: 理論物理是不是卡很久很久了... 223.140.129.1 10/08 18:38: 推 MADAOTW: 物理停滯快一百年了吧？ 223.136.51.195 10/08 18:39: 推 YLTYY: (づ′・ω・）づlink start 36.232.208.8 10/08 18:43: 推 woulin: 理論物理從相對論和量子力學後，有更屌的 114.137.186.120 10/08 18:48: → woulin: 理論嗎 114.137.186.120 10/08 18:48: → shellback: AI得獎 股市該噴了 223.136.91.180 10/08 18:50: → shellback: 不過這應該是資訊科學的領域吧 223.136.91.180 10/08 18:51: 推 q8977452: 辛頓拿過圖靈獎囉 125.230.225.186 10/08 18:59: ※ 編輯: jackliao1990 (111.253.128.76 臺灣), 10/08/2024 19:28:15
: 推 EqualMan: 物理沒人才了？ 49.217.134.178 10/08 19:05: 推 CruiseTom: 2021物理獎就很不物理了 沒啥重大發現 223.137.138.174 10/08 19:09: → r7544007: 嗯嗯跟我想的一樣 45.133.176.91 10/08 19:13: 噓 PhySeraph: 這三小 101.10.3.142 10/08 19:22: 推 henry1915: 略蝦 114.32.231.249 10/08 19:23: 推 sexybox: 物理界是不是沒人才了 223.137.62.191 10/08 19:33: 推 butten986: 天網近了 220.137.129.200 10/08 19:34: 推 kevin190: 諷刺這幾年做物理的人端不出像樣的東西 125.228.71.163 10/08 19:36: 推 Peurintesa: 蛤 物理學到極限了嗎?資訊科學都算喔 220.143.10.190 10/08 19:42: 推 kidsakuray: 說好的常溫超導呢 45.144.227.44 10/08 19:54: 推 Jetinacn: AI得獎 223.138.80.203 10/08 20:03: → klgfan: 我懂了 36.231.1.98 10/08 20:04: 推 kk10519: AI 得物理學獎非常合理 210.209.240.3 10/08 20:11: 推 waeting: 活夠久 42.73.25.228 10/08 20:12: 推 Stella: 幹，AI最好也算物理啦，去領圖靈獎就好了 39.10.17.64 10/08 20:15: → Stella: ，跑來搶諾貝爾物理獎 39.10.17.64 10/08 20:15: → Stella: 凝聚態領域還有一堆大佬還沒得獎 39.10.17.64 10/08 20:15: → Stella: 不然也可以頒給做量子電腦的，頒給AI是三 39.10.17.64 10/08 20:16: → Stella: 小 39.10.17.64 10/08 20:16: 推 Sylph: 這在LM界真的已是基礎知識了 152.165.112.138 10/08 20:16: → Jimmywin: 這物理？是沒高能或天文好給了嗎？ 116.89.134.106 10/08 20:17: 推 thelittleone: 為何這算物理獎 111.71.71.151 10/08 20:27: 推 applejone: 就NN阿 140.112.14.15 10/08 20:32: 推 followwar: 很合理 本來就是統計物理跟熱力學 36.234.221.6 10/08 20:45: 推 a205090a: 抄我的期末報告 幹 111.253.161.15 10/08 20:52: 推 k798976869: 紅黑樹啦 123.110.50.249 10/08 20:53: → k798976869: cnn 123.110.50.249 10/08 20:54: 推 inte629l: 這用到統物的哪個部分啊? Ising Model? 114.37.106.112 10/08 20:54: → inte629l: 領圖靈又領諾貝爾 扯 114.37.106.112 10/08 20:55: → chopper594: 波茲曼分布的樣子 223.137.243.119 10/08 21:00: 推 ruffryders: 求懶人包 220.143.5.250 10/08 21:25: → DrizztMon: 不合理 但很開心物理界心態開放 203.222.2.131 10/08 21:47: 推 poooooo: 2021年氣候變遷那個沒問題吧，那年 39.12.25.115 10/08 21:49: → poooooo: 就是頒給複雜系統的 39.12.25.115 10/08 21:49: 推 chysh: 代表AI正式跨入應用物理領域啊，一堆阿呆看 49.217.62.224 10/08 22:25: → chysh: 不懂，還不趕快買NV、META、Alphabet 49.217.62.224 10/08 22:26: 推 yeh0416: 有用到電的都算物理 （誤 223.140.23.226 10/08 23:13: 推 jack123573: 推 223.137.1.156 10/08 23:24: → ChungLi5566: ？？？？那以後數學家都能拿獎了 59.102.132.252 10/08 23:28
--

生物物理在絕大多數機構都歸在物理系所