PTT推薦

[爆卦] 牛頓法的最新擴展

jackliao1990 發表於 2025/3/25 上午9:35:02
看板Gossiping標題[爆卦] 牛頓法的最新擴展作者
jackliao1990
 (j)時間推噓18 推:21 噓:3 →:15

https://arxiv.org/pdf/2311.06374

1680年代艾薩克·牛頓發明牛頓法以尋找函數最小值
用函數的一階導數和二階導數構建二次泰勒近似
通過迭代計算二次方程最小值以逐步逼近函數最優解
人類用它解決優化問題如平衡投資組合的風險與回報、開發自動車視覺辨識系統。
此法收斂速度快（二次速率）且優於梯度下降法（線性速率）。
缺點是當起始點遠離真實最小值時可能失敗
19世紀俄國Pafnuty Chebyshev提出用三次方程近似卻無法處理多變量函數
2021年Yurii Nesterov解開如何用三次方程近似多變量函數但無法用在更高次方程

易於最小化的函數應具備單一谷底和平方和形式
普林斯頓大學的Amir Ali Ahmadi與學生Abraar Chaudhry和Jeffrey張為此使用半定規劃微調泰勒近似使其同時滿足凸性和平方和特性又不偏離原始函數
新算法能以更少迭代次數逼近真實最小值且效率隨導數階數提升而增強
新算法計算成本仍高
而牛頓法每步計算成本較高但迭代次數少 總體效率高
另外梯度下降法因計算簡單
目前仍主導機器學習等領域
若未來計算技術進步降低每次迭代成本
新算法可能超越梯度下降法
Ahmadi預測10-20年後該算法可能在實踐中展現優勢

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.178.35 (臺灣)
※ PTT 網址
→

gx8759121 03/25 09:35好像很厲害

噓

NirOE 03/25 09:35不窺視issac

→

WeGoStyle 03/25 09:35跟樓下想得差不多 只是樓下懶得寫

推

HisVol 03/25 09:35西元2025年了還在牛頓法？

→

preisner 03/25 09:36我十年前就知道了只是不想講

→

Forcast 03/25 09:36牛頓拉弗生、高斯賽德

→

bill403777 03/25 09:37這我國小科展時有想過這題目

推

sasaya7749 03/25 09:37這玩ansys非線性求解的時候有用到

推

Xaymaca 03/25 09:37早就想到了 為什麼要發表呢?

推

bebehome 03/25 09:37小學數學拿來爆掛？

推

ryo1008 03/25 09:38對對

推

Mradult 03/25 09:38國中算給數學老師看，結果被臭罵一頓

→

HodorDragon 03/25 09:39嗯嗯 我昨天大便時也這麼想

推

leo1217000 03/25 09:40數學的精靈語太難看懂

推

ebiebibbNOOB 03/25 09:40我那天跟他小聊一下 竟然有聽進去

推

woogee 03/25 09:41減少疊代但計算成本高?這麼神奇

推

eric112 03/25 09:42我才剛用chatgpt推理出來馬上就有人知道

→

eric112 03/25 09:42了

推

finhisky 03/25 09:44砍蘋果樹就是厲害

噓

KadourZiani 03/25 09:45當年我證明給他看了，他不放在心上

→

KadourZiani 03/25 09:45，沒想到時間證明我是對的

推

gn01881106 03/25 09:46小輩如此受教 吾深感欣慰

噓

t19960804 03/25 09:46這東西我小學就知道了 我跟老師說他還

→

t19960804 03/25 09:46罵我

推

PetrVanis 03/25 10:032025還在做牛頓法，成本一樣很高 這樣

→

PetrVanis 03/25 10:04也可以發新聞？嘴砲論文

推

fgh81113 03/25 10:09蘋果在哪裡

→

Cuchulainn 03/25 10:12到近年才優化新逼近

推

windydancer 03/25 10:16都快五百年了，還不放過牛頓？

推

orange0319 03/25 10:18幹，這連理組都不一定看得懂吧，只能

→

orange0319 03/25 10:18靠數學系了

推

DublinSky 03/25 10:30牛頓法限制太多，要連續，起始要夠近

→

DublinSky 03/25 10:31但是在連續的情況下可以用泰勒降階

推

pyhsiao 03/25 10:44是否可以和梯度下降法混合使用?

推

eternal523 03/25 11:04簡單 重要 下次會考

→

kamisanma 03/25 11:21108課綱刪掉了 又要補回來了嗎

推

deerdriver 03/25 12:04可以說中文嗎

推

create8 03/25 14:22牛頓快速尋根法，計算 inverse sqrt ，

→

create8 03/25 14:22毀滅戰士會用到

其他人也閱讀了
PTT 熱門相關
Gossiping最新熱門推薦
🔥🔥🔥