[情報] 跑車浪漫旅玩家小心了！Sony開發最強賽車

ithome 李建興

跑車浪漫旅玩家小心了！Sony開發最強賽車AI或將進入遊戲慘電玩家

Sony AI在Nature期刊發表最新的賽車人工智慧研究，該組織所開發的GT Sophy人工智慧代理，能夠在跑車浪漫旅賽車遊戲中擊敗冠軍玩家

Sony AI x Polyphony Digital Race Together - K.Yoshida Message
https://www.youtube.com/watch?v=QvTAAKI4x-4
The Making of Gran Turismo Sophy [English]
https://www.youtube.com/watch?v=l948hMaTPuo

Gran Turismo Sophy RACE TOGETHER 2021 #1 [English]
https://www.youtube.com/watch?v=4Gfm317R7l4
Gran Turismo Sophy RACE TOGETHER 2021 #2 [English]
https://www.youtube.com/watch?v=dxmIAy9ShZg

不只在西洋棋以及即時戰略遊戲Dota，人類玩家打不贏電腦，現在連賽車遊戲也失守，
人工智慧已經有能力在賽車遊戲中跑贏頂尖車手。

由Sony AI、Polyphony Digital和Sony Interactive Entertainment共同合作，
所開發的人工智慧代理Gran Turismo Sophy（GT Sophy），在知名賽車遊戲跑車浪漫旅
（ran Turismo）遊戲中，打敗全世界最厲害的玩家賽車手，而Sony正探索將這個
人工智慧代理整合到跑車浪漫旅系列作的方法，與玩家展開對決。

Sony AI研究人員在Nature期刊發表論文〈Outracing champion Gran Turismo
drivers with deep reinforcement learning〉，應用深度強化學習技術，開發出超越
跑車浪漫旅車冠軍手的人工智慧代理。這個研究以跑車浪漫旅系列作品，2017年
Polyphony Digital於家用遊樂器PlayStation 4上所發布的Gran Turismo Sport（GT
Sport）版本為基礎，該遊戲逼真重現真實世界的賽車環境，由於GT Sport採用了最新
的車輛動力系統模擬，遊戲中賽車的效能幾乎與真實世界的賽車相同，對空氣阻力、
輪胎摩擦，甚至懸吊系統移動所造成的方向改變都進行建模。

再加上擁有來自車廠的指導，GT Sport中賽車車身曲線、方向燈和大燈細節都
與實體車型相同，精確地重現車輛細節。遊戲也設計了明確的規則和判斷標準，
是一個與真實世界接近且公平的賽車遊戲。

Sony AI在這個接近現實賽車的遊戲中，開發賽車人工智慧代理，其所使用的增強學習
是一種機器學習技術，訓練人工智慧代理在環境中，透過獎勵和懲罰學習所要採取的
行動。Sony AI以增強學習為基礎，發展了一種更先進的訓練演算法，稱為QR-SAC
（Quantile-Regression Soft Actor-Critic）。

https://s4.itho.me/sites/default/files/images/rl-techniques.png

QR-SAC演算法訓練人工智慧代理GT Sophy，成為一個技術高超，有謀略又有禮貌的賽車
手，能夠掌握賽車控制、戰術還有禮儀技能。QR-SAC能夠推理出GT Sophy在高速行動下
的結果，考慮到駕駛行為和後果，並在與不同類型的對手比賽時，考量複雜的可能性，
GT Sophy能夠以高超的控制技巧，在一系列彎道組合，在未有接觸下貼著賽道牆面行駛。

GT Sophy雖然能夠自己收集資料，但訓練像是尾流超車（Slipstream Passing）
這種特殊技巧，需要對手處與特定的位置。因此Sony AI還以混合情境訓練GT Sophy，
除了手工製作每條賽道需要掌握的重點之外，也有協助代理人學習的專業陪練對手。

這些訓練使得GT Sophy獲得一些專業的賽車技術，包括處理賽車同時起步的擁擠情況，
或是利用前車尾流彈射超車，甚至是防守動作。Sony AI特別展示了GT Sophy能夠精巧
控制方向盤，在急轉彎中追趕前車。

不成文的賽車規則，並且將其編碼成複雜的獎勵函式，使得GT Sophy不過於激進或是
膽怯，能與人類展開具有競爭性的比賽。GT Sophy可以不阻擋其他車手，留給對手
足夠機動空間的情況下超車。

Sony AI在自家開發的DART（Distributed, Asynchronous Rollouts and Training）
訓練平臺訓練GT Sophy，DART平臺具有大量的CPU和GPU，能夠連接1,000多臺
PlayStation 4，以收集訓練GT Sophy的資料集，同時DART還可管理代理運算資源和
跨資料中心的GPU，研究團隊會在DART上同時進行數百個實驗，以探索提升GT Sophy
效能的技術。

https://www.ithome.com.tw/news/149302

--
英國老人在海關翻找護照，動作很慢找了很久，女海關尖酸的問：你來過法國？
英國老頭說：我只來過一次。女海關更尖酸的問：你來過怎麼不知道提前拿護照？
老頭：我上次來時沒檢查護照。
女海關高聲叫道：不可能！英國佬來法國我們永遠都要檢查護照！
老頭：44年登陸時候，海灘上可一個法國人沒見著...
旁邊德國老頭說：是的，這個我能證明，當時灘頭確實一個法國人都沒有...

--