[閒聊]《魔咒之地》用語音情感分析AI支援開發3D

《魔咒之地》用語音情感分析AI支援開發3D動畫 縮短95％角色表情製作工時

https://game.udn.com/game/story/122089/7096003

Luminous Productions 開發的跑酷 RPG《魔咒之地》（Forspoken）原本以 3A 大作規格承載著索尼與 Square Enix 全新 IP 希望，結果在 PS5 與 Steam 上市後，銷量和口碑一樣慘淡，官方不放棄宣佈將繼續推出更新以及前傳 DLC《In Tanta We Trust》，但隨著 Luminous 將於 5 月併入母公司 SE，後續發展還有得瞧。

而日本聲音感情解析 AI 服務的同名公司 Empath 宣佈，《魔咒之地》在導入自家 AI 表情技術「DeepEmo」後，臉部動畫師減少了 95％ 的開發時間。

DeepEmo 能以 Empath 情感語音數據庫為基礎，分析配音台詞並每 0.32 秒變化一次，產生對應言語的「情感值」來進行臉部表情建模，據稱深度學習能分出九種情緒：正常、憤怒、恐懼、厭惡、喜悅、悲傷、信任、興趣和驚訝。

https://is.gd/dHqVDl

過去 Luminous 按照傳統方法，一名動畫師每天要製作大約兩分鐘的臉部表情動畫，開發 1,000 分鐘對話的臉部動畫需要 500 個工作天，但使用 DeepEmo 能縮短約 95％ 的製作時間，大約只花 25 個工作天就能完成。

Luminous Productions 美術總監岸明彥與首席臉部動畫師田中雄介透過新聞稿表示，首度使用 Empath 語音分析情感技術非常有挑戰性，「但取得令人滿意的結果，雖然還有很多需要改善的地方，但大部分開發過程是依循 Empath 輸出的資料來導入 Luminous
Engine 引擎。」

延伸閱讀：《魔咒之地》傳開發成本逾1億美元！銷量慘淡讓工作室「被吸收」 SE還幫全公司加薪？

使用 DeepEmo 的另一缺點，就是動捕演員的演出和感情分析結果不一致的情況，「為拉高（該技術）在遊戲領域運作的正確率，我認為需要訓練一個能分析演技的學習模型。目前遊戲產業界的語音情感解析的使用上，仍處於起步階段，期待今後的發展。」

除了遊戲製作，Empath 也希望 DeepEmo 未來能用在原宇宙角色或VTuber 的講話台詞上，以 AI 形式販售，而除了這類提供客戶使用自有語音數據解析輸出的方式，預計也會推出 SaaS 軟體即服務的應用程式介面（API）來串聯到各種應用場景。

--