[情報]YoYo鹿鳴的台前幕後，再探米哈虛擬角色

來源:https://mp.weixin.qq.com/s/G6IQn31SfLyBh5lQHcw99g

初見鹿鳴，不覺眼前一亮，“小姐姐”外表清新脫俗，神態舉止俏皮可人，不由讓人心中
升起種恬淡悠然之感。不久後在2020虛幻引擎開放日上，米哈遊總裁大偉哥的演講首次揭秘了鹿鳴項目的幕後故事。方知鹿鳴項目的與眾不同，她並非一個“功利”的商業項目，
而是米哈遊內部第一個虛幻引擎技術驗證項目，立項初衷是受虛幻引擎GDC演示項目Siren啟發，嘗試將米哈遊擅長的二次元賽璐珞風與虛幻引擎擅長的PBR寫實風相結合，以求尋得一個平衡點，也就是如今大家見到的鹿鳴獨有的渲染風格。

https://youtu.be/zcRGPmEawmk

熬過疫情，鹿鳴在春節前成功完成了最新一期的直播。“呦呦鹿鳴，食野之蘋”，恰逢大
地迎春之際，讓我們再一次探訪鹿鳴，了解下她從“深閨”到台前的“成長”之路。

首先在項目的第一階段，團隊唯一的目標就是將渲染品質提高，以求做到對標影視級別，這可以說是一個純LookDev階段，所以不會過分糾結於一時的渲染及模擬效率。作為米哈遊第一個虛幻引擎項目，團隊許多人對虛幻引擎並不了解，不免擔心影響工作進度。所幸虛幻提供的可視化編程功能——藍圖，對於新手十分友善，尤其對有其他引擎使用經驗的
團隊來說，更是很快上手。這使得團隊能夠快速搭建場景或實現各種功能原型，并快速迭代來找到最佳方案。

而最受美術同學歡迎的要屬Layered Material功能。有了它，美術可以方便地從材質庫引入材質作為子層，將材質由shader藍圖的編輯變成了類似傳統美術軟件對層進行操作的邏輯，更符合美術的直覺，使得美術同學能很快學會在引擎中如何進行材質構建。而其每個層相對獨立的特點，也使得材質的維護修改變得方便快捷。

而為了追求影視級品質，這一階段的作品都是通過虛幻引擎的影片渲染隊列（Movie
Render Queue）功能進行離線生成的，所以生產管線也就類似傳統離線CG的管線，而
Python作為傳統管線軟件都支持的腳本語言，對於整個管線的自動化效率至關重要，虛幻引擎對Python的支持，使得引擎與傳統CG流程管理軟件、製作軟件可以輕鬆銜接，大大方便了資產管理以及批量化資產導入導出。

https://i.imgur.com/dR2xUv6.png

一言以蔽之，彼時團隊就是將虛幻引擎作為一個所見即所得的LookDev編輯器+離線渲染器來使用。

這一階段直到UOD2020結束大半年後，團隊確認了最終想要的風格以及品質標准後而告一段落。第二階段的工作重點自然是大偉哥在虛幻開放日分享結尾立的flag——做直播！

直播意味著是整個流程從離線到實時的顛覆，從後期配音到實時語音合成，從表演捕捉後再將數據交給動畫師精修變成實時的表演捕捉，從離線在其他DCC中進行布料、肌肉模擬解算再將結果導入引擎到全實時解算，從原先幾分鐘甚至十幾分鐘一幀的畫面到1秒30幀，而這一切都還有一個大前提——必須保持離線的品質！

於是簡單的兩個字，團隊走了近兩年，在去年七月終於完成了鹿鳴的直播首秀，在保證了品質的同時，驗證了整個實時處理流程框架；更在第二次直播時，根據粉絲的反饋，優化了管線、表情、物理模擬，使品質再上層樓。

要將虛幻實時渲染的品質達到MRQ離線渲染品質，難度不言而喻。所幸鹿鳴背後有著數以百計的算法科學家與軟硬件工程師為其攻克道道難關。

第一道難關是動作捕捉中的重定向。由於動捕演員的身形各異並且動作風格不完全可控，想要鹿鳴有自然的表現，存在諸多的挑戰。由於虛幻引擎4 官方還沒有加入IK Rig
Retargeting功能，團隊自己實現了一個IK Solver，以使在重定向過程中避免穿模的同時，還能保證動作的穩定與自然。

而表情捕捉就更絕了，原以為鹿鳴這樣的卡通角色，由於渲染上模型或材質上的細節不多，表情上稍微有點差別，畫面上可能看不出什麼區別，可以更容易地避免恐怖谷現象。然而理想很豐滿，現實總是很骨感，正因為沒有了模型上材質上的一些細節，表情的自然與否反而變得更加重要。為了能夠獲得更好的細節表現，米哈遊需要獲取面捕過程中的底層數據做定制優化，而不僅僅是商業方案解算後提供的預設的BlendShape組的權重值，於是索性從頭開始，“軟硬兼顧“地做了一套完整方案。

https://i.imgur.com/CH18tAP.gif

表情捕捉效果

說完表演捕捉，再聊聊鹿鳴飄逸的秀發。為了提高頭髮的細節表現，米哈遊並不滿足於虛幻引擎Groom默認的為了兼顧性能而偏線性的Strand插值算法，這可能使頭髮會被一些本不該對其產生影響的Guide Line所影響而產生“炸開”的情況，而Maya XGen的插值允許
使用美術自定義的規則，從而滿足特定美術效果需求。於是團隊使用Maya XGen生成的數據作為Ground Truth的數據集，通過機器學習實現了一套Strand插值算法以模擬Maya中的插值效果，這才讓鹿鳴的毛髮變得絲絲順滑～

https://i.imgur.com/D35HplI.gif

頭髮動態效果

同樣使用了機器學習的還有肌肉模擬，儘管鹿鳴是個姑娘家細胳膊細腿，直覺上肌肉模擬的效果差別遠不如肌肉男來的明顯，但和微表情的捕捉一樣，正確的肌肉模擬帶來的細微形變顯著提高了數字人的生動性與可信度。傳統的有限元算法性能不足以實時解算，於是團隊將機器學習與傳統的有限元算法相結合，通過機器學習來加速有限元算法的求解以達到實時模擬。

https://i.imgur.com/Rbfptvw.gif

肌肉模擬效果

最後不得不提的是布料模擬，這也是米哈遊這幾年一直在不斷改進積累的領域，為了能做到實時解算並對標Houdini Vellum的效果，團隊用CUDA實現布料與毛髮的Solver，並能支持多GPU加速，大幅提高了解算速度，最終達到了30FPS的要求。

https://i.imgur.com/qTEMspI.gif

實時布料解算效果

交流時和團隊天南地北地聊了許多相關技術，由於受篇幅限制，這裡能列出的不過是米哈遊通過鹿鳴項目積累的技術寶庫的冰山一角，還有不少重磅功能以及實現細節需要等時機成熟後由米哈遊鹿鳴團隊來揭曉。

而當被問及未來，團隊認為升級虛幻引擎5會是今年一個重要的目標，尤其對虛幻引擎5中的Lumen、Substrate（即5.1的Strata）、Neural Network Interface等功能充滿期待。

交流會後回到家，想到會上濃郁的技術氛圍，想到討論技術時團隊成員放光的眼神，不免令人感慨，世人都羨慕米哈游至今每一款作品都能獲得成功，我也不能免俗。但如今當我見識了這風光背後米哈遊團隊數年如一日，持之以恆，專注於技術，對技術不計成本的投入，耐心打磨每一個產品細節的付出後，倒也釋然了。

最後，感謝鹿鳴團隊的新老小伙伴們，期待將來米哈遊的技術宅們用虛幻引擎5為世界帶來更大的驚喜。

=============================================================

今天終於知道米忽悠對這項目的定位了←_←

非功利性的UE引擎技術驗證項目

還改了好幾套渲染跟算法，沒想到這玩意投入了數以百計的人

真有錢Orz 這普通公司確實玩不起

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.33.69 (臺灣)