[Vtub] 動捕對VTuber舞蹈表現的影響

longlyeagle 發表於 2024/9/29 下午1:20:19

看板C_Chat標題[Vtub] 動捕對VTuber舞蹈表現的影響作者

longlyeagle

(長鷹)時間Sep 29 13:20:19 2024推噓86 推:86 噓:0 →:44

PTT推薦

為什麼很多人在說:

動作捕捉對 VTuber 跳舞是一種 Nerf

動捕跟不上他的動作

----

我是 OpenLive3D 的製作者, 在歐美用 Mac 家用 3D 有一些使用者

在寫這個程式的過程中剛好對這個現象有些了解

所以想要寫一篇解釋動捕會弱化 (Nerf) 跳舞動作的原因

也順便討論一下如何改善這個問題

----

## 造成弱化的原因

1. 捕捉設備的定位平滑化 (Positioning Smooth)

不論是使用動補裝, 或者是用家用 3D 的單鏡頭機器學習定位

這些設備或多或少會有定位誤差的問題

當一個人完全不動的時候, 捕捉設備每一次定位出來的點其實是一個常態分佈

例圖: https://tinyurl.com/2un84pvs

當每次定位結果不停的在這個分佈裡跳動的時候

看起來就像是訊號不好一樣, 人會一閃一閃的

所以動捕定位完之後本身一定會有一層平滑化機制

平滑化 => 弱化銳利度 => 跳舞動作頓點力道減少

2. 動捕幀率與影片播放幀率不匹配的內差機制 (Frame Rate Mismatch)

動捕設備在每一次擷取定位點的時候所需要的時間不一定相同

在需要定位的點多的時候 (人多或是動作複雜)

每次動捕的時間就會更久, 造成每秒的幀率不一定相同

可是影片播放需要穩定的幀率 (通常是 60 FPS)

所以我們會使用內差來解決不匹配的問題

當使用內差的時候, 如果我們只參考最近的定位點

在動作變化的時候就會有不平滑的問題 (想像畫一個圓形可是變成八角形)

所以我們通常會參考多點來進行內差

例圖: https://tinyurl.com/2tc9zpfu

參考多點之後達成的效果就是平滑化, 而平滑化 == 動作頓點弱化

3. 定位點到 3D 模型動作轉換 (Motion Smooth)

動捕定位完之後其實得到的只是在 3D 空間裡面的一個座標

這個座標需要經過一定的數學轉換才能夠變成 3D 模型的動作

模型動作可以分為兩種: 位置與角度

以人型的 3D 模型而言通常會用尾椎為支點 (HIPS) 計算位置

例圖: https://tinyurl.com/2y3w6j55

其他的相對骨架都是計算旋轉角度之後轉換為 3D 模型的動作

在這樣的計算裡, 如果 3D 模型與被偵測人的肢體有長度差異

我們在做模型旋轉的時候就會需要額外補正

而這樣的額外補正通常會需要在旋轉的參數上再帶一層平滑化

來補救模型補正之後卡頓的問題

4. 算圖渲染平滑化 (Render Smooth)

像我在開發的 OpenLive3D 因為使用者是以 Mac 為主

大家的電腦 GPU 都滿爛的, 所以在算圖的時候也會有卡頓問題

這個時候其實有可以減少 3D 算圖的渲染平滑化方法

造成的影響就不用我多贅述

----

## 如何改善動捕平滑問題

在討論了這麼多影響之後, 列出了幾點能夠改善動捕呈現的效果的方法

1. 更好的設備

是的, 上面的很多問題在使用更貴的動捕設備時都能有一定程度的改善

再加上更貴的 GPU 讓我們算圖與渲染的時候不需要妥協

雖然還是會有弱化的問題, 可是當幀數夠高的時候, 影響就會減少

2. 減少計算的複雜度

簡單來說就是人少一點, 然後不要一堆特效, 跟上面更好的設備一樣的道理

3. 舞風的選擇與調整

在知道了設備上的限制之後, 我們可以了解到有一些舞風受到的影響更大

以 Hololive 來說

像是 Aki 這種會需要用電臀這種用震動作為表現形式的肚皮舞風格

一定是被超絕弱化 (Nerf)

在不得已的情況下只能加大動作的幅度與降低振動頻率

就算如此在一些動作上還是會有頓點不足的感覺, 明顯是受到動捕的影響

影片: https://www.youtube.com/live/mknggf96fuI

以 Aki 3rd Live 來舉例, 雖然已經在舞蹈編排的時候使用更柔美優雅的動作

但是在 29:40 左右的印度舞擺頭動作很明顯的還是被平滑化掉了

相對來說像是 Hakos Baelz 用力道更強的表現形式時

雖然還是會有影響, 可是相對的動作的呈現還是更加漂亮

影片: https://www.youtube.com/live/j-N96U_OANI

在 EN 2nd Concert 的時候 Bae 在 46:00 出場的舞蹈就有特別設計過

4. 腦內補完

雖然 VTuber 在演唱呈現更加豐富了可能的表現形式

可是我們必須認知到在舞蹈的呈現上還是有能夠改進的空間的

帶著這樣的理解, 我們在看跳舞的時候更能夠注意到一些細節

影片: https://www.youtube.com/live/wIYvks57cQA

以轟はじめ在 ReGLOSS3Dライブ 53:28 多個腳步切換的動作為例

這樣的多腳步切換顯現的他紮實的基本功

有一些踏腳的動作似乎是踩完之後腳就向前滑了, 沒有明顯的頓點

我們要理解: 腳在接觸到地面之後受到阻力所以一定會有頓點

在這裡頓點不明顯很明確就是因為快速的舞步因為動捕的機制被平滑化之後的結果

所以看到這樣的舞步立刻就能腦內補完

啊, 完美!

----

大概是這樣, 隨著技術的進步, 我們期待有能看到 Aki 肚皮舞電臀的一天

※ PTT留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.231.92.104 (臺灣)

※ PTT 網址

推

ian9091109/29 13:23推專業文

推

a5WaGyu09/29 13:23總之先推

推

ts199309/29 13:24腦補

推

limbra09/29 13:24好懂了等肚皮舞

推

longtimenoc09/29 13:24感謝說明

推

windowsill09/29 13:24推專業人士

推

vmpz7bj6809/29 13:26專業文推

推

fjuke09/29 13:26專業文推推

推

aegius1r09/29 13:26推專業

推

s22shadowl09/29 13:26嗯嗯跟我想得差不多對啊

推

mushrimp546609/29 13:29專業

推

uohZemllac09/29 13:29推專業

推

zseineo09/29 13:30推

推

steven9641409/29 13:30雖然我看不懂但還是推

推

Pegasus9909/29 13:30結論:Aki超讚婆爛

推

elpsycongry09/29 13:31懂了腦補天下第一

→

Ttei09/29 13:31aki肚皮舞應該用真人身體接vt頭才對(x

推

pttrAin09/29 13:33推

推

ap92604409/29 13:33要讓補償機制根據捕捉點的差值做差異化的調整

推

showwhat209/29 13:34推、推，雖然看不懂。(？

推

abysszzz09/29 13:34問問題：受3D模組的影響是如何？因為以holo來說會明顯看

→

abysszzz09/29 13:34到舊的3D(如初始服裝、1版偶像服)的表現感覺比新的3D要

→

abysszzz09/29 13:34粗糙不少

這個其實也是文章裡提到第三點模型與定位點差異的問題如果模型的骨架跟人的骨架在定位之後需要補正的差異過大就會需要額外計算補正而且常常會有許多妥協的情形

推

labbat09/29 13:35難道不能用雷射投影之類的技術？要不是視角需要360度旋轉

→

labbat09/29 13:35也許可以用多點固定視野捕捉輪廓校正

其實現在先進的動捕就已經是多視點了, 這樣才有辦法做舞台上的 3D 呈現如果是單視點頂多就是家用 3D 而且限制很多 (家用 3D 手其實無法放到頭後面)

推

zealotjacky09/29 13:36也就是說我們目前看到的舞步其實不是本人100%發揮？

理論上加上了偵測與套用 3D 模型的過程, 我們永遠無法達到 100% 可是能夠在技術的推展下無限的接近

推

macocu09/29 13:37恩呢呢

推

kenny420609/29 13:38專業文推

→

Ttei09/29 13:38連老愛都不一定能百分百發揮了

→

Ttei09/29 13:39hilo的話可以看sora 模型經過長久調教以及表演經驗豐富所以

→

Ttei09/29 13:39表演起來會特別好看

推

poke00109/29 13:40專業推

推

killmax209/29 13:40這和雷射投影沒有關係啊，是動態捕捉和計算的問題

推

phoenixzro09/29 13:41簡單說因為系統問題所以全部動作力道都會被弱化

→

alaf09/29 13:41推知識

推

TaipeiKindom09/29 13:42你看過himehina嗎

其實我接觸的不多, 真的就是技術土炮還有看 Holo 而已

推

namirei09/29 13:42推專業

推

abysszzz09/29 13:42另外聽你這麼說是不是同樣是高頻訊號，快速動作表現會不

→

abysszzz09/29 13:42好，但有頓點的比較不受影響，蠻有趣的

→

poke00109/29 13:42要完全100趴發揮可能要像電影那樣全身貼滿的動補服加上

→

poke00109/29 13:42頂標的設備成本可能會超貴

→

phoenixzro09/29 13:43加上平滑輔助，在節拍上的頓點還可能會有點跟不上拍子

推

lazybear123109/29 13:43所以番長昨天的舞蹈一定是花了很多時間練習、研究

→

lazybear123109/29 13:43才能呈現這麼好的演出效果

推

SS447709/29 13:44好猛專業知識文推

推

ap92604409/29 13:45電影的動補也是要經過後期矯正

→

ap92604409/29 13:45VT3D為了即時演出在考量效能與計算量的平衡會有很多省

→

ap92604409/29 13:45略性算法導致細微差異被吃掉

推

s93061109/29 13:46專業推

推

funtogether09/29 13:48推專業感謝分享

推

hdjj09/29 13:48推,你怎麼這麼專業

推

chewie09/29 13:48推技術會越來越進步的

推

abysszzz09/29 13:48上面說模型和定位點問題，那是不是可以反過來推測動作比

→

abysszzz09/29 13:48較奇怪的V除了本人問題外也有可能是本人和人設的差距有

→

abysszzz09/29 13:48點大，模型校正比較困難 lol

是的, 所以模型做完之後才會需要現場校正我猜測這是 Holo 在疫情結束前一直沒辦法給 EN 正式 3D 的原因

推

yyccmkt09/29 13:52這篇文章真的很優質，謝謝大大願意分享

推

woodghost09/29 13:52推專業

推

Lin7star09/29 13:54好專業而且講解的好好懂(ﾟдﾟ)

推

NicoNeco09/29 13:55原來如此（完全沒聽懂

推

jay23322309/29 13:55看不懂內容，看起來很專業但還是推一下

推

webberfun09/29 13:57推

推

newlycong09/29 13:57果然還是要更高級的動補設備來提供更快的捕捉頻率啊

推

labbat09/29 14:00開玩笑地，伊娜有高挑身高鯊鯊有大胸部所以事後調整費時

→

jeff66609/29 14:01恩恩完全懂了(完全沒董

推

Luciferspear09/29 14:01https://www.youtube.com/watch?v=AYR0fFYnNv0

→

Luciferspear09/29 14:02內文所舉LIVE一年半前AKI頻道發布的影片長這樣

推

a4055847309/29 14:03推

推

Bencrie09/29 14:03https://youtu.be/nl53_a1r5-w 動作演員給的答案

推

Lhmstu09/29 14:15懂了，靠腦補

推

lp20413to09/29 14:18但以現在的技術，EN 3rd演唱會蠻多小抖動舞蹈都有明確

→

lp20413to09/29 14:18捕捉出來了耶

是的, 現在有更好的設備已經比幾年前好很多了這篇主要是想要表達, 就算已經好了很多, 還是有技術本身的限制而不會是 100%

推

aikensh09/29 14:21太專業了我真的不懂

推

lazioliz09/29 14:22請問openlive3d有支援物理引擎像是碰撞跟重力嗎

沒有真的物理引擎可是有用 Three.JS (或是說 Three-VRM) 本身支援的模型碰撞跟重力, 可以一定程度的避免太嚴重的穿模, 還有讓衣服跟頭髮向下垂不過跟真的物理引擎差距極大

推

rronbang09/29 14:29推

推

OLdk112309/29 14:31推專業文

推

rronbang09/29 14:32有個影片的手會比較打開避免擋到模型的胸部

→

pig20548774109/29 14:35可以看絆愛畢業那場到現在應該還是最頂的

推

Depthsharky09/29 14:35我覺得被nerf最重的是導播功力，轟太多手腳細節被切

→

Depthsharky09/29 14:35掉被遠景甚至被舞台光害（螢幕.地板煙火給蓋掉）還

→

Depthsharky09/29 14:35有五人團步中中會切密集三人，其餘兩側的表演者被切

→

Depthsharky09/29 14:35出（又不是閒置無動作）

→

john235509/29 14:36動作真的要超大才有差別不然全部手腳高機率都會嵌入身體

→

john235509/29 14:36，所以像老鼠那種頓點真的很強

→

Depthsharky09/29 14:38對想要看表演者的一切，捕捉自己的推實在是不好的觀

→

Depthsharky09/29 14:38感，我看遠景還有虛擬觀眾遮掉自己的推幹嘛

我沒有 R團這幾位的會員, 他們各自的頻道會有會限 Fan Cam 嗎? 如果有 Fan Cam 說不定番長值得加一下

推

z0445044509/29 14:39啊！完美

推

lazioliz09/29 14:40順便問一下就你觀察ho有實裝真正的物理引擎嗎

→

Depthsharky09/29 14:40低頭頭髮會逆重力尤其是長髮沒有吧

→

Depthsharky09/29 14:42穿模也很平常胸部要嗎沒調要嗎是固定的偽軟彈碰撞

現在大家應該都差不多, 用的是在頭髮與衣服骨架的末端加上向下的加速度來模擬所以可以看到髮型是基本不變的, 只有髮尾會向下垂

推

nonyet202209/29 14:43專業推

推

rgbff09/29 14:44要改善呈現效果也可以在平滑完之後再銳化回去，不過就吃調

→

rgbff09/29 14:44校功力了

重新銳化的問題是因為在平滑化之後訊號已經失真了所以不知道原本的動作就是平滑的還是有停頓的全部都銳化可能並不是本來的動作這裡牽扯到一些更先進的技術, 像是用機器學習來進行銳化判斷之類的甚至可以把原本跳得不夠好的修正的更好不過因為成本問題以及技術問題, 應該還沒有 VTuber 團體實裝

→

Depthsharky09/29 14:45小魔女的多視角播放就是不錯的嘗試

推

whosu09/29 14:48這次Fan Cam只有encore部分而已

→

whosu09/29 14:49不過感覺有在嘗試這部分了

推

jay23322309/29 14:52相較於bae的頓點跟power容易讓機器捕捉外，我個人是比

→

jay23322309/29 14:52較偏好番長那種動作流暢，讓機器自動補禎，更能展現!

推

webermist09/29 14:56完全明白

推

chewie09/29 15:02https://youtu.be/_j3AZ5LtpOc?si=YUI9eDqtRUJrljOx

→

chewie09/29 15:02剛好有人剪三個holomen成員的比較

→

chewie09/29 15:03...山田的模型真的有點跟不上她的舞技XD

→

chewie09/29 15:04另外今天番長會發佈家用3D的部分不知道效果如何XD

山田真的需要一個短髮模型我自己就是做家用的, 請不要抱任何期待

推

johngy09/29 15:04專業文推

推

Nitricacid09/29 15:07推

推

asiakid09/29 15:15專業

推

kids2309/29 15:17推專業文

推

zero9515409/29 15:24推

推

s89123409/29 15:24推

推

dydark09/29 15:24推

推

otosukisugi09/29 15:33平滑處理越多的動補看起來越像MMD嗎

其實 MMD 因為動作是可以編輯的雖然很多 MMD 軟體本身也會有平滑化處理可是可以用: 在同一個位置連續放置關鍵點的方法來規避, 達到頓點的效果所以 MMD 與 3D 動捕還是有根本性的差異

推

shiyvaxiii09/29 15:37推專業

推

hayato108509/29 15:43推專業文

→

Depthsharky09/29 16:11山田的長髮低頭逆重力對不起超像鍬形蟲張翅XD 印

→

Depthsharky09/29 16:11象最深就是夏季廟會和服那段

推

ga02139609/29 16:19跳poppin的話感覺會被超絕nerf

推

otosukisugi09/29 16:24齁星這段舞是平滑處理過頭的下場嗎?2:35開始

→

otosukisugi09/29 16:24https://www.youtube.com/watch?v=64g7O0Zn1zI

通常我們會從腳來看, 畢竟腳與地面接觸時該停該動比較能判斷如果你說的是他們的腳一直滑來滑去沒有停頓感, 這是有受平滑處理的影響沒錯不過我覺得效果很好啊, 也有可能是我腦內補完的影響

→

CarRoTxZenga09/29 16:33感謝專業~ 最主要的就是你齁LIVE是即時動捕不是預

→

CarRoTxZenga09/29 16:33錄的多，所以就是吃設備硬體能力

→

CarRoTxZenga09/29 16:34啊不應該講你齁多數V的LIVE都是

※ 編輯: longlyeagle (61.231.92.104 臺灣), 09/29/2024 16:37:48

推

abysszzz09/29 16:43沒有吧，預錄的也很多，現在找來賓多是預錄的

推

deathy09/29 16:53專業文給推

推

coronach09/29 16:59R團這場solo的部分是預錄喔，說明有寫

推

AdmiralAdudu09/29 17:06專…專業

推

twosheep060309/29 17:20內插演算法沒跟上也是一個值得思考的問題

→

twosheep060309/29 17:21畢竟提高採樣率的成本可能漲的更快

推

b16016009/29 18:54推

推

White7709/29 19:55好專業！推

推

sket11909/29 20:22舞蹈也能去看齁星Astel的四週年或shorts 大哥也蠻會跳

推

greg9032609/30 14:13好

其他人也閱讀了

PTT 熱門相關