[Vtub] 動捕對VTuber舞蹈表現的影響
為什麼很多人在說:
動作捕捉對 VTuber 跳舞是一種 Nerf
動捕跟不上他的動作
----
我是 OpenLive3D 的製作者, 在歐美用 Mac 家用 3D 有一些使用者
在寫這個程式的過程中剛好對這個現象有些了解
所以想要寫一篇解釋動捕會弱化 (Nerf) 跳舞動作的原因
也順便討論一下如何改善這個問題
----
## 造成弱化的原因
1. 捕捉設備的定位平滑化 (Positioning Smooth)
不論是使用動補裝, 或者是用家用 3D 的單鏡頭機器學習定位
這些設備或多或少會有定位誤差的問題
當一個人完全不動的時候, 捕捉設備每一次定位出來的點其實是一個常態分佈
例圖: https://tinyurl.com/2un84pvs
當每次定位結果不停的在這個分佈裡跳動的時候
看起來就像是訊號不好一樣, 人會一閃一閃的
所以動捕定位完之後本身一定會有一層平滑化機制
平滑化 => 弱化銳利度 => 跳舞動作頓點力道減少
2. 動捕幀率與影片播放幀率不匹配的內差機制 (Frame Rate Mismatch)
動捕設備在每一次擷取定位點的時候所需要的時間不一定相同
在需要定位的點多的時候 (人多或是動作複雜)
每次動捕的時間就會更久, 造成每秒的幀率不一定相同
可是影片播放需要穩定的幀率 (通常是 60 FPS)
所以我們會使用內差來解決不匹配的問題
當使用內差的時候, 如果我們只參考最近的定位點
在動作變化的時候就會有不平滑的問題 (想像畫一個圓形可是變成八角形)
所以我們通常會參考多點來進行內差
例圖: https://tinyurl.com/2tc9zpfu
參考多點之後達成的效果就是平滑化, 而平滑化 == 動作頓點弱化
3. 定位點到 3D 模型動作轉換 (Motion Smooth)
動捕定位完之後其實得到的只是在 3D 空間裡面的一個座標
這個座標需要經過一定的數學轉換才能夠變成 3D 模型的動作
模型動作可以分為兩種: 位置 與 角度
以人型的 3D 模型而言通常會用尾椎為支點 (HIPS) 計算位置
例圖: https://tinyurl.com/2y3w6j55
其他的相對骨架都是計算旋轉角度之後轉換為 3D 模型的動作
在這樣的計算裡, 如果 3D 模型與被偵測人的肢體有長度差異
我們在做模型旋轉的時候就會需要額外補正
而這樣的額外補正通常會需要在旋轉的參數上再帶一層平滑化
來補救模型補正之後卡頓的問題
4. 算圖渲染平滑化 (Render Smooth)
像我在開發的 OpenLive3D 因為使用者是以 Mac 為主
大家的電腦 GPU 都滿爛的, 所以在算圖的時候也會有卡頓問題
這個時候其實有可以減少 3D 算圖的渲染平滑化方法
造成的影響就不用我多贅述
----
## 如何改善動捕平滑問題
在討論了這麼多影響之後, 列出了幾點能夠改善動捕呈現的效果的方法
1. 更好的設備
是的, 上面的很多問題在使用更貴的動捕設備時都能有一定程度的改善
再加上更貴的 GPU 讓我們算圖與渲染的時候不需要妥協
雖然還是會有弱化的問題, 可是當幀數夠高的時候, 影響就會減少
2. 減少計算的複雜度
簡單來說就是人少一點, 然後不要一堆特效, 跟上面更好的設備一樣的道理
3. 舞風的選擇與調整
在知道了設備上的限制之後, 我們可以了解到有一些舞風受到的影響更大
以 Hololive 來說
像是 Aki 這種會需要用電臀這種用震動作為表現形式的肚皮舞風格
一定是被超絕弱化 (Nerf)
在不得已的情況下只能加大動作的幅度與降低振動頻率
就算如此在一些動作上還是會有頓點不足的感覺, 明顯是受到動捕的影響
影片: https://www.youtube.com/live/mknggf96fuI
以 Aki 3rd Live 來舉例, 雖然已經在舞蹈編排的時候使用更柔美優雅的動作
但是在 29:40 左右的印度舞擺頭動作很明顯的還是被平滑化掉了
相對來說像是 Hakos Baelz 用力道更強的表現形式時
雖然還是會有影響, 可是相對的動作的呈現還是更加漂亮
影片: https://www.youtube.com/live/j-N96U_OANI
在 EN 2nd Concert 的時候 Bae 在 46:00 出場的舞蹈就有特別設計過
4. 腦內補完
雖然 VTuber 在演唱呈現更加豐富了可能的表現形式
可是我們必須認知到在舞蹈的呈現上還是有能夠改進的空間的
帶著這樣的理解, 我們在看跳舞的時候更能夠注意到一些細節
影片: https://www.youtube.com/live/wIYvks57cQA
以 轟はじめ 在 ReGLOSS3Dライブ 53:28 多個腳步切換的動作為例
這樣的多腳步切換顯現的他紮實的基本功
有一些踏腳的動作似乎是踩完之後腳就向前滑了, 沒有明顯的頓點
我們要理解: 腳在接觸到地面之後受到阻力所以一定會有頓點
在這裡頓點不明顯很明確就是因為快速的舞步因為動捕的機制被平滑化之後的結果
所以看到這樣的舞步立刻就能腦內補完
啊, 完美!
----
大概是這樣, 隨著技術的進步, 我們期待有能看到 Aki 肚皮舞電臀的一天
--
推專業文
總之先推
腦補
好 懂了 等肚皮舞
感謝說明
推專業人士
專業文推
專業文推推
推專業
嗯嗯跟我想得差不多對啊
專業
推專業
推
雖然我看不懂但還是推
結論:Aki超讚 婆爛
懂了 腦補天下第一
aki肚皮舞應該用真人身體接vt頭才對(x
推
要讓補償機制根據捕捉點的差值做差異化的調整
推、推，雖然看不懂。(？
問問題：受3D模組的影響是如何？因為以holo來說會明顯看
到舊的3D(如初始服裝、1版偶像服)的表現感覺比新的3D要
粗糙不少
這個其實也是文章裡提到第三點 模型與定位點差異的問題 如果模型的骨架跟人的骨架在定位之後需要補正的差異過大 就會需要額外計算補正而且常常會有許多妥協的情形
難道不能用雷射投影之類的技術？要不是視角需要360度旋轉
也許可以用多點固定視野捕捉輪廓校正
其實現在先進的動捕就已經是多視點了, 這樣才有辦法做舞台上的 3D 呈現 如果是單視點頂多就是家用 3D 而且限制很多 (家用 3D 手其實無法放到頭後面)
也就是說我們目前看到的舞步其實不是本人100%發揮？
理論上加上了偵測與套用 3D 模型的過程, 我們永遠無法達到 100% 可是能夠在技術的推展下無限的接近
恩呢呢
專業文推
連老愛都不一定能百分百發揮了
hilo的話可以看sora 模型經過長久調教以及表演經驗豐富所以
表演起來會特別好看
專業推
這和雷射投影沒有關係啊，是動態捕捉和計算的問題
簡單說因為系統問題所以全部動作力道都會被弱化
推知識
你看過himehina嗎
其實我接觸的不多, 真的就是技術土炮還有看 Holo 而已
推專業
另外聽你這麼說是不是同樣是高頻訊號，快速動作表現會不
好，但有頓點的比較不受影響，蠻有趣的
要完全100趴發揮 可能要像電影那樣全身貼滿的動補服加上
頂標的設備 成本可能會超貴
加上平滑輔助，在節拍上的頓點還可能會有點跟不上拍子
所以番長昨天的舞蹈一定是花了很多時間練習、研究
才能呈現這麼好的演出效果
好猛 專業知識文推
電影的動補也是要經過後期矯正
VT3D為了即時演出 在考量效能與計算量的平衡 會有很多省
略性算法 導致細微差異被吃掉
專業推
推專業 感謝分享
推,你怎麼這麼專業
推 技術會越來越進步的
上面說模型和定位點問題，那是不是可以反過來推測動作比
較奇怪的V除了本人問題外也有可能是本人和人設的差距有
點大，模型校正比較困難 lol
是的, 所以模型做完之後才會需要現場校正 我猜測這是 Holo 在疫情結束前一直沒辦法給 EN 正式 3D 的原因
這篇文章真的很優質，謝謝大大願意分享
推專業
好專業 而且講解的好好懂(ﾟдﾟ)
原來如此（完全沒聽懂
看不懂內容，看起來很專業但還是推一下
推
果然還是要更高級的動補設備來提供更快的捕捉頻率啊
開玩笑地，伊娜有高挑身高鯊鯊有大胸部所以事後調整費時
恩恩 完全懂了(完全沒董
內文所舉LIVE一年半前AKI頻道發布的影片長這樣
推
https://youtu.be/nl53_a1r5-w 動作演員給的答案
懂了，靠腦補
但以現在的技術，EN 3rd演唱會蠻多小抖動舞蹈都有明確
捕捉出來了耶
是的, 現在有更好的設備已經比幾年前好很多了 這篇主要是想要表達, 就算已經好了很多, 還是有技術本身的限制而不會是 100%
太專業了 我真的不懂
請問openlive3d有支援物理引擎像是碰撞跟重力嗎
沒有真的物理引擎 可是有用 Three.JS (或是說 Three-VRM) 本身支援的 模型碰撞跟重力, 可以一定程度的避免太嚴重的穿模, 還有讓衣服跟頭髮向下垂 不過跟真的物理引擎差距極大
推
推專業文
有個影片的手會比較打開避免擋到模型的胸部
可以看絆愛畢業那場 到現在應該還是最頂的
我覺得被nerf最重的是導播功力，轟太多手腳細節被切
掉被遠景甚至被舞台光害（螢幕.地板煙火給蓋掉）還
有五人團步中中會切密集三人，其餘兩側的表演者被切
出（又不是閒置無動作）
動作真的要超大才有差別不然全部手腳高機率都會嵌入身體
，所以像老鼠那種頓點真的很強
對想要看表演者的一切，捕捉自己的推實在是不好的觀
感，我看遠景還有虛擬觀眾遮掉自己的推幹嘛
我沒有 R團這幾位的會員, 他們各自的頻道會有會限 Fan Cam 嗎? 如果有 Fan Cam 說不定番長值得加一下
啊！完美
順便問一下就你觀察ho有實裝真正的物理引擎嗎
低頭頭髮會逆重力 尤其是長髮 沒有吧
穿模也很平常 胸部要嗎沒調要嗎是固定的偽軟彈碰撞
現在大家應該都差不多, 用的是在頭髮與衣服骨架的末端加上向下的加速度來模擬 所以可以看到髮型是基本不變的, 只有髮尾會向下垂
專業推
要改善呈現效果也可以在平滑完之後再銳化回去，不過就吃調
校功力了
重新銳化的問題是因為在平滑化之後訊號已經失真了 所以不知道原本的動作就是平滑的還是有停頓的 全部都銳化可能並不是本來的動作 這裡牽扯到一些更先進的技術, 像是用機器學習來進行銳化判斷之類的 甚至可以把原本跳得不夠好的修正的更好 不過因為成本問題以及技術問題, 應該還沒有 VTuber 團體實裝
小魔女的多視角播放就是不錯的嘗試
這次Fan Cam只有encore部分而已
不過感覺有在嘗試這部分了
相較於bae的頓點跟power容易讓機器捕捉外，我個人是比
較偏好番長那種動作流暢，讓機器自動補禎，更能展現!
完全明白
剛好有人剪三個holomen成員的比較
...山田的模型真的有點跟不上她的舞技XD
另外今天番長會發佈家用3D的部分 不知道效果如何XD
山田真的需要一個短髮模型 我自己就是做家用的, 請不要抱任何期待
專業文推
推
專業
推 專業文
推
推
推
平滑處理越多的動補看起來越像MMD嗎
推專業
推專業文
70
[討論] 中華職棒又有正版授權的手機遊戲了1.中華職棒正版授權 2.棒球競技卡牌遊戲：未來職業棒球 3.歷時三年製作，採用2021年最新選手陣容![[討論] 中華職棒又有正版授權的手機遊戲了](https://i.imgur.com/kBF5zvMb.png "[討論] 中華職棒又有正版授權的手機遊戲了")
45
Re: [閒聊] 英子舞有辦法超越書記舞嗎？在下不才，一枚西洽潛水版眾 剛好執業街舞老師十五年了 於返家的過程中，發現這篇文章可以貢獻一己之力 想說來大概解釋一下這兩支舞的狀況 先講結論：![Re: [閒聊] 英子舞有辦法超越書記舞嗎？](https://i.ytimg.com/vi/ljTuQS68MEM/sddefault.jpg "Re: [閒聊] 英子舞有辦法超越書記舞嗎？")
26
[情報] RE2里昂配音上傳一張身穿動態捕捉服照片《惡靈古堡 2 重製版》里昂的配音與動捕演員Nick Apostolides今日上傳了一張身穿動 態捕捕捉服的照片，他表示「迫切的想分享關於這個項目的消息」。 而在這條推文下方有不少玩家猜測他正在參與《惡靈古堡 4 重製版》的開發並紛紛表示 在做一些特技動作時要注意安全。![[情報] RE2里昂配音上傳一張身穿動態捕捉服照片](https://i.imgur.com/bd6hfQpb.jpg "[情報] RE2里昂配音上傳一張身穿動態捕捉服照片")
10
[問題] HoloEN 一年紀念回使用的 3D 設備？這是 HoloEN 一周年 想請問一下他們的 3D 動捕是用什麼？ 之前有看到用網路攝影機就可以捕捉的，但是僅限頭和手部動作 HoloEN 好像是可以全身的 (雖然精度明顯很低)![[問題] HoloEN 一年紀念回使用的 3D 設備？](https://img.youtube.com/vi/bZghtnL3y3k/mqdefault.jpg "[問題] HoloEN 一年紀念回使用的 3D 設備？")
8
[閒聊] 主攻VTuber市場？ Sony行動動捕設備新品原文標題：主攻VTuber市場需求？ Sony行動動作捕捉設備新品29日公布 或支援全身動補 原文網址： 聯合新聞網 楊又肇 Sony預告將於日本當地時間 11 月 29 日中午 12 點（台灣時間 11 月 29 日上午 11 點 ）透過官方 YouTube 頻道公布新品，並且透露將是一款行動動作捕捉設備。![[閒聊] 主攻VTuber市場？ Sony行動動捕設備新品](https://uc.udn.com.tw/photo/2022/11/26/draft/19541533.jpg "[閒聊] 主攻VTuber市場？ Sony行動動捕設備新品")
5
[閒聊] Cygames動作捕捉工作室PV2一年前公布過PV1除了告訴大家我們很有錢之外， 還號稱是全日本最大的動捕工作室， 但是這個頭銜今年被卡普空搶去了XD 兩間工作室大小的比較，![[閒聊] Cygames動作捕捉工作室PV2](https://img.youtube.com/vi/WllExMZUKgE/mqdefault.jpg "[閒聊] Cygames動作捕捉工作室PV2")
4
[情報] 公益檢測by動捕市面上或網路上充滿許多動作分析與定義 身為懷疑論的擁抱者，時常推測對方目的與邏輯 但我認為動作分析本該建立在數據分析上 想要客觀呈現動作數據與物體速度 都需要$$$$$$$$$$購買相關設備![[情報] 公益檢測by動捕](https://i.imgur.com/AAIoAu0b.jpg "[情報] 公益檢測by動捕")
3
Re: [BGD] 今天6/1是祐天寺若麥(喵夢親)生日!!為祐天寺若配音，以及參與動作捕捉的米澤茜老師為喵夢發表生日賀文。 我還是很驚訝米澤老師是首度配音。 最後Live的動捕也有參與。![Re: [BGD] 今天6/1是祐天寺若麥(喵夢親)生日!!](https://i.imgur.com/zEs55QFb.jpeg "Re: [BGD] 今天6/1是祐天寺若麥(喵夢親)生日!!")
1
[問題]哪種方式做MMD動作比較累!!MMD動作數據,常常有大佬突然不配布,使得我很想自己做 有兩種方式 1.自己對照跳舞影片,一個一個拉動作,除了很費工,也考驗 自己對音樂配動作的熟悉度,最好原影片與Mikumikudance 秒數要對齊.![[問題]哪種方式做MMD動作比較累!!](https://i.imgur.com/HWCL9kMb.jpg "[問題]哪種方式做MMD動作比較累!!")
1
[情報]《女鬼橋二：釋魂路》角色動作幕後製作影一款成功的遊戲，背後都有一整個團隊的支援協作 你是不是很好奇，為什麼 #女鬼橋二釋魂路 裡的角色動作可以流暢自然祕訣就在有拜煞... （咳）說錯了，是動作捕捉 無論是動畫中的芭蕾舞女鬼瓀還是主角群們的演出片段，都少不了動作捕捉![[情報]《女鬼橋二：釋魂路》角色動作幕後製作影](https://img.youtube.com/vi/s7wo4klGqQc/mqdefault.jpg "[情報]《女鬼橋二：釋魂路》角色動作幕後製作影")
爆
[推投] 敗北女角太多了 最喜歡女角「1票」![[推投] 敗北女角太多了 最喜歡女角「1票」](https://images.plurk.com/4iEWmQmcEikBCGd2CIDvp6.jpg "[推投] 敗北女角太多了 最喜歡女角「1票」")
爆
[鳴潮] 抽到守岸人啦!![[鳴潮] 抽到守岸人啦!](https://i.imgur.com/k8H2WDob.png "[鳴潮] 抽到守岸人啦!")
爆
[閒聊] TGS'24 死亡擱淺2 special stage![[閒聊] TGS'24 死亡擱淺2 special stage](https://i.ytimg.com/vi/3j3XizwzhEY/maxresdefault.jpg?v=66f23a74 "[閒聊] TGS'24 死亡擱淺2 special stage")
爆
[鳴潮] 美！神！降！臨！![[鳴潮] 美！神！降！臨！](https://i.imgur.com/ziLJcNVb.jpg "[鳴潮] 美！神！降！臨！")
爆
[鳴潮] 我覺得還是得先發個錢![[鳴潮] 我覺得還是得先發個錢](https://i.imgur.com/n4NoYnVb.jpeg "[鳴潮] 我覺得還是得先發個錢")
爆
[鳴潮] 1.3更新結束 開服了![[鳴潮] 1.3更新結束 開服了](https://i.imgur.com/eZ7kiU2b.jpg "[鳴潮] 1.3更新結束 開服了")
98
[鳴潮] 守岸人好白好嫩......94
[閒聊] 你各位拿到死亡筆記本可以撐多久?![[閒聊] 你各位拿到死亡筆記本可以撐多久?](https://i.imgur.com/e8dN5uAb.png "[閒聊] 你各位拿到死亡筆記本可以撐多久?")
94
Re: [鳴潮] 1.3更新結束 開服了![Re: [鳴潮] 1.3更新結束 開服了](https://i.imgur.com/h1tHz6Hb.jpeg "Re: [鳴潮] 1.3更新結束 開服了")
84
[鳴潮] 我愛諏訪彩花 諏訪彩花愛我![[鳴潮] 我愛諏訪彩花 諏訪彩花愛我](https://i.imgur.com/JeI6NaHb.jpg "[鳴潮] 我愛諏訪彩花 諏訪彩花愛我")
78
[敗北] 一萬日圓很稀有？![[敗北] 一萬日圓很稀有？](https://i.imgur.com/bsQpyW1b.jpeg "[敗北] 一萬日圓很稀有？")
75
[閒聊] 大家怎麼看爆氣敲東西的行為![[閒聊] 大家怎麼看爆氣敲東西的行為](https://i.imgur.com/xEWTauWb.gif "[閒聊] 大家怎麼看爆氣敲東西的行為")
67
[閒聊] 古日本的戰爭也太簡單了吧![[閒聊] 古日本的戰爭也太簡單了吧](https://i.imgur.com/lqCXC9Xb.png "[閒聊] 古日本的戰爭也太簡單了吧")
67
[閒聊] 這件事你早點說啊!![[閒聊] 這件事你早點說啊!](https://pbs.twimg.com/media/GYe6fK7bkAAvWb0.png "[閒聊] 這件事你早點說啊!")
60
[DQ3] 堀井雄二：如果太裸露分級年齡就會提高![[DQ3] 堀井雄二：如果太裸露分級年齡就會提高](https://gamestalk.net/wp-content/uploads/2024/09/39df633efbc15fee9b6c78006bf588fc.webp "[DQ3] 堀井雄二：如果太裸露分級年齡就會提高")
53
[閒聊] 敗北寶可夢太多了![[閒聊] 敗北寶可夢太多了](https://i.imgur.com/RxU2vK6b.jpeg "[閒聊] 敗北寶可夢太多了")
71
[閒聊] 怎樣等級的漫畫原作能一部吃一輩子?43
[問題] 敗北是今年最頂的動畫吧？![[問題] 敗北是今年最頂的動畫吧？](https://i.imgur.com/jbVhoFsb.gif "[問題] 敗北是今年最頂的動畫吧？")
50
[閒聊] 高譚小市民![[閒聊] 高譚小市民](https://pbs.twimg.com/media/GYj-yISbQAAJ1QQ.jpg "[閒聊] 高譚小市民")
46
[鳴潮] 散華被Nerf了![[鳴潮] 散華被Nerf了](https://i.imgur.com/EzgyPJQb.jpeg "[鳴潮] 散華被Nerf了")
44
[問題] 真的有人是「短髮眼鏡女」那派的嗎？![[問題] 真的有人是「短髮眼鏡女」那派的嗎？](https://i.imgur.com/yeFLo2Cb.jpeg "[問題] 真的有人是「短髮眼鏡女」那派的嗎？")
38
[逆NTR] 被搶走女友的俊俏美少女盯上了![[逆NTR] 被搶走女友的俊俏美少女盯上了](https://i.imgur.com/nrPoWZdb.jpeg "[逆NTR] 被搶走女友的俊俏美少女盯上了")
38
[閒聊] 紅孩兒和哪吒有關係嗎？![[閒聊] 紅孩兒和哪吒有關係嗎？](https://i.imgur.com/SBbNSXgb.jpeg "[閒聊] 紅孩兒和哪吒有關係嗎？")
33
[閒聊] 姛的約會聖地是水族館 那男的呢？![[閒聊] 姛的約會聖地是水族館 那男的呢？](https://i.imgur.com/rhNxYFeb.jpeg "[閒聊] 姛的約會聖地是水族館 那男的呢？")
30
[火影] 火影沒鳴人佐助 12小強誰能上位成為主角?28
[閒聊] 小島秀夫：死擱2比前作更奇特 望2025發售![[閒聊] 小島秀夫：死擱2比前作更奇特 望2025發售](https://i.imgur.com/cMdZrrXb.png "[閒聊] 小島秀夫：死擱2比前作更奇特 望2025發售")
27
[閒聊] 安納金給雲度帶的話26
[閒聊] 滿意敗北最後一集的原創嗎![[閒聊] 滿意敗北最後一集的原創嗎](https://i.imgur.com/shrbYiNb.jpeg "[閒聊] 滿意敗北最後一集的原創嗎")
25
[家教] 家庭教師能大賣是人設太強嗎？![[家教] 家庭教師能大賣是人設太強嗎？](https://i.imgur.com/aMK5KaOb.jpeg "[家教] 家庭教師能大賣是人設太強嗎？")