[心得] 蘋果空間影片與傳統 3D 影片雜談

TL;DR

成功把空間影片 (MV-HEVC) 轉換成 YouTube 3D 影片了，而且能夠輕易「公開分享」到Quest 頭顯觀看，甚至透過紅藍 3D 立體眼鏡 (Anaglyph) / Google Cardboard VR 手機盒子 (Anaglyph) 或直接裸視 3D 平視法 (FSBS, Full Side-bt-Side) 讓兩個畫面合而為一，連一般手機都能看！XD

Anaglyph
https://youtu.be/YoE7T0uIDOw

FSBS
https://youtu.be/YgLXFGC3-5A

正文：蘋果空間影片與傳統 3D 影片的雙向轉檔、分享與觀看方式

》前言

去年在 iPhone 15 Pro / Pro Max 與 Vision Pro 的發表會上，蘋果首次展示了「空間影片」(Spatial Video, 註 1) 的拍攝與觀看體驗。雖然拍攝原理和 3D 立體電影相同（攝影時採用雙鏡頭，分別拍攝左眼和右眼所見的畫面），不是什麼新科技（而且手機雙鏡頭只有相距 2 公分，跟人眼 IPD 差太多，立體感有限），但推出的時間點正好就在 VR/ MR 設備、網路基礎建設、視訊編碼技術和自媒體蓬勃發展的年代（望向生不逢時的 HTC EVO 3D…），自然帶來不少話題和商機。接下來，安卓手機陣營似乎也重新投入 3D 影像拍攝的推廣應用了，喜聞樂見！

手機大廠 vivo 與光學大廠蔡司、AR 眼鏡廠 Rokid 合作
https://www.saydigi.com/2024/10/1437254.html

「而 vivo MR 眼鏡的重要推手，就是他們持續深耕的 3D 影像技術，透過手機的多鏡頭設計與 3D 處理技術，vivo 能夠拍攝出具有空間感的照片與影片。vivo 更與 Rokid 合作，探索影像的全新互動方式，這兩項技術，也為即將到來的 MR 眼鏡奠下基礎。」

》轉檔、分享與觀看

比起超過新台幣十萬元的 Apple Vision Pro, Meta 也順勢讓自家的 Quest 一體機頭顯支援觀看空間影片，方法非常簡單：直接透過 Meta Horizon app 上傳到圖庫，然後在 Q3 的 Files 檔案 app 裡面就能看到空間影片，空間音訊效果也很不錯。缺點是只能自己看，無法分享出來。要分享的話，還是需要透過轉檔（註 2）, 這兩天發現一個很棒的教學，轉檔完再透過新增 FSBS (Full Side-by-Side) 影片的 metadata: frame-packing=3, 然後上傳到 YouTube, 就會直接變 3D 影片。

How to Upload a 3D Video To YouTube (2021 + 2023 + 2024 update in description)https://www.youtube.com/watch?v=MmDrnwPIWKg
（我是採用 Method 1, 用開源軟體 Handbrake 轉檔 & 新增 metadata, 全圖形化的操作界面，很方便。不過這段教學影片是舊版的，界面和新版略有不同，我附上新版的 Preset 設定檔畫面供參考）

把 Full SBS 影片加入 “frame-packing=3” metadata 之後再上傳到 YouTube 最大的
好處，就是只需要提供單一連結，很容易就能分享給朋友，而且跨平台都能看：

Spatial Video to FSBS by HandBrake (frame-packing=3)
https://youtu.be/YoE7T0uIDOw

1. 一般手機用 YouTube app 開啟會看到紅藍畫面，搭配 15 元的紅藍 3D 眼鏡看就是立體的（安卓手機也可以用 50 元的 Google Cardboard VR 手機盒子看，但 iPhone 就不支援了，除非另外下載支援 YouTube 網址的 VR Player, 在此不多做介紹）

2. 電腦用 Chrome 瀏覽器看也很方便，選項那邊會出現 2D / 立體影片 (anaglyph) 的切換功能，可以自由切換 2D 平面模式或需要戴紅藍 3D 眼鏡的立體模式

3. Quest 一體機如果用內建的瀏覽器開，會看到 Half SBS, 需要用沈浸模式然後設定成 3D 左 / 右也會是立體的，或是用 YouTube VR app 開啟就直接是立體的了(效果最好)

為求方便的話，也可以直接把 FSBS / HSBS 影片檔上傳到 YouTube:

Spatial Video to FSBS
https://youtu.be/YgLXFGC3-5A

不論用手機還是電腦或電視，都可以透過裸視 3D 的平視法（請注意：是左眼看左畫面、右眼看右畫面，而非鬥雞眼式的交叉法）把 FSBS 的兩個畫面合而為一，就能體驗 3D 的效果了。

Spatial Video to HSBS
https://youtu.be/JDRCRRKco0c

Quest 內建瀏覽器由於切換到沉浸式的 3D 左 / 右觀看模式時，會自動把畫面拉長，因此需要採用 HSBS 這種橫向解析度被壓縮剩一半的格式，如此一來在觀看的時候才會是正確的比例。

可見不論是 FSBS 或 HSBS 都是有一好沒兩好，因此還是建議轉檔成包含 frame-packing=3 metadata 的影片再上傳到 YouTube.

》體驗心得

由於我只有手機、電腦和 Meta Quest 3, 手機的體驗自然是最差的；電腦或電視的話，戴上紅藍 3D 眼鏡確實有觀看立體電影的感覺，不過畢竟紅藍 3D 是比偏光 3D 更古老的技術，淺色的地方看起來偏紅會有點不習慣，反而用大尺寸螢幕或 32:9 超寬螢幕直接透過裸視 3D 平視法來觀看能得到更好的體驗；Meta Quest 3 觀看的效果則是最好的，因為左右眼各自看到不同的畫面而形成立體感，不需要配戴會影響色彩的紅藍 3D 眼鏡。而在使用 Quest 時，相較於內建的 Meta Browser 瀏覽器，我認為 YouTube VR 的沈浸式體驗更好，因為虛擬地面的即時反光特效做得很好，在陰暗的場景中，影片本身就是光源，影片內容即時呈現在地板的倒映中。

除此之外，如果用 Meta 官方建議的觀看方式（透過 Meta Horizon app 上傳到圖庫，再從 Quest 的 Files 檔案 app 去播放空間影片），體驗也很特別，因為 Meta 的空間影片播放器做了一個類似 Apple Vision Pro 的特效（但沒有因觀察位置改變而引起的 Parallax 視差效果），即影片外面加了一個比較大的觀景窗，而影片的四周做了一些柔化處理，如果觀看者站在原地不動的話，確實會有個錯覺：在彩色穿透 MR 模式下，好像真的有一個傳送門，門的另一側就是影片中的人事物。（讓我想到曇華一現的《比利林恩的中場戰事》未來 3D 院線版）

然而，體驗最好的，應該還是 Apple Vision Pro:

https://youtu.be/5Yc35G_OKAE

這位 3D 攝影師 / 影像創作者在影片中提到，蘋果的空間影片如果存出來給別的設備看，就真的只是一般 3D 影片，觀看者身體左右移動也不會有 parallax 視差效果（這邊講的視差效果不是左右眼畫面不同的立體感，而是我左右移動身體，看到的景色就會不同）。但如果是用 AVP 的沈浸模式觀看就神奇了，觀看者身體左右移動就出現 parallax 視差效果。而他也成功使用 Canon R5C dual fisheye 拍攝了空間影片，並成功放入 AVP
觀看並且有視差效果。

因此如他所說，合理推測空間影片其實關鍵在於 AVP 裡面的「空間影片播放器」，這看起來有經過 AI 加持（就像 Google 或臉書常常問你要不要把普通 2D 照片變 3D, 只是蘋果的效果更好，應該有用到晶片算力）。所以 Meta 在自家 app 支援的、第三方在商店上架的 Moon video player 和 4XVR Player, 都宣稱支援空間影片，但其實只是支援播放蘋果的空間影片，實際體驗起來就像 3D 藍光電影 ，要真的有「左右移動身體就能觀看不同角度」的 parallax 視差效果，目前還是必須透過 AVP.

之前看小寧子的體驗心得，他說空間照片、空間影片「如果左右稍微移動身體，照片也會跟著左右旋轉一下」，這聽起來已經不是純 3DOF 而是有點 6DOF 了，看來就真的是跟播放器（設備）有關。

https://youtu.be/Q0nFb5Hs464&t=5m41s

》小結

目前 iPhone 16 / 16 Plus / 16 Pro / 16 Pro Max 已全面支援空間影片和相片的拍攝，甚至用第三方 app 譬如 SpatialCamera, 讓舊款的 iPhone 也能拍攝空間影片（只要有兩個以上的鏡頭就能拍！）。隨著空間影片拍攝的普及化，或許未來會有更多更方便的分享方式：譬如 Meta 可以直接新增「分享」的功能到私人的空間影片，提供連結就能讓其他人看或是新增到個人 Meta Horizon 動態；YouTube 直接支援上傳空間影片，傳完就自動變 SBS 的 3D 影片（省去轉檔 & 手動增加 metadata 的時間）；或是 Apple 也自己搞一個空間影片/相片的社群平台。

過去要體驗 3D 攝影的成品，只能透過遊樂場所的立體電影設施、電影院，以及藍光 3D電影和支援的串流平台搭配相關硬體，而這些媒體的共同點都是「別人」產出的內容，和觀看者自身的關聯性較低，但隨著手持 3D 攝影設備的普及，未來會有越來越多內容生產 / 創作者透過網路分享這些較為身歷其境的、更貼近自身人事物的空間影片 / 3D 影片，是令人期待的未來。更進一步，在 VR / AR / MR 穿戴式設備裝機率逐漸提升的過程中，消費型的 180VR / 360VR 攝影裝置也將進入到更多人的生活中！

延伸閱讀：戴上 VR 體驗七組音樂人最私密的空間！許哲珮擔任音樂總監 旺福拍攝初體驗「好像靈魂出竅」
https://www.mtv.com.tw/news/newsdetail/9850

為何選擇用 VR 拍攝？許哲珮給了「瞬間的永恆」答案，她解釋：「當我有小孩之後，習慣用 VR 來記錄他的成長，當戴上 VR 眼鏡看到一歲的她奮力往我方向爬，彷彿我伸手就能將她抱起，卻突然哭出來，因為知道那是永遠回不去，於是當下也思考這樣瞬間的永恆，是否也能用 VR 方式記錄下來。」

https://youtu.be/x4RNE-g1VY0
影片 1：用 Quest 一體機觀看空間影片的三種方式

https://youtu.be/SzzJlDcIB9Q
影片 2：用 VD 觀看 HSBS, FSBS, Anaglyph 3D 影片的方式（是的, 除了拿來玩 PCVR,VD 也能當做 3D 螢幕來使用，不過 Quest 螢幕錄影只有左眼畫面，因此 Anaglyph 只會錄到紅色）

https://youtu.be/-gfPC06NK5U
影片 3：Meta Horizon 手機 app 上傳空間影片的方法
a. App 裡面點自己的頭貼
b. 點右上角三條線選單
c. 點圖庫
d. 點右上角上傳
e. 點空間影片
f. 點要上傳點影片
g. 點上傳

https://i.imgur.com/euWiQIz.jpeg

https://i.imgur.com/j599nYB.jpeg

註 1：關於空間影片的科普介紹

What Are Spatial Videos and How Much Storage Do They Use?

https://myppt.cc/nMJV2u

"You're probably wondering if spatial videos are similar to the 3D videos that have been around for a while. The answer is yes, it's just that Apple prefers its own marketing terms. These videos are subject to the same limitations as3D videos shot on other devices in that you aren't able to move around the scene, and instead are locked to the perspective from which the video was shot."

「你可能會想知道，空間影片是不是跟已經存在一段時間的 3D 影片類似。答案是肯定的，只是蘋果比較喜歡用自己的行銷術語。這些影片跟其他設備拍攝的 3D 影片有同樣的限制，就是你無法在場景中移動，而是固定在拍攝當時的視角。」

註 2：Spatial Video 和 3D Video 之間的轉檔

推薦兩個 app:

Spatialify NT$90
https://apps.apple.com/us/app/spatialify/id6471922894

SpatialCamera NT$120（支援繁體中文）
https://apps.apple.com/tw/app/spatialcamera/id6450244530

兩個 app 都支援蘋果的空間影片格式 (MV-HEVC) 和一般 3D 影片 HSBS (Half Side-by-Side) / FSBS (Full Side-by-Side) / FOU (Full Over-Under) / HOU (Half Over-Under) 之間的轉檔，也支援更多種參數的空間影片 / 相片拍攝，譬如蘋果官方的空間影片格式只有 1080p 30fps 無 HDR, 但用這兩個 app 都能拍攝 4K 30fps / 1080p 60fps 並且支援 HDR.

如果是 iPhone 15 Pro, iPhone 15 Pro Max 和 iPhone 16 全系列的用戶，其實用 Spatialify 就可以了（但只有英文），因為這些機種本來就支援拍攝空間影片 / 相片。而其他型號 iPhone 的用戶，則推薦使用 SpatialCamera, 可以暴力啟用空間影片 / 相片拍攝的功能（就算機身上的廣角和超廣角鏡頭非水平排列，也能拿長焦鏡頭來用，甚至直接把手機斜著拿，硬把廣角和超廣角鏡頭呈現水平排列，機體的不足用技術補足）。

》工商服務時間

最後打個小廣告，新竹在地樂團炒米粉絲團即將在本月底和夜餘製豆合作舉辦咖啡音樂會，活動內容包括主題式品飲咖啡介紹（品味三款不同的咖啡豆）和現場互動音樂會，讓參與者能夠一邊品飲咖啡一邊欣賞音樂，期望能共襄盛舉，一起度過一個感官體驗豐富的午後時光。

時間：10/27 (日) 14:00 - 16:30
地點：詠康音樂藝術展演空間
地址：竹北市嘉豐南路一段 126 號 1F
購票連結：https://www.accupass.com/go/HJOCoffeejazz01
（本活動由 HJO 新竹爵士大樂團策劃，輸入優惠代碼 hjo16868 可享 200 元折扣）

--