延展實境的進化趨勢：從平面敘事到空間體驗

延展實境（Extended reality, XR）泛指結合了實境與虛擬環境的技術，含括了擴增實境（Augmented Reality, AR）、混合實境（Mixed Reality, MR）及虛擬實境（VR）。

文／蔡遵弘

擴增實境可以讓虛擬物件與真實世界結合，混合實境進一步讓虛擬物件與真實世界可以交叉互動，虛擬實境則是讓觀者可以進到全虛擬的世界中。這些技術發展至今，已逐漸從實驗室的研究階段，漸漸走進大眾的生活中，而隨著相關技術的發展，XR內容的精緻度也逐漸成長，這些發展除了在遊戲娛樂領域帶來的新的商機，也讓藝文創作的敘事方式出現了新的可能。

Oculus Rift DK1於2012年在Kickstarter集資大獲成功後，帶動了第二波的VR浪潮，透過相關技術發展而催化的作品形式大致有兩大類：一種是透過3D技術建構的六自由度 （Six degrees of freedom, 6DoF）的內容，其次是俗稱360度影片的全景攝影（Panorama）內容，前者乃透過使用3D技術建構立體環境，通常是透過遊戲引擎例如：Unity、Unreal建構內容，以遊戲的製程將VR的技術導入，讓體驗者可以沉浸式地進入虛擬世界進行體驗與互動。

6DoF則是從傳統拍攝的基礎進化而來，只是傳統的拍攝只能拍攝固定的單一視角，也就是由導演、攝影師來決定觀眾看到甚麼，全景攝影則突破了這個限制，可以從攝影機所在的位置看到四面八方所有的景色，由觀眾來決定當下要看到什麼。這樣的內容創作形式顛覆了過去多年的創作規則，也開啟了更一片新的藍海，爾後的幾年、VR相關的作品如雨後春筍般地出現，而世界各地的影展也陸續加入了VR、XR的項目。

❝ 在VR成長的前幾年，除了對創作者而言開啟了新的挑戰：如何在無法限制觀眾視角的前提下進行敘事並保有沉浸感。❞

對觀眾而言則在驚嘆技術帶來的衝擊外，嘗試了解和熟悉新的體驗方式，在這過程中我們發現，早期作品仍然會以將敘事聚焦在特定位置，透過視覺或聽覺的引導，讓使用者去改變視角，但敘事的主軸仍然在創作者意圖讓觀眾凝視的方位，這樣的做法讓體驗者會以固定坐姿和站姿，並只會進行小範圍的頭部轉動，很多時候比起真的製造沉浸效果來敘事，更像是升級傳統的攝影敘事，只是將傳統視角變成全視角，並且在自由角度中設法用誘導的方式固定觀眾的視角，是一種創作者和觀眾都在小心翼翼探索的起點。

❝ 2017年雄影第一代獎助作品《哈瑪星列車》（The Train Hamasen），便是以載具的空間做為媒介，讓敘事有前進的方向性，但保留觀眾觀看的自由度來體驗歷史。❞

然而，亦有許多創作則開始實驗直接最大化VR才能帶來的體驗的可能，在其中尋找其他敘事的元素。2014年動畫大師Glen Keane在Google ATAP（Advanced Technology and Projects）的專案Spotlight Stories推出的動畫短片《Duet》便是非常經典的例子，內容講述一個男孩和女孩在成長過程中數次的交匯，最後墜入愛河的過程。

在這部作品中，男孩和女孩的成長過程是完整的敘事，然而Glen Keane讓兩位主角的成長過程往不同的方向發展，正常狀況下，觀眾無法在一次的觀看中接收到兩個角色成長完整的過程，因為敘事影像一個角色往左；一個角色往右，你必須決定當下跟隨的視角來探索故事，而你也可以在每次男孩女孩交集時決定是否轉換跟隨的視角，無論如何切換，你都可以得到一個完整的故事，但可能不是全貌。

然而你在下一次體驗的時候，可以改變你的決定，來得到同一個故事不同的發展可能，這是過去傳統敘事媒材上做不到的事情，徹底發揮了「非VR」不可的特質，而在探索過程中，你會不斷的透過旋轉你的視野來進行觀看，不僅僅是跟隨著導演決定好的視野。

無獨有偶，同樣是Spotlight Stories專案中的另外一個作品《HELP》則挑戰了大小的維度，在這段旅程中，敘事的視野導演是以運鏡的方向與腳色的帶領來引導使用者於劇情中穿梭，但特別的地方是劇中會有一個角色因情節的變化而有從小到大、再從大到小的體積變化，過去傳統拍攝巨大的感覺會透過讓龐大物超出視野範圍，或者以周遭環境、光線與變焦等手法去營造，但VR中沒有視野範圍的限制，可以尺寸的落差更加直觀的呈現，讓觀眾直接透過自由視角來確認，大幅提升身歷其境的感受。

隨著XR市場的穩定發展，相關技術也逐年更新，同步定位與地圖構建（simultaneous localization and mapping, SLAM）、內向外追蹤（inside-out）等技術提升了頭戴顯示器空間定位能力，並且而隨著運算能力的提升，頭顯裝置也從有線往無線發展，Microsoft  HoloLens、MagicLeap都屬於AR中的代表性頭戴顯示設備，而近年問世的Oculus Quest、HTC Focus系列則是VR領域中的代表。

這些技術的演進，也進一步的讓內容的創作與敘事上能更加自由，由於空間定位能力的進化，使用者被允許在更大的空間中、且不須透過額外的環境配置，便能更大範圍的自由走動，讓互動探索與敘事手段有更大的提升。

在相同的技術進展框架下，AR與VR的創作體驗又進一步有了不同的發展特質，AR的空間體驗特質是看到的空間與其他體驗者是真實的，例如臺法共製擴增實境展演《黑》：

觀眾穿戴著Microsoft HoloLens 2在演出空間中遊走，座椅和擺設都是真實的道具，而劇情中出現的角色與部分背景是虛像，由於敘事的內容是與歷史有關，該作品以容積捕捉（Volumetric Capture）的方式拍攝演員，用接近真實的質感透過虛像呈現，讓真實空間與虛擬內容的交疊產生像穿梭到不同時間點的幻覺，透過場景不斷的變化，並搭配旁白的講述來進行敘事，觀眾可以自由在場域中， 選擇自己想要體驗的視角去經歷這段故事。

此外，由坂本龍一與製作團隊Tin Drum合作開發的《鏡：KAGAMI》記錄並再現了了坂本龍一生前最後的獨奏會，觀眾可穿戴著Magic Leap 2頭顯在舞台上任意移動，該作品也運用了容積捕捉技術來進行拍攝，盡可能希望以真實樣貌還原坂本龍一獨奏的所有細節，讓大師的演奏可以永遠延續下去。

這兩個作品的共同之處，除了透過空間定位技術實現讓觀眾可自由走動探索外，並同時能看到其他與自己一同體驗作品的觀眾，這樣的體驗方式強化了在場性，也讓多人在場的情緒感染力能被發揮，產生虛實交融的新體驗模式。

而VR作品在空間定位與多人體驗的整合中，有別於AR能看到真實世界，VR則是完全沉浸於虛擬世界，然而受限於物理上的場地限制，即便空間定位有延展範圍的能力，也須考慮展演場地的大小，因此如何讓觀眾在有限空間中走動又能在感官上被延展，是相關作品常面臨的課題。

西班牙編舞家布蘭卡．李（Blanca Li）的作品《巴黎舞會》讓民眾戴上HTC  Focus 3與身上穿綁VIVE Tracker追蹤器、同時現場也有舞者穿戴追蹤器，以動態捕捉（Motion Capture, MOCAP）的原理，讓每位民眾化身為參加舞會的來賓，都能體驗一場奇幻而華麗的VR舞會，體驗期間該作品設計了對應的情節，例如：進電梯、上車、穿梭花園等情境引導，讓觀眾自行走動到正確的位置，以便在保留沉浸感、強化提驗的過程中，在有限的活動空間中，延展出無限的虛擬空間體驗感。 

《永恆聖母院》（Eternal Notre-Dame）透過重現巴黎聖母院，並以互動敘事的模式引領觀眾進行45分鐘的深度遊覽，穿梭不同的時間點、探索平時難以到訪的區域，透過大範圍空間定位的技術，該作品可以同時容納多人在一定範圍內走動探索而不會互相干擾，而彼此的存在就如同現實旅遊中的旅伴或遊客一般，能讓觀眾在虛擬世界中也能感受到群體的存在，即便該形體並非寫實的形象，但「他人的存在」的感受與遊戲中的非玩家角色NPC （Non-Player Character, NPC）仍有非常大的不同，並且有助於讓每次相同的體驗有不同的差異，提升了真實感與沉浸感。 

上述這些XR的共通點，除了在敘事過程中允許空間定位與使用者動作、姿態捕捉技術的進步，讓XR的體驗有了更接近真實的特質，而隨著觀眾對XR相關作品的熟悉度提升，在探索虛擬或虛實空間的意圖與慾望也被刺激增加，從一開始定點小範圍轉動的保守型體驗，到進一步小範圍移動與互動，乃至於現今大範圍移動互動，並能感知到他人的存在。

XR的體驗持續往能夠接近真實體驗但完美融入虛擬內容的方向邁進，而觀眾的探索也越發自在與積極，在這樣的演化下，敘事的方法有了更多的選擇，或許也帶來了更多的挑戰，然而對於追求「身歷其境」的目標，相信仍然是所有創作者希望完整將作品傳達給觀眾的理想，相信在不久的將來我們會能體驗到越來越多虛實共存的佳作。
 

｜延伸閱讀｜

• VR大師堂 ㈠：以VR抵達——賴冠源的探索與創作

編輯：游千慧
核稿：蘇蔚婧