透視維度:虛擬空間與沉浸式展演的現在與可能 — 黃郁傑

c2x3|區塊鏈藝術媒體
·
·
IPFS
·
日前,國立清華大學跨領域媒材整合程式設計期末展覽籌備小組、超級浪、c2x3,合辦《存在之後 After Existence》展覽,開展講座由新媒體與 XR 技術創作者黃郁傑帶來精采分享,提及何謂出色的沉浸式作品、現行常見的工作流程、如何應用 Gaussian Splatting技術。講座由藝術家洪譽豪擔任主持人。本文節錄內容精華。

 何謂出色的沉浸式展演?

「沉浸式展演」一詞,對策展人、藝術家、工程師與觀眾而言各有不同的意義。黃郁傑在講座中指出,沉浸式更像是「在用來跟觀眾對話的一個用詞」,其核心價值在於與傳統展演方式的對立。

感官聯動是建立沉浸感的基礎。黃郁傑表示,沉浸式體驗「會發展在各種感官上面」,不僅涉及視覺與聲音的傳統組合,更延伸至觸覺、溫度、風等多維感官體驗。他舉例,即使是高級餐飲空間也開始標榜沉浸式飲食體驗,展示了這個概念在不同領域的應用潛力。

其次,黃郁傑認為好的沉浸式作品成立的關鍵在於,注意力是不是有辦法被好好的拉進去作品裡面。他強調,整體感官與敘事之間必須保持高度的自洽性,「假如說我傳遞的聽覺跟視覺是有所分裂的,那這時候可能就是會破壞它的沉浸感」。

「你的身體是不是有被納入這個敘事裡面」也是重要考量。許多 XR 作品鼓勵觀眾走動,但這種移動必須與敘事產生對話而非衝突。以《雲在兩千米》為例,該作品特意設計為走動式體驗,賦予身體活動在故事中的意義。

最後,時間節奏控制影響整體體驗品質。作品有沒有很好的呼吸,很好的休止符在繼續,整體的強度曲線是否完整,「這些要素共同構成區分沉浸式展演成立與否的關鍵維度。」

雲在兩千米(照片來源:公視粉絲團)  

現行常見的工作流程

沉浸式製作的工作流程涉及多個階段的協作。黃郁傑在講座中通過詳細的架構圖與實際案例,說明了從需求理解到最終呈現的完整系統。

需求與期待管理階段第一步。黃郁傑說明,「最一開始,他是先去從一個需求端去理解,那同樣以這個 VR 製作為例,我們會去先要把一些錯誤的期待給砍掉」。內容整合階段是實際製作的第二步。黃郁傑描述了具體的流程:包含捕捉 3D 角色與場景,採用掃描或建模生成動態角色,場景部分結合 photogrammetry 與新興的 Gaussian Splatting 技術。

接著,要把這些素材給整併起來,團隊需要實作大量轉場、特效與打光工作。隨後引入聲音設計,包含 ADR、Foley 與音效,「特別在沉浸式體驗像是 XR 這樣子會去追求到更高的方向性的這個聲音表現」。

黃郁傑也強調不斷迭代,然後去邀請觀眾做測試,然後把 bug 修復的重要性,這個過程持續進行直到面對對外發表場合如影展。系統穩定性則是長期展演的關鍵考量。黃郁傑指出,無論是 VR 作品還是投影裝置,都需要確保長期營運的穩定性、投影銳利度與聲場品質。

新興的 Gaussian Splatting 技術應用

最後,黃郁傑提及 Gaussian Splatting,這個 2023 年新興的 3D 重建技術。如何應用在《雲在兩千米》對森林場景的渲染需求。黃郁傑指出:「傳統的話我們可能會用 photogrammetry 的技術,但它在這個樹葉上面的這個表現就會比較不足,所以你看到都有很多這種泥巴狀的東西」。

Gaussian Splatting同時具備高保真度與實時渲染能力。團隊使用Gaussian Splatting處理大量森林場景。黃郁傑強調,導演的創作理念影響了技術選擇:「因為導演本身比較是影視背景,所以他在畫面上也追求一種比較高度的寫實狀態,那所以我們就是必須要在可能引擎裡面去達成這個目的」。

黃郁傑進一步說明,業界正在探索的如何將檔案壓縮,放到可能像是頭盔可以播放的層級,一方面既能優化資料體積,又能提升播放流暢性。

黃郁傑於《存在之後 After Existence》展覽開場講座中分享。 (照片來源:二三設計)

結語

黃郁傑的講座展示了當代沉浸式藝術創作的複雜性與多層性。從理論層面,出色的沉浸式作品需要感官聯動、注意力管理、身體納入與時間節奏的完美平衡。從實踐層面,工作流程強調需求理解、技術選擇、內容整合與持續迭代的系統性推進。而 Gaussian Splatting 等新興技術的應用,不僅解決了特定的視覺難題,更象徵著沉浸式創作領域持續的創新與突破。這些要素的綜合運用,才能創作出真正能夠打動觀眾、達到高度沉浸感的藝術體驗作品。


CC BY-NC-ND 4.0 授权

喜欢我的作品吗?别忘了给予支持与赞赏,让我知道在创作的路上有你陪伴,一起延续这份热忱!