Gaussian Splatting 於遊戲引擎之應用 —— 黃郁傑 Yu-Jie Huang

Gaussian Splatting 基本介紹

Gaussian Splatting 是 2023 年 8 月發表的一項突破性 3D 場景表示技術，其核心概念是以大量「3D 橢球（Splat）」取代傳統三角形網格，作為場景的基本構成單位。每一顆橢球以三維高斯函數描述，資料結構包含中心點位置、協方差矩陣（表示形狀與旋轉方位）、不透明度，以及球諧函數所定義的顏色表示。整個場景即由數十萬至數百萬顆橢球的集合所組成。

它運用在植物上，就會再有一個更好的表現。

若與前一代技術 NeRF（Neural Radiance Field）相比，兩者輸入來源相同——皆為多張影像——但 NeRF 仰賴神經網路運算，計算量龐大，難以應用於即時渲染環境；Gaussian Splatting 則透過 GPU 粒子系統搭配空間分組與排序（Sorting）加速，大幅降低渲染負擔，成功實現即時渲染，使其在 VR、沉浸式裝置等場景中具有實際可行性。

Gaussian Splatting 使用階段簡介

整個 Gaussian Splatting 的工作流程可分為四個階段：

拍攝端：目前主流工具為 Scaniverse 與 Polycam，兩者皆支援手機掃描並整合雲端訓練服務，形成一條龍流程。另有專為 Gaussian Splatting 設計的手持相機 X-Grip，可取得高品質拍攝資料。

訓練端：首選工具為 PostShop，介面友善、訓練免費（輸出需要費用），易上手，但不支援 Linux；替代方案有 Lichtfield 及源自 NeRF 生態的 Nerfstudio（已支援 Gaussian Splatting 訓練），後兩者以命令列操作為主，適合有程式開發背景的使用者。

編輯檢視端：SuperSplat 與 gsplat.org 可用於快速預覽；Spline 則提供將 Gaussian Splatting 整合進網站開發的框架，適合展示用途。

引擎整合端：Unity 端首選為 Aras 開發的套件，以 Compute Shader 實作，社群活躍、排序演算法完整，對 VR 的支援也已補齊。Unreal 端則有 Akia Research（付費）與 Experts（免費開源）兩款工具，皆基於 Niagara GPU 粒子系統實作，品質相近。

格式方面，早期以 PLY 點雲格式做為Gaussian Splatting的表示格式；後來推出的 SPZ 格式具有高壓縮率，已於 2024 年被選為官方標準格式；此外 SOG 格式壓縮率更達 95%，對於大型場景或動態 Gaussian Splatting 的儲存與發布，選擇合適格式至關重要。

生成式 AI 賦能產業概況

近年生成式 AI 開始與 Gaussian Splatting 技術結合，大幅降低資料採集的門檻，使「單張照片生成 3D 場景」成為可能。

Apple 推出的 Apple Sharp 技術，可由單張照片直接解算 Gaussian Splatting，結果約含 80 餘萬個 Splat，惟視角覆蓋有限，若要進入 VR 頭盔仍需額外優化。騰訊旗下混元（Hunyuan）生態系則全面開源，其 FlashWorld 產品同樣支援單張圖片輸入，並運用 Diffusion Transformer 補全場景邊緣，允許使用者預先設定相機軌跡後再行運算，補全效果優於 Apple Sharp。混元生態下的 Voyager 與混元 World 1.5 更進一步，目標是以 AI 生成的即時渲染世界取代傳統遊戲引擎，概念與 Google Project Genie 相近。

此外，World Labs 的 Marble 亦是幻想式生成領域的重要玩家，支援文字 Prompt 或幾何佈局輸入，並可導出包含 Gaussian Splatting 在內的多種格式。動態 Gaussian Splatting 方面，Gracia AI 與 4DV.ai 是最活躍的廠商，前者已在 Unity 提供套件整合；Meta 的 Horizon Hyperscape 則可直接透過 VR 頭盔掃描生成，渲染品質優異，惟目前不支援任何匯出，生態較封閉。

台灣產業概況

台灣目前主要有兩個值得關注的發展節點。台大 IMLab 建置了一套包含 70 至 80 台攝影機的同步拍攝 Dome，可對人物進行高密度影像序列擷取，並持續開發訓練端至部署端的完整流程，專攻動態 4D Gaussian Splatting 的應用。FUNIQUE 則建立拍攝與訓練端的解決方案，同樣聚焦於 4D Gaussian Splatting 的製作輸出。這兩個團隊代表台灣在動態 Gaussian Splatting 領域的在地布局，值得持續關注。

《雲在兩千米》的技術應用

《雲在兩千米》是黃郁傑以程式設計及視覺統籌身分參與、曾入圍 2025 年威尼斯影展的 VR 作品，也是其大量引入 Gaussian Splatting 的代表性製作。

特效實驗上，團隊嘗試了多種粒子視覺效果：利用 Niagara 或 VFX Graph 對橢球進行拉伸、風化飄散與循環再生（解決粒子生命週期導致的畫面殘缺問題）；同時進行了 Gaussian Splatting 與 4D Views 素材的疊加測試，並驗證光影合成的視覺合理性。

這邊給各位看到，幾種不同光源的測試，以及自己如何雕刻霧的形狀

在場景創作方面，西門町街景是主要拍攝場域，團隊探索了多重幀疊加製造人流殘影的表現手法——透過拍攝行人影片、多份疊算成模糊狀態，再序列化播放，呈現都市人流的時間感。此外，Unreal 原生的 Volumetric Fog 效果可與 Gaussian Splatting 良好整合，使不規則霧氣、光源測試與霧濃度調控得以直接應用於場景中，豐富了作品的視覺語彙。

結語：《雲在兩千米》的作品示範中，黃郁傑分享自己如何實驗光影與霧氣的表現方式。以技術作為基底支撐，讓視覺呈現得以與過去有不同的表現方式，也賦予每個新作品亮點。期待未來更多作品上，得以見到 Gaussian Splatting 的應用。

c2x3 除了會在 Matters 分享Web3相關資訊，也致力將台灣項目推向國際，如果喜歡這些內容，請不吝分享我們的文章讓更多人看見，我們也有 Facebook、Instagram、Threads 和英文版的 Twitter、Medium 跟 fxtext 喲，歡迎大家來逛逛，未來還請各位多多指教囉！⠀

#區塊鏈藝術 #web3 #NFT #c2x3 #二三設計