Gaussian Splatting アドオンの新機能

今回のEvergineリリースでは、Gaussian Splattingアドオンをさらに進化させ、2つの重要な新機能を導入します。SOG圧縮フォーマットへの対応と、完全なWebGPUレンダリング対応です。これにより、ストレージ効率が向上し、次世代レンダリングパイプラインへの準備が整います。

3D Gaussian Splattingのおさらい

3D Gaussian Splattingは、コンピュータグラフィックスにおける高度な技術であり、点群から「スプラット」と呼ばれる点を3D空間に投影し、各スプラットにガウス関数を用いることで、高忠実度で写実的な3Dシーンを作成します。この技術は、視点に依存する複雑な視覚効果をサポートし、動的で生き生きとしたビジュアライゼーションを生成することで、従来の点群レンダリングを凌駕します。

3D空間はガウス分布の集合として定義され、各ガウス分布のパラメータは機械学習によって計算されます。

これはコンピュータグラフィックスにおける三角形のラスタライゼーションに類似しています。三角形の代わりにガウシアンが使用されます。各ガウシアンは、その位置、共分散、色、アルファ値によって記述されます。

新機能

このEvergineリリースでは、Gaussian Splattingアドオンに重要な新機能が追加され、フォーマット対応とレンダリングバックエンドの柔軟性が拡張されました。

SOGフォーマット対応

このアドオンは、PlayCanvasによって開発されたSOGフォーマットに対応しました。これは高度に圧縮されたGaussian Splattingファイルフォーマットで、その名前はSpatially Ordered Gaussiansの略です。このフォーマットは、Fraunhofer Heinrich Hertz Instituteの研究論文「Compact 3D Scene Representation via Self-Organizing Gaussian Grids」（Morgenstern et al., ECCV 2024）に基づいています。PlayCanvasはこのフォーマットを採用・普及させ、リアルタイムWeb展開に実用的なものとしました。

SOGの仕組み：テクスチャとしてのガウシアン

SOGの背後にある重要な洞察は、Gaussian Splattingシーンを記述するすべてのデータ（位置、色、透明度、そしてSpherical Harmonicsとして知られる複雑な視点依存のライティング情報）を、ビデオゲームのテクスチャのように規則的な2D画像に配置できるということです。シーンデータがこのように整理されると、標準的な画像圧縮（JPEGやPNGに使用されるものと同種）によって非常に効率的に圧縮できます。画像コーデックは、まさにこの種の構造化され空間的に一貫性のあるデータに対して高度に最適化されているからです。その結果、他のフォーマットの数分の一のファイルサイズでありながら、視覚的な品質の低下はごくわずかです。

圧縮.plyよりもSOGが優れている理由

圧縮.plyフォーマットの主な制限は、スプラットの位置、スケール、回転、ベースカラーを量子化する一方で、Spherical Harmonics (SH)係数を圧縮しないことです。Spherical Harmonicsは視点依存の色効果、つまり見る角度によってスプラットの見え方がどのように変化するかをエンコードしており、特に高いSH次数でキャプチャされたシーンでは、ファイルサイズ全体の非常に大きな部分を占めます。

SOGはSHを含むすべてのパラメータを2Dグリッド画像として保存するため、同じ画像圧縮パイプラインを使用して、SH係数を他のデータと同様に効率的に圧縮します。これが、その劇的なサイズ優位性の主な理由です。

SOGフォーマットの主な利点は次のとおりです。

• テクスチャベースのストレージ：すべてのガウシアンパラメータが2Dグリッドに整理され画像として圧縮されるため、高度に最適化された画像圧縮技術の再利用が可能になります。
• Spherical Harmonics (SH)の圧縮：圧縮.plyフォーマットとは異なり、SOGは高品質キャプチャにおいてファイルサイズの最大の要因となるSH係数を完全に圧縮します。
• 大幅に小さいファイルサイズ：グリッド編成、局所的な滑らかさの強制、画像圧縮の組み合わせにより、バニラ3DGSと比較して19.9倍から39.5倍、圧縮.plyと比較して約5倍の削減率を達成しながら、視覚的品質を維持します。
• シンプルなデコード：SOGファイルの解凍には、標準的な画像解凍とそれに続く再スケーリングパスのみが必要で、複雑なコードブックやニューラルネットワークは不要です。
• 高速なロード時間：ファイルが小さいほどアセットのロードが直接的に高速化され、特にストリーミングシナリオにおいてエンドユーザーエクスペリエンスが向上します。
• Webおよびモバイルに最適：コンパクトな表現により、SOGはリソースが限られた環境にGaussian Splattingシーンを展開するための理想的な選択肢となります。

実際のサイズ比較

その影響を説明するために、同じシーンを各フォーマットにエクスポートした実際の例を示します。圧縮.plyがベースラインとして使用されます。

SOGフォーマットは、既に圧縮された.plyと比較してストレージを約80%節約します。この削減は完全にSpherical Harmonicsの圧縮によるものであり、圧縮.plyフォーマットでは対応されていません。

WebGPUレンダリング対応

Gaussian Splattingアドオンは、レンダリングバックエンドとしてWebGPUを使用できるようになりました。これは単純な追加ではなく、二つの面で同時に作業が必要でした。一つは、Gaussian Splattingアドオン自体をWebGPUレンダリングパスに対応させるため、ソート、バッファ管理、ドローコールをWebGPU APIに適合させる更新です。もう一つは、すべてが正しく連携するよう、Evergine WebGPUバックエンドの特定領域の修正と改善です。

Gaussian SplattingにおけるWebGPUの利点

• 最新のGPUアクセス：WebGPUはVulkanやMetalに似た低レベルで明示的なGPU制御を提供し、スプラットのソートとレンダリングにおけるGPUリソースの効率的な活用を可能にします。
• 対応プラットフォームでのパフォーマンス向上：WebGPUをサポートするプラットフォームやブラウザでは、このバックエンドにより、WebGLベースのレンダリングと比較してフレームレートが向上し、CPUオーバーヘッドが低減します。
• 将来を見据えたアーキテクチャ：ブラウザやプラットフォームでのWebGPU採用が進む中、この投資により、進化するWebエコシステムにおいてEvergineのGaussian Splatting機能の関連性とパフォーマンスが維持されます。
• 将来の機能の基盤：WebGPUは、アドオンの将来の拡張に不可欠となるコンピュートシェーダー機能を解放します。

今後の展望

将来のリリースに向けて、Gaussian Splattingアドオンにさらに高度なレンダリング機能を導入すべく、積極的に開発を進めています。

確率的ラスタライゼーション

現在活発に開発が進められている最もエキサイティングな領域の一つが、Gaussian Splattingのための確率的レンダリングです。これは研究論文「StochasticSplats: Stochastic Rasterization for Sorting-Free 3D Gaussian Splatting」（Kheradmand et al., ICCV 2025）に基づいており、スプラットを画面上で合成する方法に対する根本的に異なるアプローチを提案しています。

従来のGaussian Splattingレンダリングはアルファブレンディングに依存しており、各フレームの前にすべてのスプラットをカメラに対して背面から前面へソートする必要があります。このソートステップは計算コストが高く、特に高いフレームレートでは大規模シーンのボトルネックになり得ます。

確率的レンダリングは全く異なるアプローチを取ります。

• ソート不要：レンダリング前にスプラットをソートする必要がなく、従来のGaussian Splattingの主要なパフォーマンスコストの一つを排除します。
• アルファブレンディング不使用：半透明レイヤーをブレンドする代わりに、確率的レンダリングは確率的透明度とディザリング、特殊なシェーディング効果を組み合わせて、視覚的に同等の結果を実現します。
• 順序非依存：最終画像はスプラットの描画順序に関わらず一貫しており、レンダリングパイプラインを大幅に簡素化します。
• 高いパフォーマンスの可能性：ソート依存性を取り除くことで、このアプローチはGPU並列性の向上と、複雑なシーンでのより高い持続的フレームレートへの道を開きます。

また、レンダリングバックエンドとしてのWebGPUの採用は、より高品質な確率的レンダリングソリューションへの扉を開くことにも注目すべきです。この機能が成熟するにつれて、詳細を共有できることを楽しみにしています。

まとめ

このリリースは、Gaussian Splattingアドオンにとって二つの大きな前進をもたらします。完全なSpherical Harmonics圧縮という主要な利点を持つPlayCanvasのコンパクトなSOGフォーマットへのネイティブ対応と、WebGPUバックエンドを使用したGaussian Splattingシーンのレンダリング能力です。これらの追加により、アドオンはより多用途で効率的になり、リアルタイム3Dレンダリングの未来に対応できるようになります。そして、確率的レンダリングが目前に迫っており、最良の部分はこれからです。

執筆者: David Ávila Membrives, Senior Staff Researcher