2023年12月15日

3D Gaussian Splatting

Radiance Field手法は、複数の写真やビデオでキャプチャされたシーンの可視化合成に最近革命をもたらしました。しかし、高品質な可視化を実現するには、依然としてトレーニングとレンダリングにコストと時間がかかるニューラルネットワークが必要です。

ここで登場するのが3D Gaussian Splattingです。これは、3Dシーンをリアルタイムでレンダリングすることを約束する手法です。詳細はこちらをご覧ください。

切り替え

3D Gaussian Splattingとは

Gaussian Splattingは、90年代に科学分野で生まれたレンダリング技術です。しかし、昨年8月のSIGGRAPH 2023で発表された、シーンをリアルタイムに可視化する最近の応用により、再び注目を集めています。

Gaussian Splattingは、複数の視点から撮影された画像をリアルタイムに3D再構成し、レンダリングするためのラスタライゼーション技術です。

3D空間はガウス分布の集合として定義され、各ガウス分布のパラメータは機械学習によって計算されます。つまり、

シーンを記述するデータを持つこと。
そのデータを画面上に描画すること。

したがって、これはコンピュータグラフィックスにおける三角形のラスタライゼーション、つまり画面上に多数の三角形を描画する手法に類似しています。ただし、三角形の代わりにガウス分布を描画します。そのため、以下のパラメータで記述されます。

位置：その場所（XYZ）
共分散：どのように伸縮・拡大縮小するか（3×3行列）
色：RGB
アルファ：透明度（α）

こちらが例です

*ラスタライズ三角形 – ガウス分布

Gaussian Splattingの仕組み

3D Gaussian Splattingは、3Dシーンを数百万の粒子（ガウス分布）として表現し、各3Dガウス分布は位置、向き、スケールに加え、不透明度と色を持ちます。

これらの粒子をレンダリングするために、2D空間に変換され、効率的なレンダリングのために整理されます。手順は以下の通りです。

Structure from Motion：まず、Structure from Motion (SfM) 手法を使用して、画像から点群を作成します。これはCOLMAPを使用して行えます。
ガウス分布への変換：各点をガウス分布に変換し、ラスタライゼーションを可能にします。ただし、SfMデータから推測できるのは位置と色のみです。
トレーニング：高品質な結果を生成する表現を得るには、トレーニングが必要です。この目的のために、ニューラルネットワークと同様の確率的勾配降下法が使用されます。
1. 微分可能なガウスラスタライゼーションを用いて、画像内のガウス分布をラスタライズします。
2. ラスタライズ画像と正解画像（グラウンドトゥルース）との差分の関数として損失を計算します。
3. 損失に応じてガウス分布のパラメータを調整します。
4. 自動密化を適用します。
微分可能ガウスラスタライゼーション：ここでは、各2Dガウス分布をカメラ視点から投影し、深度でソートし、各ピクセルに対して各ガウス分布を前後方向に合成する必要があります。

フォトグラメトリとNeRFの比較

フォトグラメトリは、複数の視点からの画像から3Dポリゴンを生成する技術です。オブジェクトのスキャンには非常に有用ですが、空のような輪郭のないシーンや、遠景の細部を表現することはできません。さらに、反射や透明な要素など、場合によっては3Dポリゴンを正確に生成できません。

これらの制限を解決するために、NeRF（Neural Radiance Field）が登場しました。これも異なる視点から撮影された画像から3Dシーンをレンダリングする手法ですが、AIを使用して、開けたシーンや反射面、半透明面を正確にレンダリングします。唯一の欠点は、シーンをリアルタイムにレンダリングするために非常に強力なハードウェアが必要となることです。

3D Gaussian Splattingは、同じ問題を解決するための別のアプローチですが、リアルタイムでのシーンレンダリングにそれほど多くの計算能力を必要としません。これは、ガウスパラメータのトレーニングには機械学習が必要ですが、レンダリング自体には重い処理が不要で、リアルタイムで実行できるためです。

Plain Conceptsでの取り組み方

Plain Conceptsでは、3D Gaussian Splatting技術を当社のEvergine 3Dエンジンに統合する作業を進めています。これは継続的に進歩している新しい技術ですが、Plain Conceptsでは、実際のプロジェクトで使用できる状態にあると確信しており、今後のプロジェクトで実装され始めるのを目にすることになるでしょう。