Gaussian-Splatting-Add-on in Evergine

Evergine freut sich, die neue Version vorzustellen, die das Gaussian-Splatting-Add-on enthält. In diesem Artikel erklären wir auf einfache Weise, was diese innovative Technologie ist, welche Vorteile sie bietet, welche Plattformen und Formate unterstützt werden, wie Sie loslegen und was als Nächstes kommt.

Was ist 3D Gaussian Splatting?

3D Gaussian Splatting ist eine ausgefeilte Technik der Computergrafik, die originalgetreue, fotorealistische 3D-Szenen erzeugt, indem Punkte – sogenannte „Splats“ – aus einer Punktwolke in einen 3D-Raum projiziert werden, wobei für jeden Splat Gauß-Funktionen verwendet werden. Diese Technik unterstützt komplexe, blickwinkelabhängige visuelle Effekte und übertrifft das herkömmliche Punktwolken-Rendering durch dynamische und lebensechte Visualisierungen.

Eines der bekanntesten Forschungspapiere, das die technischen Details von 3D Gaussian Splatting für das Echtzeit-Rendering von Radiance Fields ausführlich erläutert, wurde in diesem Jahr auf der SIGGRAPH 2023 veröffentlicht (das vollständige Paper und das Git-Repository sind öffentlich online verfügbar) und hat ein neues Interesse an diesem Thema ausgelöst.

Der 3D-Raum wird als Menge von Gaußfunktionen definiert, deren Parameter jeweils durch maschinelles Lernen berechnet werden. Das bedeutet:

• Es gibt Daten, die die Szene beschreiben.
• Diese Daten werden auf dem Bildschirm gerendert.

Das Verfahren ist also vergleichbar mit der Dreiecksrasterisierung in der Computergrafik, mit der viele Dreiecke auf dem Bildschirm gezeichnet werden. Statt Dreiecken werden jedoch Gaußfunktionen gezeichnet. Jede Gaußfunktion wird durch die folgenden Parameter beschrieben:

• Position: wo sie sich befindet (XYZ)
• Kovarianz: wie sie gestreckt bzw. skaliert ist (3×3-Matrix)
• Farbe: RGB
• Alpha: ihre Transparenz (α)

Hier ein Beispiel mit 7 Millionen Gaussian Splats:

Funktionen

Nahtlose Integration von 3D-Gaussian-Splat-Dateien in Ihre Anwendung. Sie können sie ganz einfach in Evergine Studio hinzufügen und nahtlos mit anderen Objekten in Ihrer Szene kombinieren, um äußerst realistische und dynamische visuelle Kompositionen zu erstellen.

Unterstützte Formate

Derzeit unterstützt dieses Add-on die folgenden 3D-Gaussian-Splatting-Formate:

Komprimiertes PLY-Format .ply

Dieses Format ist eine Abwandlung des herkömmlichen .ply und lässt sich wie folgt zusammenfassen:

• Die Szene wird in Blöcke zu je 256 Splats aufgeteilt.
• Für jeden Block werden die Minimal- und Maximalwerte (x, y, z) für Position und Skalierung als Gleitkommazahlen gespeichert.
• Für jeden Splat im Block wird ein normalisierter und quantisierter Wert für Position, Skalierung (relativ zur Ausdehnung des Blocks), Ausrichtung und Farbe gespeichert.

Splat .splat

Eine .splat-Datei ist ein einfaches Format, das die beim Gaussian Splatting verwendeten Parameter und Attribute speichert. Sie enthält gepackte Informationen zu jedem Splat (Farbe, Position, Rotation, Skalierung).

Erste Schritte mit dem 3D-Gaussian-Splatting-Add-on in Evergine

1. Das Add-on Evergine.GaussianSplatting hinzufügen

Öffnen Sie Evergine Studio und fügen Sie Ihrem Projekt das Add-on Evergine.GaussianSplatting hinzu. Eine Anleitung zum Hinzufügen von Add-ons finden Sie in diesem Leitfaden:

2. Die Splat-Datei zum Projekt hinzufügen

Fügen Sie Ihrem Projekt in Evergine Studio eine unterstützte 3D-Gaussian-Splatting-Datei (.splat oder komprimierte .ply-Datei) hinzu:

3. Die Gaussian-Splatting-Entity erstellen

Erstellen Sie in Ihrer Szene eine neue leere Entity und fügen Sie die Komponente GaussianSplattingDrawable hinzu. Setzen Sie die Eigenschaft SplatPath auf den Pfad der 3D-Gaussian-Splat-Datei.