Verbesserungen im Gaussian-Splatting-Add-on

In diesem neuen Evergine-Release haben wir das Gaussian-Splatting-Add-on erheblich verbessert und mehrere neue Funktionen eingeführt, die seinen Funktionsumfang erweitern und seine Integration in die Engine verbessern.

3D Gaussian Splatting im Überblick

3D Gaussian Splatting ist eine ausgefeilte Technik der Computergrafik, die originalgetreue, fotorealistische 3D-Szenen erzeugt, indem Punkte – sogenannte „Splats“ – aus einer Punktwolke in einen 3D-Raum projiziert werden, wobei für jeden Splat Gauß-Funktionen verwendet werden. Diese Technik unterstützt komplexe, blickwinkelabhängige visuelle Effekte und übertrifft das herkömmliche Punktwolken-Rendering durch dynamische und lebensechte Visualisierungen.

Der 3D-Raum wird als Menge von Gaußfunktionen definiert, deren Parameter jeweils durch maschinelles Lernen berechnet werden.

Das Verfahren ist also vergleichbar mit der Dreiecksrasterisierung in der Computergrafik, mit der viele Dreiecke auf dem Bildschirm gezeichnet werden. Statt Dreiecken werden jedoch Gaußfunktionen gezeichnet.

Hier ein Beispiel mit 7 Millionen Gaussian Splats:

Neue Funktionen

Diese neue Evergine-Release bringt spannende Neuerungen für das Gaussian Splatting Add-on. Wir haben neue Funktionen hinzugefügt, die Performance verbessert und den Workflow optimiert, damit das Tool leistungsfähiger und vielseitiger ist als je zuvor. Diese Verbesserungen bringen das Add-on einen großen Schritt voran und machen es zu einer noch stärkeren Lösung für Echtzeit-3D-Visualisierung und fortschrittliches Rendering.

Unterstützung für Spherical Harmonics

Die Unterstützung für Spherical Harmonics wurde hinzugefügt, um Beleuchtung und Schattierung in erfassten Gaussian-Splatting-Szenen realistischer darzustellen. Damit kann das System komplexe Beleuchtungs- und Reflexionseffekte erfassen und wiedergeben, sodass Umgebungslicht und feine Farbübergänge genauer abgebildet werden. Das Ergebnis ist eine reichhaltigere, fotorealistischere Darstellung.

Neue Komponente für Point Rendering

Wir haben die Komponente GSplatPointRenderer eingeführt, mit der sich die Mittelpunkte der Gaussian Splats als Punkte rendern lassen. Sie bietet eine einfache und effiziente Möglichkeit, die räumliche Verteilung der Splats zu visualisieren – nützlich zum Debuggen, für schnelle Vorschauen oder zur Analyse der zugrunde liegenden Datenstruktur vor dem vollständigen Gaussian Rendering.

Gaussian-Splatting-Prefab und neue Komponenten

Ein sofort einsatzbereites 3D-Gaussian-Splatting-Prefab vereinfacht die Einrichtung und Integration in Szenen. Entwickler können nun ein vorkonfiguriertes Gaussian-Splatting-Objekt einfach per Drag & Drop in ihre Szenen ziehen. Das verkürzt die Einrichtungszeit und sorgt für einheitliche Standardparameter über alle Projekte hinweg.

Außerdem haben wir die Funktionalität auf separate Komponenten aufgeteilt:

• GSplatMesh: Lädt die Gaussian-Splatting-Datei und erstellt die benötigten Ressourcen.
• GSplatRenderer: Übernimmt das Rendering der von der vorherigen Komponente erstellten Gaussian-Splatting-Instanz.
• GSplatPointRenderer: Rendert die Splat-Mittelpunkte als Punktwolke auf Basis der Daten aus der Komponente GSplatMesh.

Alle diese neuen Komponenten werden bei Verwendung des mitgelieferten Prefabs automatisch instanziiert.

Performance-Verbesserungen und zahlreiche Fehlerbehebungen

Die Rendering-Performance wurde deutlich optimiert, sodass größere und komplexere Gaussian-Splatting-Szenen mit höheren Bildraten dargestellt werden können. Zudem wurden zahlreiche Fehler behoben, um Stabilität und Zuverlässigkeit insgesamt zu verbessern. Das System ist jetzt robuster und liefert in unterschiedlichen Szenarien eine flüssigere Performance und konsistente Ergebnisse.

Erste Schritte mit dem 3D-Gaussian-Splatting-Add-on in Evergine

1. Das Add-on Evergine.GaussianSplatting hinzufügen

Öffnen Sie Evergine Studio und fügen Sie Ihrem Projekt das Add-on Evergine.GaussianSplatting hinzu. Eine Anleitung zum Hinzufügen von Add-ons finden Sie in diesem Leitfaden:

2. Die Splat-Datei zum Projekt hinzufügen

Fügen Sie Ihrem Projekt in Evergine Studio eine unterstützte 3D-Gaussian-Splatting-Datei (.splat oder komprimierte .ply-Datei) hinzu:

3. Gaussian-Splatting-Prefab platzieren

Suchen Sie das Gaussian-Splatting-Prefab unter Dependencies > Evergine.GaussianSplatting > Prefabs > GSplatPrefab.

Sobald Sie das Prefab-Asset gefunden haben, ziehen Sie es per Drag & Drop in die Szene:

4. Prefab einrichten

Legen Sie in der Komponente GSplatMesh den SplatPath fest, um die Gaussian-Splatting-Szene zu laden:

Wenn Sie die Mittelpunkte der Gaussian Splats rendern möchten, aktivieren Sie die Komponente GSplatPointRenderer:

Fazit

Diese Verbesserungen machen das Gaussian Splatting Add-on robuster und erleichtern die Integration in Evergine-Projekte. Die modularen Komponenten, das Prefab-System und die neue Unterstützung für Spherical Harmonics vereinfachen die Einrichtung von Szenen, ermöglichen eine effiziente Visualisierung der Splat-Daten und verbessern die Rendering-Performance. Insgesamt bietet das Add-on eine zuverlässige und flexible Lösung für die Arbeit mit hochwertigen 3D-Gaussian-Splatting-Szenen in Echtzeit.