Neue Funktionen im Gaussian-Splatting-Add-on

Mit diesem neuen Evergine-Release entwickeln wir das Gaussian Splatting Add-on weiter und führen zwei bedeutende neue Fähigkeiten ein: Unterstützung für das komprimierte SOG-Format und vollständige WebGPU-Rendering-Unterstützung. Diese Neuerungen sorgen für eine effizientere Speicherung und bereiten das Add-on auf Rendering-Pipelines der nächsten Generation vor.

3D Gaussian Splatting im Überblick

3D Gaussian Splatting ist eine ausgefeilte Technik der Computergrafik, die originalgetreue, fotorealistische 3D-Szenen erzeugt, indem Punkte – sogenannte „Splats“ – aus einer Punktwolke in einen 3D-Raum projiziert werden, wobei für jeden Splat Gauß-Funktionen verwendet werden. Diese Technik unterstützt komplexe, blickwinkelabhängige visuelle Effekte und übertrifft das herkömmliche Punktwolken-Rendering durch dynamische und lebensechte Visualisierungen.

Der 3D-Raum wird als Menge von Gaußfunktionen definiert, deren Parameter jeweils durch maschinelles Lernen berechnet werden.

Sie ist vergleichbar mit der Dreiecksrasterisierung in der Computergrafik: Statt Dreiecken werden Gaussians gezeichnet. Jeder Gaussian wird durch seine Position, Kovarianz, Farbe und seinen Alphawert beschrieben.

Neue Funktionen

Dieses Evergine-Release bringt wichtige neue Fähigkeiten für das Gaussian Splatting Add-on und erweitert die Formatunterstützung sowie die Flexibilität beim Rendering-Backend.

Unterstützung für das SOG-Format

Das Add-on unterstützt jetzt das von PlayCanvas entwickelte SOG-Format, ein hochkomprimiertes Gaussian-Splatting-Dateiformat, dessen Name für Spatially Ordered Gaussians steht. Es basiert auf dem Forschungsartikel „Compact 3D Scene Representation via Self-Organizing Gaussian Grids“ (Morgenstern et al., ECCV 2024) des Fraunhofer Heinrich-Hertz-Instituts. PlayCanvas hat dieses Format übernommen und populär gemacht und es damit für den Echtzeiteinsatz im Web praxistauglich gemacht.

So funktioniert SOG: Gaussians als Texturen

Der zentrale Gedanke hinter SOG ist, dass sich alle Daten, die eine Gaussian-Splatting-Szene beschreiben (Positionen, Farben, Transparenz und die komplexen blickwinkelabhängigen Beleuchtungsinformationen, die als Spherical Harmonics bezeichnet werden), in regelmäßigen 2D-Bildern anordnen lassen – ähnlich wie Texturen in einem Videospiel. Sind die Szenendaten so organisiert, kann Standard-Bildkompression (wie bei JPEG oder PNG) sie äußerst effizient komprimieren, da Bildcodecs genau für diese Art strukturierter, räumlich kohärenter Daten hochoptimiert sind. Das Ergebnis ist eine Datei, die nur einen Bruchteil der Größe anderer Formate hat, bei vernachlässigbarem Verlust an visueller Qualität.

Warum SOG besser ist als komprimiertes .ply

Eine wesentliche Einschränkung des komprimierten .ply-Formats besteht darin, dass es zwar Positionen, Skalierungen, Rotationen und Grundfarben der Splats quantisiert, die Koeffizienten der Spherical Harmonics (SH) aber nicht komprimiert. Spherical Harmonics kodieren blickwinkelabhängige Farbeffekte, also wie sich das Erscheinungsbild eines Splats je nach Betrachtungswinkel ändert, und sie machen einen sehr erheblichen Teil der Gesamtdateigröße aus, insbesondere bei Szenen, die mit hohem SH-Grad aufgenommen wurden.

Da SOG alle Parameter einschließlich der SH als 2D-Rasterbilder speichert, komprimiert es die SH-Koeffizienten mit derselben Bildkompressions-Pipeline ebenso effizient wie die übrigen Daten. Das ist der Hauptgrund für seinen enormen Größenvorteil.

Die wichtigsten Vorteile des SOG-Formats sind:

• Texturbasierte Speicherung: Alle Gaussian-Parameter werden in 2D-Rastern organisiert und als Bilder komprimiert, sodass hochoptimierte Bildkompressionstechnologie wiederverwendet werden kann.
• Kompression der Spherical Harmonics (SH): Anders als das komprimierte .ply-Format komprimiert SOG die SH-Koeffizienten vollständig, die bei hochwertigen Aufnahmen den mit Abstand größten Anteil an der Dateigröße haben.
• Deutlich kleinere Dateien: Die Kombination aus Rasterorganisation, erzwungener lokaler Glätte und Bildkompression erreicht Reduktionsfaktoren von 19,9× bis 39,5× gegenüber reinem 3DGS und rund 5× gegenüber komprimiertem .ply, bei gleichbleibender visueller Qualität.
• Einfache Dekodierung: Zum Dekomprimieren einer SOG-Datei sind nur eine Standard-Bilddekompression und ein anschließender Reskalierungsdurchlauf nötig – ohne komplexe Codebooks oder neuronale Netze.
• Kürzere Ladezeiten: Kleinere Dateien führen direkt zu schnellerem Laden der Assets und verbessern das Benutzererlebnis, besonders in Streaming-Szenarien.
• Web- und mobilfreundlich: Die kompakte Darstellung macht SOG zur idealen Wahl, um Gaussian-Splatting-Szenen in ressourcenbeschränkten Umgebungen bereitzustellen.

Größenvergleich aus der Praxis

Zur Veranschaulichung hier ein reales Beispiel, bei dem dieselbe Szene in jedes Format exportiert wurde. Das komprimierte .ply dient als Referenz:

Das SOG-Format spart rund 80 % Speicherplatz gegenüber dem bereits komprimierten .ply – eine Reduktion, die vollständig auf die Kompression der Spherical Harmonics zurückgeht, die das komprimierte .ply-Format schlicht nicht unterstützt.

Unterstützung für WebGPU-Rendering

Das Gaussian Splatting Add-on kann jetzt WebGPU als Rendering-Backend verwenden. Das war keine triviale Erweiterung: Sie erforderte Arbeit an zwei Fronten gleichzeitig. Einerseits wurde das Gaussian Splatting Add-on selbst aktualisiert, um WebGPU-Rendering-Pfade zu unterstützen, wobei Sortierung, Pufferverwaltung und Draw Calls an die WebGPU-API angepasst wurden. Andererseits wurden auch bestimmte Bereiche des WebGPU-Backends von Evergine korrigiert und verbessert, damit alles zuverlässig zusammenspielt.

Vorteile von WebGPU für Gaussian Splatting

• Moderner GPU-Zugriff: WebGPU bietet eine explizite Low-Level-Steuerung der GPU ähnlich wie Vulkan und Metal und ermöglicht so eine effizientere Nutzung der GPU-Ressourcen beim Sortieren und Rendern der Splats.
• Bessere Performance auf unterstützten Plattformen: Auf Plattformen und Browsern mit WebGPU-Unterstützung kann dieses Backend im Vergleich zum WebGL-basierten Rendering höhere Bildraten und eine geringere CPU-Last liefern.
• Zukunftssichere Architektur: Da WebGPU in Browsern und auf Plattformen zunehmend Verbreitung findet, stellt diese Investition sicher, dass die Gaussian-Splatting-Fähigkeiten von Evergine im sich wandelnden Web-Ökosystem relevant und leistungsfähig bleiben.
• Grundlage für kommende Funktionen: WebGPU erschließt Compute-Shader-Fähigkeiten, die für künftige Erweiterungen des Add-ons unverzichtbar sein werden.

Wie es weitergeht

Wir arbeiten intensiv daran, dem Gaussian Splatting Add-on in künftigen Releases noch fortschrittlichere Rendering-Fähigkeiten zu verleihen.

Stochastische Rasterisierung

Einer der spannendsten Bereiche, an denen wir derzeit aktiv arbeiten, ist das stochastische Rendering für Gaussian Splatting, basierend auf dem Forschungsartikel „StochasticSplats: Stochastic Rasterization for Sorting-Free 3D Gaussian Splatting“ (Kheradmand et al., ICCV 2025). Er schlägt einen grundlegend anderen Ansatz dafür vor, wie Splats auf dem Bildschirm zusammengesetzt werden.

Klassisches Gaussian-Splatting-Rendering beruht auf Alpha Blending, wofür alle Splats vor jedem Frame relativ zur Kamera von hinten nach vorne sortiert werden müssen. Dieser Sortierschritt ist rechenintensiv und kann bei großen Szenen zum Engpass werden, insbesondere bei hohen Bildraten.

Stochastisches Rendering verfolgt einen völlig anderen Ansatz:

• Keine Sortierung erforderlich: Splats müssen vor dem Rendern nicht sortiert werden, wodurch einer der größten Performance-Kostenfaktoren des klassischen Gaussian Splatting entfällt.
• Kein Alpha Blending: Statt halbtransparente Ebenen zu überblenden, nutzt stochastisches Rendering eine Form von stochastischer Transparenz in Kombination mit Dithering und speziellen Shading-Effekten, um ein visuell gleichwertiges Ergebnis zu erzielen.
• Reihenfolgeunabhängig: Das endgültige Bild ist unabhängig von der Zeichenreihenfolge der Splats konsistent, was die Rendering-Pipeline erheblich vereinfacht.
• Höheres Leistungspotenzial: Durch den Wegfall der Abhängigkeit von der Sortierung ermöglicht dieser Ansatz eine bessere GPU-Parallelisierung und dauerhaft höhere Bildraten in komplexen Szenen.

Erwähnenswert ist auch, dass die Einführung von WebGPU als Rendering-Backend den Weg zu einer hochwertigeren stochastischen Rendering-Lösung ebnet. Wir freuen uns darauf, weitere Details zu teilen, sobald diese Funktion ausgereift ist.

Fazit

Dieses Release bringt zwei große Fortschritte für das Gaussian Splatting Add-on: native Unterstützung für das kompakte SOG-Format von PlayCanvas mit seinem entscheidenden Vorteil der vollständigen Kompression der Spherical Harmonics sowie die Möglichkeit, Gaussian-Splatting-Szenen mit dem WebGPU-Backend zu rendern. Zusammen machen diese Neuerungen das Add-on vielseitiger, effizienter und bereit für die Zukunft des Echtzeit-3D-Renderings. Und mit dem stochastischen Rendering am Horizont kommt das Beste erst noch.

Autor: David Ávila Membrives, Senior Staff Researcher