Nouveautés de l’add-on Gaussian Splatting

Dans cette nouvelle release d’Evergine, nous continuons à faire progresser l’add-on Gaussian Splatting en introduisant deux nouvelles capacités importantes : la prise en charge du format compressé SOG et la prise en charge complète du WebGPU pour le rendu. Ces ajouts apportent une meilleure efficacité de stockage et préparent l’add-on aux pipelines de rendu de nouvelle génération.

Rappel sur le 3D Gaussian Splatting

Le 3D Gaussian Splatting est une technique sophistiquée d'infographie qui crée des scènes 3D photoréalistes et très fidèles en projetant dans un espace 3D les points, ou « splats », d'un nuage de points, à l'aide d'une fonction gaussienne pour chaque splat. Cette technique prend en charge des effets visuels complexes dépendant du point de vue et dépasse le rendu traditionnel de nuages de points en produisant des visualisations dynamiques et réalistes.

L'espace 3D est défini comme un ensemble de gaussiennes, dont les paramètres sont calculés par apprentissage automatique.

C’est l’équivalent de la rastérisation de triangles en infographie : au lieu de dessiner des triangles, on utilise des gaussiennes. Chaque gaussienne est décrite par sa position, sa covariance, sa couleur et son alpha.

Nouvelles fonctionnalités

Cette release d’Evergine apporte d’importantes nouvelles capacités à l’add-on Gaussian Splatting, en élargissant la prise en charge des formats et la flexibilité des backends de rendu.

Prise en charge du format SOG

L’add-on prend désormais en charge le format SOG développé par PlayCanvas, un format de fichier Gaussian Splatting fortement compressé dont le nom signifie Spatially Ordered Gaussians. Il repose sur l’article de recherche « Compact 3D Scene Representation via Self-Organizing Gaussian Grids » (Morgenstern et al., ECCV 2024) du Fraunhofer Heinrich Hertz Institute. PlayCanvas a adopté et popularisé ce format, le rendant exploitable pour un déploiement web en temps réel.

Fonctionnement de SOG : les gaussiennes sous forme de textures

L’idée clé de SOG est que toutes les données décrivant une scène Gaussian Splatting (positions, couleurs, transparence et les informations d’éclairage complexes dépendant du point de vue, appelées Spherical Harmonics) peuvent être organisées sous forme d’images 2D classiques, à la manière des textures d’un jeu vidéo. Une fois les données de la scène organisées ainsi, la compression d’image standard (celle utilisée pour les JPEG ou les PNG) peut les compresser de manière extrêmement efficace, car les codecs d’image sont précisément optimisés pour ce type de données structurées et spatialement cohérentes. Le résultat est un fichier qui ne représente qu’une fraction de la taille des autres formats, avec une perte de qualité visuelle négligeable.

Pourquoi SOG est meilleur que le .ply compressé

Une limite majeure du format .ply compressé est que, s’il quantifie les positions, les échelles, les rotations et les couleurs de base des splats, il ne compresse pas les coefficients des Spherical Harmonics (SH). Les Spherical Harmonics encodent les effets de couleur dépendant du point de vue, c’est-à-dire la manière dont l’apparence d’un splat change selon l’angle de vue, et elles représentent une part très importante de la taille totale du fichier, en particulier pour les scènes capturées avec un degré de SH élevé.

Comme SOG stocke tous les paramètres, y compris les SH, sous forme d’images de grilles 2D, il compresse les coefficients SH aussi efficacement que le reste des données, avec le même pipeline de compression d’image. C’est la raison principale de son avantage considérable en termes de taille.

Les principaux avantages du format SOG sont les suivants :

• Stockage basé sur des textures : tous les paramètres des gaussiennes sont organisés en grilles 2D et compressés sous forme d’images, ce qui permet de réutiliser des technologies de compression d’image hautement optimisées.
• Compression des Spherical Harmonics (SH) : contrairement au format .ply compressé, SOG compresse entièrement les coefficients SH, qui constituent le principal facteur de la taille des fichiers dans les captures de haute qualité.
• Des fichiers nettement plus petits : la combinaison de l’organisation en grille, du lissage local et de la compression d’image permet d’obtenir des facteurs de réduction de 19,9× à 39,5× par rapport au 3DGS standard, et d’environ 5× par rapport au .ply compressé, tout en préservant la qualité visuelle.
• Décodage simple : décompresser un fichier SOG ne nécessite qu’une décompression d’image standard suivie d’une passe de remise à l’échelle, sans codebooks complexes ni réseaux de neurones.
• Des temps de chargement plus courts : des fichiers plus petits se traduisent directement par un chargement plus rapide des assets, ce qui améliore l’expérience de l’utilisateur final, en particulier dans les scénarios de streaming.
• Adapté au web et au mobile : sa représentation compacte fait de SOG un choix idéal pour déployer des scènes Gaussian Splatting dans des environnements aux ressources limitées.

Comparaison des tailles en conditions réelles

Pour illustrer l’impact, voici un exemple réel utilisant la même scène exportée dans chaque format. Le .ply compressé sert de référence :

Le format SOG permet d’économiser ~80 % de l’espace de stockage par rapport au .ply déjà compressé, une réduction entièrement due à la compression des Spherical Harmonics, que le format .ply compressé ne prend tout simplement pas en charge.

Prise en charge du rendu WebGPU

L’add-on Gaussian Splatting peut désormais utiliser WebGPU comme backend de rendu. Cet ajout n’avait rien d’anodin : il a nécessité de travailler simultanément sur deux fronts. D’un côté, l’add-on Gaussian Splatting lui-même a été mis à jour pour prendre en charge les chemins de rendu WebGPU, en adaptant son tri, sa gestion des buffers et ses draw calls à l’API WebGPU. De l’autre, certaines parties du backend d’Evergine pour WebGPU ont également été corrigées et améliorées pour garantir le bon fonctionnement de l’ensemble.

Les avantages de WebGPU pour le Gaussian Splatting

• Accès moderne au GPU : WebGPU offre un contrôle explicite et bas niveau du GPU, comparable à Vulkan et Metal, ce qui permet une utilisation plus efficace des ressources GPU lors du tri et du rendu des splats.
• De meilleures performances sur les plateformes compatibles : sur les plateformes et navigateurs qui prennent en charge WebGPU, ce backend peut offrir un meilleur frame rate et une charge CPU réduite par rapport au rendu basé sur WebGL.
• Une architecture pérenne : à mesure que l’adoption de WebGPU progresse dans les navigateurs et les plateformes, cet investissement garantit que les capacités Gaussian Splatting d’Evergine resteront pertinentes et performantes dans un écosystème web en constante évolution.
• Une base pour les prochaines fonctionnalités : WebGPU donne accès aux compute shaders, qui seront essentiels pour les futures améliorations de l’add-on.

Et ensuite ?

Nous travaillons activement à apporter des capacités de rendu encore plus avancées à l’add-on Gaussian Splatting dans les prochaines releases.

Rastérisation stochastique

L’un des chantiers les plus prometteurs actuellement en développement est le rendu stochastique pour le Gaussian Splatting, basé sur l’article de recherche « StochasticSplats : Stochastic Rasterization for Sorting-Free 3D Gaussian Splatting » (Kheradmand et al., ICCV 2025). Il propose une approche fondamentalement différente de la manière dont les splats sont composés à l’écran.

Le rendu Gaussian Splatting traditionnel repose sur l’alpha blending, qui impose de trier tous les splats de l’arrière vers l’avant par rapport à la caméra avant chaque frame. Cette étape de tri est coûteuse en calcul et peut devenir un goulot d’étranglement pour les grandes scènes, en particulier à des frame rates élevés.

Le rendu stochastique adopte une approche complètement différente :

• Aucun tri nécessaire : les splats n’ont pas besoin d’être triés avant le rendu, ce qui supprime l’un des principaux coûts de performance du Gaussian Splatting classique.
• Pas d’alpha blending : au lieu de mélanger des couches semi-transparentes, le rendu stochastique utilise une forme de transparence stochastique combinée à du dithering et à des effets de shading spécifiques pour obtenir un résultat visuellement équivalent.
• Indépendant de l’ordre : l’image finale est cohérente quel que soit l’ordre de dessin des splats, ce qui simplifie considérablement le pipeline de rendu.
• Un potentiel de performance accru : en supprimant la dépendance au tri, cette approche ouvre la voie à un meilleur parallélisme GPU et à des frame rates soutenus plus élevés dans les scènes complexes.

Il convient également de noter que l’adoption de WebGPU comme backend de rendu ouvre la voie à une solution de rendu stochastique de meilleure qualité. Nous avons hâte de vous en dire plus à mesure que cette fonctionnalité mûrit.

Conclusion

Cette release apporte deux avancées majeures à l’add-on Gaussian Splatting : la prise en charge native du format SOG compact de PlayCanvas, avec son atout majeur qu’est la compression complète des Spherical Harmonics, et la possibilité de rendre des scènes Gaussian Splatting avec le backend WebGPU. Ensemble, ces ajouts rendent l’add-on plus polyvalent, plus efficace et prêt pour l’avenir du rendu 3D en temps réel. Et avec le rendu stochastique en ligne de mire, le meilleur reste à venir.

Auteur : David Ávila Membrives, Senior Staff Researcher