Nuevas funcionalidades del add-on de Gaussian Splatting

En esta nueva versión de Evergine, seguimos avanzando en el add-on de Gaussian Splatting con dos nuevas capacidades significativas: soporte para el formato comprimido SOG y soporte completo de renderizado con WebGPU. Estas incorporaciones aportan mayor eficiencia en el almacenamiento y preparan el add-on para los pipelines de renderizado de próxima generación.

Repaso sobre 3D Gaussian Splatting

3D Gaussian Splatting es una sofisticada técnica de computación gráfica que genera escenas 3D fotorrealistas de alta fidelidad proyectando puntos, o splats, desde una nube de puntos hacia un espacio 3D, utilizando funciones gaussianas para cada splat. Esta técnica soporta efectos visuales complejos dependientes del punto de vista y supera al renderizado de nubes de puntos tradicional produciendo visualizaciones dinámicas y de gran realismo.

El espacio 3D se define como un conjunto de gaussianas cuyos parámetros se calculan mediante aprendizaje automático.

Es, por tanto, análogo a la rasterización de triángulos en computación gráfica: en lugar de dibujar triángulos, se usan gaussianas. Cada gaussiana se describe por su posición, covarianza, color y alpha.

Nuevas funcionalidades

Esta versión de Evergine incorpora nuevas capacidades importantes al add-on de Gaussian Splatting, ampliando el soporte de formatos y la flexibilidad del backend de renderizado.

Soporte del formato SOG

El add-on soporta ahora el formato SOG desarrollado por PlayCanvas, un formato de archivo de Gaussian Splatting de alta compresión cuyo nombre corresponde a Spatially Ordered Gaussians (Gaussianas Auto-Organizadas). Está basado en el artículo de investigación «Compact 3D Scene Representation via Self-Organizing Gaussian Grids« (Morgenstern et al., ECCV 2024) del Fraunhofer Heinrich Hertz Institute. PlayCanvas adoptó y popularizó este formato, haciéndolo práctico para el despliegue en tiempo real en la web.

Cómo funciona SOG: las gaussianas como texturas

La idea clave detrás de SOG es que todos los datos que describen una escena de Gaussian Splatting (posiciones, colores, transparencia y la compleja información de iluminación dependiente del punto de vista conocida como Armónicos Esféricos) se pueden organizar en imágenes 2D regulares, muy parecidas a las texturas de un videojuego. Una vez que los datos de la escena están organizados de esta forma, la compresión de imagen estándar (la misma que se usa para JPEG o PNG) puede comprimirlos de forma extremadamente eficiente, ya que los codecs de imagen están altamente optimizados para este tipo de datos estructurados y coherentes. El resultado es un archivo que ocupa una fracción del espacio de otros formatos, con una pérdida de calidad visual prácticamente imperceptible.

Por qué SOG supera al .ply comprimido

Una limitación clave del formato .ply comprimido es que, aunque cuantiza posiciones, escalas, rotaciones y colores base de los splats, no comprime los coeficientes de Armónicos Esféricos (SH). Los Armónicos Esféricos codifican efectos de color dependientes del punto de vista, es decir, cómo cambia la apariencia de un splat según el ángulo de visión, y suponen una parte muy significativa del tamaño total del archivo, especialmente en escenas capturadas con un grado alto de SH.

Como SOG almacena todos los parámetros, incluidos los SH, como imágenes 2D en cuadrícula, comprime los coeficientes SH con la misma eficiencia que el resto de los datos, usando el mismo pipeline de compresión de imagen. Esta es la razón principal de su ventaja en tamaño.

Las principales ventajas del formato SOG son:

• Almacenamiento basado en texturas: todos los parámetros gaussianos se organizan en cuadrículas 2D y se comprimen como imágenes, permitiendo reutilizar tecnología de compresión de imagen altamente optimizada.
• Compresión de Spherical Harmonics (SH): a diferencia del formato .ply comprimido, SOG comprime completamente los coeficientes SH, que son el mayor contribuyente individual al tamaño de archivo en capturas de alta calidad.
• Tamaños de archivo significativamente menores: la combinación de organización en cuadrícula, imposición de suavidad local y compresión de imagen logra factores de reducción de 19,9× a 39,5× frente a 3DGS sin comprimir, y de ~5× frente a .ply comprimido, manteniendo la calidad visual.
• Decodificación sencilla: descomprimir un archivo SOG solo requiere descompresión de imagen estándar seguida de un paso de reescalado, sin codebooks complejos ni redes neuronales.
• Tiempos de carga más rápidos: los archivos más pequeños se traducen directamente en una carga de activos más rápida, mejorando la experiencia del usuario final, especialmente en escenarios de streaming.
• Adecuado para web y móvil: su representación compacta convierte a SOG en una opción ideal para desplegar escenas de Gaussian Splatting en entornos con recursos limitados.

Real-World Size Comparison

To illustrate the impact, here is a real example using the same scene exported to each format. The compressed .ply is used as the baseline:

El formato SOG ahorra ~80% de almacenamiento frente al .ply ya comprimido, una reducción impulsada por completo por la compresión de Spherical Harmonics, algo que el formato .ply comprimido simplemente no soporta.

Soporte de renderizado con WebGPU

El add-on de Gaussian Splatting ahora puede usar WebGPU como backend de renderizado. No ha sido una incorporación trivial: ha requerido trabajar en dos frentes al mismo tiempo. Por un lado, el propio add-on de Gaussian Splatting se actualizó para soportar rutas de renderizado con WebGPU, adaptando su ordenación, gestión de buffers y llamadas de dibujo a la API WebGPU. Por otro lado, también se corrigieron y mejoraron ciertas áreas del backend WebGPU de Evergine para asegurar que todo funcionara correctamente en conjunto.

Benefits of WebGPU for Gaussian Splatting

• Acceso moderno a la GPU: WebGPU proporciona control de bajo nivel y explícito de la GPU, similar a Vulkan y Metal, permitiendo un uso más eficiente de los recursos de la GPU durante la ordenación y el renderizado de splats.
• Mejor rendimiento en plataformas compatibles: en plataformas y navegadores compatibles con WebGPU, este backend puede ofrecer mejores tasas de fotogramas y menor sobrecarga de CPU en comparación con el renderizado basado en WebGL.
• Arquitectura preparada para el futuro: a medida que crece la adopción de WebGPU en navegadores y plataformas, esta inversión garantiza que las capacidades de Gaussian Splatting de Evergine sigan siendo relevantes y eficientes dentro del ecosistema web en evolución.
• Base para próximas funciones: WebGPU WebGPU desbloquea las capacidades de compute shaders que serán esenciales para futuras mejoras del add-on.

Siguientes pasos

Estamos trabajando activamente para incorporar capacidades de renderizado aún más avanzadas al add-on de Gaussian Splatting en futuras versiones.

Stochastic Rasterization

Una de las áreas más interesantes en desarrollo activo es el renderizado estocástico para Gaussian Splatting, basado en el artículo de investigación “StochasticSplats: Stochastic Rasterization for Sorting-Free 3D Gaussian Splatting” (Kheradmand et al., ICCV 2025). Propone un enfoque fundamentalmente diferente sobre cómo se componen los splats en pantalla.

El renderizado tradicional de Gaussian Splatting se basa en alpha blending, lo que requiere que todos los splats se ordenen de atrás hacia delante con respecto a la cámara antes de cada frame. Este paso de ordenación es costoso computacionalmente y puede convertirse en un cuello de botella en escenas grandes, especialmente con altas tasas de fotogramas.

El renderizado estocástico adopta un enfoque completamente diferente:

• No requiere ordenación: los splats no necesitan ordenarse antes del renderizado, eliminando uno de los principales costes de rendimiento del Gaussian Splatting clásico.
• Sin alpha blending: en lugar de mezclar capas semitransparentes, el renderizado estocástico utiliza una forma de transparencia estocástica combinada con dithering y efectos de sombreado especializados para lograr un resultado visualmente equivalente.
• Independiente del orden: la imagen final es consistente independientemente del orden de dibujo de los splats, simplificando en gran medida la canalización de renderizado.
• Mayor potencial de rendimiento: al eliminar la dependencia de la ordenación, este enfoque abre la puerta a un mayor paralelismo en GPU y a tasas de fotogramas sostenidas más altas en escenas complejas.

Cabe destacar también que la adopción de WebGPU como backend de renderizado abre la puerta a una solución de renderizado estocástico de mayor calidad. Esperamos compartir más detalles a medida que esta funcionalidad madure.

Conclusión

Esta versión supone dos grandes avances para el add-on de Gaussian Splatting: soporte nativo para el formato compacto SOG de PlayCanvas, con la ventaja clave de la compresión completa de Spherical Harmonics, y la capacidad de renderizar escenas de Gaussian Splatting usando el backend WebGPU. En conjunto, estas incorporaciones hacen que el add-on sea más versátil, más eficiente y esté preparado para el futuro del renderizado 3D en tiempo real. Y con el renderizado estocástico en el horizonte, lo mejor está por llegar.