L'add-on Gaussian Splatting dans Evergine

Evergine est fier de présenter sa nouvelle version, qui inclut l'add-on Gaussian Splatting. Dans cet article, nous vous expliquons simplement ce qu'est cette technologie innovante, ses avantages, les plateformes et formats pris en charge, comment commencer à l'utiliser et ce qui vous attend ensuite.

Qu’est-ce que le 3D Gaussian Splatting ?

Le 3D Gaussian Splatting est une technique sophistiquée d'infographie qui crée des scènes 3D photoréalistes et très fidèles en projetant dans un espace 3D les points, ou « splats », d'un nuage de points, à l'aide d'une fonction gaussienne pour chaque splat. Cette technique prend en charge des effets visuels complexes dépendant du point de vue et dépasse le rendu traditionnel de nuages de points en produisant des visualisations dynamiques et réalistes.

L'un des articles de recherche les plus connus expliquant en détail les aspects techniques du 3D Gaussian Splatting pour le rendu de champs de radiance en temps réel a été publié cette année au SIGGRAPH 2023 (l'article complet et le dépôt git sont accessibles publiquement en ligne), suscitant un regain d'intérêt pour le sujet.

L'espace 3D est défini comme un ensemble de gaussiennes, dont les paramètres sont calculés par apprentissage automatique. Cela implique :

• De disposer de données qui décrivent la scène.
• D'afficher ces données à l'écran.

C'est donc analogue à la rastérisation de triangles en infographie, qui sert à dessiner de nombreux triangles à l'écran. Mais au lieu de triangles, ce sont des gaussiennes qui sont dessinées. Chaque gaussienne est décrite par les paramètres suivants :

• Position : son emplacement (XYZ)
• Covariance : son étirement/échelle (matrice 3×3)
• Couleur : RGB
• Alpha : sa transparence (α)

Voici un exemple avec 7 millions de splats gaussiens :

Fonctionnalités

Intégration transparente des fichiers 3D Gaussian Splat dans votre application. Vous pouvez facilement les ajouter depuis Evergine Studio et les fondre harmonieusement avec les autres objets de votre scène, pour créer des compositions visuelles très réalistes et dynamiques.

Formats pris en charge

Cet add-on prend actuellement en charge les formats 3D Gaussian Splatting suivants :

Format PLY compressé .ply

Ce format est une variante du format .ply traditionnel et peut se résumer ainsi :

• La scène est divisée en blocs de 256 splats.
• Pour chaque bloc, les valeurs minimales et maximales (x, y, z) de position et d'échelle sont stockées en virgule flottante.
• Pour chaque splat du bloc, une valeur normalisée et quantifiée est stockée pour la position, l'échelle (relative aux dimensions du bloc), l'orientation et la couleur.

Splat .splat

Un fichier .splat est un format simple qui stocke les paramètres et attributs utilisés par le Gaussian Splatting. Il contient des informations compactées pour chaque splat (couleur, position, rotation, échelle).

Commencer à utiliser l'add-on 3D Gaussian Splatting dans Evergine

1. Ajoutez l'add-on Evergine.GaussianSplatting

Ouvrez Evergine Studio et ajoutez l'add-on Evergine.GaussianSplatting à votre projet. Consultez ce guide pour savoir comment ajouter des add-ons :

2. Ajoutez votre fichier splat au projet

Dans Evergine Studio, ajoutez à votre projet un fichier 3D Gaussian Splatting pris en charge (fichier .splat ou .ply compressé) :

3. Créez l'entité Gaussian Splatting

Dans votre scène, créez une nouvelle entité vide (Empty Entity) et ajoutez-lui le composant GaussianSplattingDrawable. Définissez la propriété SplatPath avec le chemin du fichier 3D Gaussian Splat.