Exemple NeRF basé sur Nvidia Instant-ngp
Les Neural Radiance Fields (NRF) sont une technique d’infographie et de deep learning utilisée pour générer des images et des scènes 3D photoréalistes à partir de données d’entrée. Cette technique a été proposée par Mildenhall et al. dans un article de recherche publié en 2020.
Le principe du NRF consiste à utiliser un réseau de neurones pour apprendre la radiance émise par un objet dans une scène 3D à partir de données d’entrée comme des images et des vidéos. Le réseau de neurones apprend la relation entre la radiance de l’objet et sa position dans l’espace, ce qui permet de générer de nouvelles vues de la scène en temps réel.
Pour générer une image 3D avec le NRF, on construit d’abord un mesh 3D de l’objet concerné, puis on prend des images de la scène sous plusieurs angles à l’aide de techniques comme la photographie ou la capture vidéo. Ces images sont ensuite fournies au réseau de neurones, qui s’en sert pour construire un modèle 3D de l’objet et apprendre la relation entre la radiance et la position dans l’espace.
Une fois le réseau de neurones entraîné, il peut servir à générer de nouvelles vues de la scène en temps réel : il suffit de lui fournir une position dans l’espace pour générer une image depuis cette position.
Le temps d’entraînement peut être très coûteux : il faut plusieurs heures, voire plusieurs minutes, pour entraîner le modèle sur une scène simple. C’est pourquoi, depuis la publication du premier article, de nouvelles études et de nouveaux projets explorent différentes façons d’entraîner le modèle, comme Nvidia Instant NGP.
Nvidia Instant NGP exploite la puissance des cartes graphiques Nvidia pour entraîner un modèle en quelques secondes ou minutes, puis permet de charger directement ce modèle entraîné, ce qui réduit le temps d’entraînement et de rendu d’un modèle.
Nous avons créé un exemple Evergine qui combine Nvidia Instant-ngp et Evergine, pour vous permettre de créer un projet Evergine intégrant le rendu d’une scène NeRF.
Dans cette release, nous présentons l’exemple NeRF, qui vous permet d’explorer cette technologie avec Evergine. Dans l’exemple, vous pouvez naviguer dans une scène NeRF et vous appuyer sur ce code pour l’étendre et explorer de nouvelles possibilités.
Nous avons créé un exemple de code qui présente une pompe à chaleur industrielle générée à l’aide d’un modèle de neural radiance field. Dans l’exemple, les utilisateurs peuvent tourner autour du modèle pour voir comment le modèle entraîné est capable de générer n’importe quel angle de vue de la pompe à chaleur. Les images générées sont synthétiques : un angle de caméra donné peut n’avoir jamais été capturé dans les images d’entraînement, mais le modèle d’IA est capable de le prédire.
Vous pouvez générer vos propres modèles NeRF et les ajouter à l’exemple. Il vous faudra enregistrer une vidéo ou prendre une série d’images de l’objet ou de l’environnement à représenter avec votre appareil mobile ou votre caméra. Vous pourrez ensuite entraîner le modèle avec Instant-ngp et générer les fichiers transform.json contenant les positions de chaque image utilisée pour l’entraînement, ainsi que le fichier base.ingp qui contient l’entraînement effectué sur le réseau (nous recommandons plus de 35 000 itérations pour garantir une bonne définition du modèle).
Nos recommandations pour capturer des images ou des vidéos destinées à générer un modèle NeRF :
- Assurez un bon éclairage.
- Utilisez une caméra haute définition HD ou 4K.
- Utilisez un objectif grand-angle.
- Conservez une vitesse d’obturation faible (pour éviter les images floues)
- Gardez une exposition constante pendant tout l’enregistrement.
Nous continuons à travailler dans cette nouvelle direction et espérons ajouter dans les prochains mois d’autres exemples combinant la technologie NeRF et Evergine. Restez à l’écoute : d’autres publications arrivent bientôt.
