NeRF 3D : l’intelligence artificielle pour créer des vidéos ultraréalistes

Prenez quatre photos d’un même objet, d’une personne ou d’un lieu. La technologie les combine pour former une vidéo à 360 degrés qu’un drone ou une caméra classique aurait pu enregistrer. Pourtant, aucun drone ni aucune caméra ne l’a filmée. C’est toute la magie du NeRF 3D.

NeRF 3D : de quoi s’agit-il ?

Neural Radiance Field, ou NeRF, est une technologie permettant de recréer des espaces en 3D. Cette reproduction atteint une excellente fidélité, ce qui facilite l’application de cette technologie dans l’industrie pour concevoir des jumeaux numériques. Mais ce n’est pas le seul cas d’usage.

La technologie NeRF offre des résultats plus avancés que ceux de la photogrammétrie, une technique qui génère une représentation tridimensionnelle de l’espace à partir d’images, en recherchant le maximum de détails. Contrairement à la photogrammétrie, le NeRF fonde sa « magie » sur l’intelligence artificielle et sur d’autres innovations technologiques qui permettent, par exemple, de reproduire avec une excellente fidélité un lieu contenant des objets transparents ou métalliques avec des reflets.

Instant NeRF

Instant NeRF est un produit NVIDIA qui utilise l’intelligence artificielle pour recréer ces scènes tridimensionnelles en quelques secondes. Le rendu final est une vidéo interactive qui rappelle les vues à 360 degrés de Google Street View ou les scènes générées pour les casques de réalité virtuelle.

Usages possibles du NeRF

• Comme indiqué plus haut, créer des jumeaux numériques industriels.
• Faciliter les travaux de RealityCapture.
• Recréer des villes, des bâtiments, des espaces publics…
• Créer des décors pour le cinéma et la télévision.
• Concevoir des environnements pour les jeux vidéo et les expériences immersives avec des casques de réalité virtuelle et des applications de réalité augmentée.
• Reproduire des décors pour les journaux télévisés.
• Générer l’aspect intérieur d’une maison, ce qui profite au secteur de l’immobilier ou de l’architecture d’intérieur.
• S’intégrer à un nuage de points : l’image est superposée au nuage de points pour réaliser des travaux de précision, comme des mesures d’espaces.

NeRF et Evergine

L’équipe Evergine explore depuis des mois les possibilités du NeRF, une technologie qui séduit les clients pour des applications interactives, par exemple dans les musées ou la mode. Elle est également utile au quotidien pour découvrir ou développer de nouvelles opportunités commerciales, par exemple la création de jumeaux numériques industriels qui montrent l’évolution de la construction d’un bâtiment ou la manière d’implanter des capteurs dans les villes intelligentes.

Le travail d’intégration du NeRF dans Evergine est visible dans la vidéo suivante. On y voit l’insertion d’une théière en trois dimensions, créée avec le moteur, dans la cour d’une maison reproduite à partir de plusieurs images du lieu :

Parmi les autres avancées réalisées ces derniers mois, nous avons montré comment découper un NeRF pour se concentrer sur la représentation d’un seul objet ; par exemple, une voiture auparavant « intégrée » à un espace, qui peut désormais en être détachée pour être manipulée seule. Nous avons également réalisé une représentation ultraréaliste du pas de tir de SpaceX.

Le prochain défi consiste à créer un NeRF éditable, c’est-à-dire un NeRF dans lequel vous pouvez supprimer et déplacer à votre guise les éléments de la scène pour atteindre tous vos objectifs. Chez Evergine, nous y travaillons déjà pour vous éblouir au plus vite.

Si les possibilités actuelles et futures du NeRF pour votre activité vous fascinent, écrivez-nous : ensemble, nous saurons tirer le meilleur de cette technologie pour éblouir vos collaborateurs et vos clients.