Nvidia Instant-ngpベースのNeRFサンプル

Neural Radiance Fields（NRF）は、入力データから写実的な3D画像やシーンを生成するために使用される、コンピュータグラフィックスと深層学習の技術です。この技術は、Mildenhallらによって2020年に発表された研究論文で提案されました。

NRFの背景にある考え方は、画像や動画などの入力データに基づいて、3Dシーン内のオブジェクトが放射する放射輝度をニューラルネットワークに学習させることです。ニューラルネットワークは、オブジェクトの放射輝度と空間内の位置との関係を学習し、これによりシーンの新しいビューをリアルタイムで生成できるようになります。

NRFで3D画像を生成するには、まず対象オブジェクトの3Dメッシュを構築し、写真撮影やビデオキャプチャなどの技術を用いてシーンを複数の角度から撮影します。これらの画像をニューラルネットワークに入力し、その情報を用いてオブジェクトの3Dモデルを構築し、放射輝度と空間内の位置との関係を学習します。

ニューラルネットワークの学習が完了すると、空間内の位置を入力するだけで、その位置からの画像を生成し、シーンの新しいビューをリアルタイムで生成するために使用できます。

学習には非常に多くの時間がかかる場合があり、単純なシーンであってもモデルの学習に数時間、短くても数分を要します。そのため、最初の論文が発表されて以来、Nvidia Instant NGPのように、モデルのさまざまな学習方法を探求する新しい研究やプロジェクトが次々と登場しています。

Nvidia Instant NGPは、Nvidiaグラフィックカードの能力を活用して、数秒から数分でモデルを学習させ、その後、学習済みモデルを直接ロードできるようにすることで、モデルの学習とレンダリングにかかる時間を短縮します。

Nvidia Instant-ngpとEvergineを組み合わせたEvergineサンプルを作成しました。これにより、NeRFシーンレンダリングを統合したEvergineプロジェクトを作成できます。

本リリースでは、Evergineでこの技術を探求できるNeRFサンプルを導入します。このサンプルでは、NeRFシーン内をナビゲートし、このコードベースを拡張して新たな可能性を探ることができます。

ニューラルラディアンスフィールドモデルを使用して生成された産業用ヒートポンプを紹介するコードサンプルを作成しました。このサンプルでは、ユーザーはモデルの周囲を周回し、学習済みモデルがヒートポンプの任意の視野角をどのように生成できるかを視覚化できます。生成される画像は合成画像であり、特定のカメラアングルが学習画像でキャプチャされていない可能性もありますが、AIモデルはそれを予測できます。

独自のNeRFモデルを生成し、サンプルに追加できます。表現したいオブジェクトや環境のビデオを録画するか、モバイルデバイスやビデオカメラで画像コレクションをキャプチャする必要があります。その後、Instant-ngpを使用してモデルを学習させ、モデルの学習に使用された各画像の位置を含むtransform.jsonファイルと、ネットワークで実行された学習を含むbase.ingpファイルを生成します（良好なモデル定義を確保するために、35,000回以上のイテレーションを実行することを推奨します）。

NeRFモデルを生成するための画像やビデオのキャプチャに関する推奨事項は以下のとおりです。

• 良好な照明を確保してください。
• 高精細HDまたは4Kカメラを使用してください。
• 広角レンズを使用してください。
• シャッタースピードを速く（露光時間を短く）保ってください（画像のブレを避けるため）
• 録画中は露出を一定に保ってください。

私たちはこの新しい取り組みを継続しており、今後数ヶ月でNeRF技術とEvergineを組み合わせたサンプルをさらに追加したいと考えています。近日中にさらに公開予定ですので、ご期待ください。