Comment pouvons-nous mesurer l’incertitude dans les champs de radiance neuronaux ? Présentation de BayesRays un cadre révolutionnaire post-hoc pour les NeRFs

Comment mesurer l'incertitude dans les champs de radiance neuronaux ? Présentation de BayesRays, un cadre révolutionnaire pour les NeRFs.

La création de modèles 3D fournit une représentation plus immersive et réaliste des scènes que les images 2D. Ils permettent aux spectateurs d’explorer et d’interagir avec la scène sous différents angles, offrant une meilleure compréhension de la disposition spatiale et de la profondeur de l’information.

Ces modèles sont fondamentaux pour les applications de réalité virtuelle (VR) et de réalité augmentée (AR). Ils permettent la superposition d’informations numériques sur le monde réel (AR) ou la création d’environnements entièrement virtuels (VR), améliorant ainsi les expériences utilisateur dans les jeux, l’éducation, la formation et diverses industries.

Les Neural Radiance Fields (NeRF) sont une technique de vision par ordinateur pour la reconstruction et le rendu de scènes en 3D. Les NeRF traitent une scène comme un volume en 3D où chaque point dans le volume a une couleur correspondante (radiance) et une densité. Le réseau neuronal apprend à prédire la couleur et la densité de chaque point en se basant sur les images 2D prises sous différents angles de vue.

• Commencer avec SQL en 5 étapes
• Combler le fossé entre les cliniciens et les modèles linguistiques dans le domaine de la santé Découvrez MedAlign, un ensemble de données généré par les cliniciens pour suivre les instructions des dossiers médicaux électroniques.
• Des chercheurs de Microsoft introduisent Hydra-RLHF une solution à mémoire efficace pour l’apprentissage par renforcement avec rétroaction humaine.

Les NeRF ont de multiples applications comme la synthèse de vues et l’estimation de la profondeur, mais l’apprentissage à partir d’images multivues comporte des incertitudes inhérentes. Les méthodes actuelles pour les quantifier sont soit heuristiques, soit exigeantes en termes de calculs. Des chercheurs de Google DeepMind, Adobe Research et de l’Université de Toronto ont introduit une nouvelle technique appelée BayesRays.

Elle consiste en un cadre pour évaluer l’incertitude dans n’importe quel NeRF pré-entraîné sans modifier le processus d’apprentissage. En ajoutant un champ d’incertitude volumétrique à l’aide de perturbations spatiales et d’une approximation bayésienne de Laplace, ils ont réussi à surmonter les limitations des NeRF. L’approximation bayésienne de Laplace est une méthode mathématique permettant d’approximer des distributions de probabilité complexes par des distributions gaussiennes multivariées plus simples.

Leurs incertitudes calculées ont une signification statistique et peuvent être rendues sous forme de canaux de couleur supplémentaires. Leur méthode dépasse également les travaux précédents sur des métriques clés telles que la corrélation avec les erreurs de profondeur reconstruites. Ils utilisent une approche probabiliste plug-and-play pour quantifier l’incertitude de n’importe quel NeRF pré-entraîné, indépendamment de leur architecture. Leur travail fournit un seuil pour éliminer les artefacts des NeRF pré-entraînés en temps réel.

Ils affirment que leur intuition derrière la formulation de leur méthode provient de l’utilisation de champs volumétriques pour modéliser les scènes en 3D. Les champs de déformation volumétriques sont souvent utilisés pour manipuler des objets représentés implicitement. Leur travail est également similaire à la photogrammétrie, où la reconstruction de l’incertitude est souvent modélisée en plaçant des distributions gaussiennes sur les positions spatiales identifiées.

Enfin, ils affirment que leur algorithme est limité à la quantification de l’incertitude des NeRF et ne peut pas être traduit trivialement vers d’autres frameworks. Cependant, leur travail futur implique une approximation de Laplace basée sur la déformation formulée pour des représentations spatiales plus récentes telles que le “3D Gaussian splatting”.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!