Vous devez pomper ces dimensions DreamEditor est un modèle d’IA qui édite des scènes 3D en utilisant des instructions textuelles.

'DreamEditor est un modèle d'IA qui édite des scènes 3D en utilisant des instructions textuelles.'

Le domaine de la vision par ordinateur en 3D a été inondé de NeRF ces dernières années. Ils sont apparus comme une technique révolutionnaire et ont permis la reconstruction et la synthèse de nouvelles vues d’une scène. Les NeRF capturent et modélisent la géométrie sous-jacente et les informations d’apparence à partir d’une collection d’images multi-vues.

En exploitant les réseaux neuronaux, les NeRF offrent une approche basée sur les données qui dépasse les méthodes traditionnelles. Les réseaux neuronaux dans les NeRF apprennent à représenter la relation complexe entre la géométrie de la scène, l’éclairage et l’apparence dépendante de la vue, ce qui permet des reconstructions de scènes hautement détaillées et réalistes. L’avantage clé des NeRF réside dans leur capacité à générer des images photoréalistes à partir de n’importe quel point de vue souhaité dans une scène, même dans des régions qui n’ont pas été capturées par l’ensemble initial d’images.

Le succès des NeRF a ouvert de nouvelles possibilités en infographie, en réalité virtuelle et en réalité augmentée, permettant la création d’environnements virtuels immersifs et interactifs qui ressemblent étroitement à des scènes réelles. Par conséquent, il y a un intérêt sérieux dans le domaine pour faire progresser encore davantage les NeRF.

• Google AI a mis en open source Flan-T5 un modèle de langage basé sur les Transformers qui utilise une approche de texte à texte pour les tâches de traitement du langage naturel (NLP).
• Est-ce que les petits modèles de langue peuvent fournir de hautes performances ? Découvrez StableLM un modèle de langue open source qui peut générer du texte et du code en offrant des performances élevées avec un entraînement adéquat.
• Qu’est-ce que les grands modèles de langage (LLMs) ? Applications et types de LLMs.

Certains inconvénients des NeRF limitent leur applicabilité dans des scénarios réels. Par exemple, l’édition des champs neuronaux est un défi important en raison de l’encodage implicite des informations de forme et de texture dans les caractéristiques de réseau neuronal de grande dimension. Bien que certaines méthodes aient essayé de résoudre ce problème en utilisant des techniques d’édition explorées, elles nécessitent souvent beaucoup d’entrées de l’utilisateur et ont du mal à obtenir des résultats précis et de haute qualité.

La capacité à éditer les NeRF peut ouvrir des possibilités dans les applications du monde réel. Cependant, jusqu’à présent, toutes les tentatives n’étaient pas assez bonnes pour résoudre les problèmes. Eh bien, nous avons un nouveau joueur dans le jeu, et il s’appelle DreamEditor.

DreamEditor est un cadre convivial qui permet la modification intuitive et pratique des champs neuronaux à l’aide de prompts textuels. En représentant la scène avec un champ neuronal basé sur un maillage et en utilisant un cadre d’édition par étapes, DreamEditor permet une large gamme d’effets d’édition, notamment le retexturage, le remplacement d’objet et l’insertion d’objet.

La représentation en maillage facilite l’édition locale précise en convertissant les masques d’édition en 2D en régions d’édition en 3D tout en démêlant la géométrie et la texture pour éviter une déformation excessive. Le cadre par étapes combine des modèles de diffusion pré-entraînés avec un échantillonnage de distillation de score, ce qui permet une édition efficace et précise basée sur des prompts textuels simples.

DreamEditor suit trois étapes clés pour faciliter l’édition de scènes 3D guidée par texte de manière intuitive et précise. Dans la première étape, le champ de radiance neurale d’origine est transformé en un champ neuronal basé sur un maillage. Cette représentation en maillage permet une édition sélective spatiale. Après la conversion, il utilise un modèle Texte-vers-Image (T2I) personnalisé qui est entraîné sur la scène spécifique pour capturer les relations sémantiques entre les mots clés dans les prompts textuels et le contenu visuel de la scène. Enfin, les modifications éditées sont appliquées à l’objet cible dans le champ neuronal en utilisant le mode de diffusion T2I.

DreamEditor peut éditer avec précision et progressivement la scène 3D tout en maintenant un haut niveau de fidélité et de réalisme. Cette approche progressive, de la représentation basée sur le maillage à la localisation précise et à l’édition contrôlée par des modèles de diffusion, permet à DreamEditor d’obtenir des résultats d’édition hautement réalistes tout en minimisant les modifications inutiles dans les régions non pertinentes.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!