Cet article sur l’IA propose MATLABER un nouvel auto-encodeur BRDF latent pour la génération de texte vers 3D consciente des matériaux

This article proposes MATLABER, a new latent BRDF auto-encoder for text-to-3D material-aware generation.

Le développement d’actifs 3D est essentiel pour de nombreuses applications commerciales, notamment les jeux, le cinéma et la RA/RV. Plusieurs étapes laborieuses et chronophages sont nécessaires dans le processus traditionnel de développement d’actifs 3D, qui dépendent toutes de connaissances spécialisées et d’une formation esthétique formelle. Les avancées récentes en termes de qualité et d’efficacité de génération, ainsi que leur potentiel à réduire de manière significative le temps et les compétences nécessaires à la création d’actifs 3D traditionnels, ont suscité une attention croissante pour les pipelines de texte vers 3D qui génèrent automatiquement des actifs 3D à partir de descriptions purement textuelles.

Ces pipelines de texte vers 3D peuvent fournir une géométrie et une apparence attrayantes en optimisant progressivement l’actif 3D cible exprimé en tant que NeRF ou DMTET grâce à la perte SDS. La figure 1 illustre la difficulté pour eux de restaurer des matériaux d’objet haute fidélité, ce qui limite considérablement leur utilisation dans des applications du monde réel telles que le relighting. Bien que des tentatives aient été faites pour modéliser la fonction de distribution bidirectionnelle de la réflectance (BRDF) et la réflectance lambertienne dans leurs conceptions, le réseau neuronal chargé de prédire les matériaux manque de motivation et d’indices nécessaires pour identifier un matériau approprié conforme à la distribution naturelle, notamment dans des conditions d’éclairage fixe où leur matériau indiqué est fréquemment enchevêtré avec les lumières environnantes.

Dans cette étude, des chercheurs du Shanghai AI Laboratory et du S – Lab de l’Université technologique de Nanyang utilisent des données matérielles riches déjà disponibles pour apprendre un pipeline de texte vers 3D unique qui sépare avec succès le matériau de l’éclairage ambiant. Il existe des ensembles de données de matériaux BRDF à grande échelle tels que MERL BRDF, les matériaux Adobe Substance3D et les collections BRDF du monde réel TwoShotBRDF, malgré l’inaccessibilité des ensembles de données couplés de matériaux et de descriptions textuelles. Par conséquent, ils suggèrent Material-Aware Text-to-3D through LAtent BRDF auto EncodeR (MATLABER), qui utilise un nouvel auto-encodeur BRDF latent pour créer des matériaux réalistes et naturels qui correspondent précisément aux indications textuelles.

• Voici ce que vous manquez
• La prochaine étape est l’IA responsable. Comment y parvenir ?
• Les chercheurs d’Apple proposent un réseau de bout en bout produisant des reconstructions 3D détaillées à partir d’images posées

Pour que MATLABER prédise des codes latents BRDF plutôt que des valeurs BRDF, l’auto-encodeur BRDF latent est entraîné à incorporer des prédictions BRDF du monde réel de TwoShotBRDF dans son espace latent lisse. Cela permet à MATLABER de se concentrer davantage sur la sélection du matériau le plus approprié et de se soucier moins de la validité de la BRDF projetée. Leur méthode garantit le réalisme et la cohérence des matériaux d’objet et permet de découpler de manière optimale la géométrie et l’apparence grâce à l’espace latent lisse de l’auto-encodeur BRDF. Leur méthode peut produire du contenu 3D de haute fidélité, dépassant les pipelines de texte vers 3D de pointe précédents, comme illustré dans la figure 1.

De manière plus cruciale, une estimation précise des matériaux d’objet permet des activités telles que la modification de scène, l’édition de matériaux et le relighting qui étaient auparavant difficiles à réaliser. Plusieurs applications du monde réel notent que ces tâches en aval sont essentielles, ouvrant la voie à un paradigme plus pratique de génération de contenu 3D. De plus, leur algorithme peut inférer des informations tactiles et sonores à partir des matériaux acquis, qui constituent ensemble la trinité du matériau pour les objets virtuels, en utilisant des ensembles de données multimodaux comme ObjectFolder.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!