Génération d’actifs 3D IA pour le développement de jeux #3

Génération d'actifs 3D IA pour jeux #3

Bienvenue dans l’IA pour le développement de jeux ! Dans cette série, nous utiliserons des outils d’IA pour créer un jeu de ferme entièrement fonctionnel en seulement 5 jours. À la fin de cette série, vous aurez appris comment incorporer une variété d’outils d’IA dans votre flux de travail de développement de jeux. Je vais vous montrer comment utiliser des outils d’IA pour :

1. Style artistique
2. Conception de jeu
3. Assets 3D
4. Assets 2D
5. Histoire

Vous préférez la version vidéo rapide ? Vous pouvez la regarder ici . Sinon, si vous voulez les détails techniques, continuez à lire !

Note : Ce tutoriel est destiné aux lecteurs qui sont familiers avec le développement Unity et le langage C#. Si vous êtes nouveau dans ces technologies, consultez la série Unity pour les débutants avant de continuer.

Jour 3 : Assets 3D

Dans la deuxième partie de cette série de tutoriels, nous avons utilisé l’IA pour la conception de jeux. Plus précisément, nous avons utilisé ChatGPT pour brainstormer la conception de notre jeu.

• Optimum+ONNX Runtime – Formation plus facile et plus rapide pour vos modèles Hugging Face
• Qu’est-ce qui rend un agent de dialogue utile ?
• Utilisation de LoRA pour un affinage de diffusion stable et efficace

Dans cette partie, nous parlerons de la façon dont vous pouvez utiliser l’IA pour générer des assets 3D. La réponse courte est : vous ne pouvez pas. C’est parce que la conversion de texte en 3D n’en est pas encore au point où elle peut être pratiquement appliquée au développement de jeux. Cependant, cela change très rapidement. Continuez à lire pour en savoir plus sur l’état actuel de la conversion de texte en 3D, pourquoi elle n’est pas encore utile et l’avenir de la conversion de texte en 3D.

L’état actuel de la conversion de texte en 3D

Comme discuté dans la première partie, les outils de conversion de texte en image tels que Stable Diffusion sont incroyablement utiles dans le flux de travail de développement de jeux. Mais qu’en est-il de la conversion de texte en 3D, ou de la génération de modèles 3D à partir de descriptions textuelles ? Il y a eu de nombreux développements très récents dans ce domaine :

• DreamFusion utilise la diffusion 2D pour générer des assets 3D.
• CLIPMatrix et CLIP-Mesh-SMPLX génèrent directement des maillages texturés.
• CLIP-Forge utilise le langage pour générer des modèles basés sur des voxels.
• CLIP-NeRF utilise du texte et des images pour piloter les NeRFs.
• Point-E et Pulsar+CLIP utilisent le langage pour générer des nuages de points 3D.
• Dream Textures utilise la conversion de texte en image pour texturer automatiquement des scènes dans Blender.

Beaucoup de ces approches, à l’exception de CLIPMatrix et CLIP-Mesh-SMPLX, sont basées sur la synthèse de vues, c’est-à-dire la génération de vues nouvelles d’un sujet, par opposition au rendu 3D conventionnel. C’est l’idée derrière les NeRFs ou Neural Radiance Fields, qui utilisent des réseaux neuronaux pour la synthèse de vues.

Qu’est-ce que tout cela signifie si vous êtes un développeur de jeux ? Actuellement, rien. Cette technologie n’a pas encore atteint le point où elle est utile dans le développement de jeux. Parlons maintenant des raisons.

Pourquoi ce n’est pas encore utile

Note : Cette section est destinée aux lecteurs qui sont familiers avec les techniques de rendu 3D conventionnelles, telles que les maillages, le mappage UV et la photogrammétrie.

Alors que la synthèse de vues est impressionnante, le monde de la 3D fonctionne avec des maillages, qui ne sont pas la même chose que les NeRFs. Toutefois, des travaux sont en cours pour convertir les NeRFs en maillages. En pratique, cela ressemble à de la photogrammétrie, où plusieurs photos d’objets du monde réel sont combinées pour créer des assets 3D.

L’utilisation pratique des assets générés à l’aide du pipeline de conversion de texte en NeRF en maillage est limitée de la même manière que les assets produits à l’aide de la photogrammétrie. Autrement dit, le maillage résultant n’est pas immédiatement prêt pour le jeu et nécessite un travail important et une expertise pour devenir un asset prêt pour le jeu. Dans ce sens, la conversion de NeRF en maillage peut être un outil utile en l’état actuel, mais n’atteint pas encore le potentiel transformateur du texte en 3D.

Depuis NeRF-to-mesh, tout comme la photogrammétrie, est actuellement plus adapté à la création d’éléments de très haute fidélité nécessitant un post-traitement manuel important, il n’a pas vraiment de sens de l’utiliser pour créer un jeu agricole en 5 jours. Dans ce cas, j’ai décidé d’utiliser simplement des cubes de différentes couleurs pour représenter les cultures dans le jeu.

Cependant, les choses évoluent rapidement dans ce domaine et il pourrait y avoir une solution viable dans un avenir proche. Ensuite, je parlerai de certaines des directions que la conversion de texte en 3D pourrait prendre.

L’avenir du texte en 3D

Alors que le texte en 3D a parcouru un long chemin récemment, il existe toujours un écart significatif entre où nous en sommes actuellement et ce qui pourrait avoir un impact similaire à la conversion de texte en image. Je ne peux que spéculer sur la façon dont cet écart sera comblé. Deux directions possibles sont les plus évidentes :

1. Améliorations de NeRF-to-mesh et de la génération de maillages. Comme nous l’avons vu, les modèles de génération actuels sont similaires à la photogrammétrie en ce sens qu’ils nécessitent beaucoup de travail pour produire des éléments prêts pour le jeu. Bien que cela soit utile dans certains scénarios, comme la création d’éléments de haute fidélité réalistes, cela reste plus chronophage que la création d’éléments basse résolution à partir de zéro, surtout si vous êtes comme moi et que vous utilisez un style artistique ultra basse résolution.
2. Nouvelles techniques de rendu permettant de rendre les NeRF directement dans le moteur. Bien qu’il n’y ait eu aucune annonce officielle, on peut supposer que NVIDIA et Google, entre autres, travaillent sur ce sujet.

Bien sûr, seul le temps nous le dira. Si vous souhaitez suivre les avancées au fur et à mesure de leur publication, n’hésitez pas à me suivre sur Twitter. Si j’ai manqué de nouveaux développements, n’hésitez pas à me contacter !

Cliquez ici pour lire la partie 4, où nous utilisons l’IA pour les éléments 2D.

Attribution

Je remercie Poli @multimodalart pour avoir fourni des informations sur les derniers outils open source de conversion de texte en 3D.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!