Génération d’actifs 2D IA pour le développement de jeux #4

'Génération d'actifs IA 2D pour jeux #4'

Bienvenue dans l’IA pour le développement de jeux ! Dans cette série, nous utiliserons des outils d’IA pour créer un jeu de ferme entièrement fonctionnel en seulement 5 jours. À la fin de cette série, vous aurez appris comment vous pouvez intégrer une variété d’outils d’IA dans votre flux de travail de développement de jeux. Je vais vous montrer comment vous pouvez utiliser des outils d’IA pour :

1. Style artistique
2. Conception de jeu
3. Actifs en 3D
4. Actifs en 2D
5. Histoire

Vous préférez la version vidéo rapide ? Vous pouvez la regarder ici . Sinon, si vous voulez les détails techniques, continuez à lire !

Note : Ce tutoriel s’adresse aux lecteurs qui sont familiers avec le développement Unity et le langage C#. Si vous êtes nouveau dans ces technologies, consultez la série Unity pour débutants avant de continuer.

Jour 4 : Actifs en 2D

Dans la partie 3 de cette série de tutoriels, nous avons discuté de la façon dont la conversion texte-en-3D n’est pas encore tout à fait prête. Cependant, l’histoire est bien différente pour la 2D.

• L’état de la vision par ordinateur chez Hugging Face 🤗
• Une plongée dans les modèles Vision-Language
• Accélérer les transformateurs PyTorch avec Intel Sapphire Rapids – partie 2

Dans cette partie, nous parlerons de la façon dont vous pouvez utiliser l’IA pour générer des actifs en 2D.

Préface

Ce tutoriel décrit un processus collaboratif de génération d’actifs en 2D, où la Diffusion Stable est incorporée en tant qu’outil dans un flux de travail conventionnel en 2D. Ceci est destiné aux lecteurs ayant une certaine connaissance de l’édition d’images et de la création d’actifs en 2D, mais peut également être utile aux débutants et aux experts.

Exigences :

• Votre logiciel d’édition d’images préféré, tel que Photoshop ou GIMP (gratuit).
• Diffusion Stable. Pour des instructions sur la configuration de la Diffusion Stable, consultez la partie 1 .

Image2Image

Les modèles de diffusion tels que la Diffusion Stable fonctionnent en reconstruisant des images à partir du bruit, guidés par du texte. Image2Image utilise le même processus, mais part d’images réelles plutôt que de bruit comme entrée. Cela signifie que les sorties ressembleront, dans une certaine mesure, à l’image d’entrée.

Un paramètre important dans Image2Image est la force de débruitage . Cela contrôle dans quelle mesure le modèle modifie l’entrée. Une force de débruitage de 0 reproduira exactement l’image d’entrée, tandis qu’une force de débruitage de 1 générera une image très différente. Une autre façon de penser à la force de débruitage est la créativité . L’image ci-dessous illustre l’image-vers-image avec une image d’entrée d’un cercle et la consigne “lune”, à différentes forces de débruitage.

Image2Image permet à la Diffusion Stable d’être utilisée comme un outil, plutôt que comme un remplacement du flux de travail artistique conventionnel. Autrement dit, vous pouvez passer vos propres actifs faits à la main à Image2Image, itérer sur le résultat à la main, et ainsi de suite. Prenons un exemple pour le jeu de ferme.

Exemple : Maïs

Dans cette section, je vais vous expliquer comment j’ai généré une icône de maïs pour le jeu de ferme. Comme point de départ, j’ai esquissé une icône de maïs très approximative, destinée à mettre en place la composition de l’image.

Ensuite, j’ai utilisé Image2Image pour générer quelques icônes en utilisant la consigne suivante :

maïs, james gilleard, atey ghailan, concept artists de Pixar, stardew valley, animal crossing

J’ai utilisé une force de débruitage de 0,8, pour encourager le modèle à être plus créatif. Après avoir généré plusieurs fois, j’ai trouvé un résultat qui me plaisait.

L’image n’a pas besoin d’être parfaite, juste dans la direction que vous recherchez, car nous allons continuer à itérer. Dans mon cas, j’ai aimé le style qui a été produit, mais j’ai trouvé que la tige était un peu trop complexe. J’ai donc apporté quelques modifications dans Photoshop.

Remarquez que j’ai grossièrement peint par-dessus les parties que je voulais modifier, permettant à la Diffusion Stable de remplir les détails. J’ai réintroduit mon image modifiée dans Image2Image, cette fois avec une force de débruitage plus faible de 0,6 car je ne voulais pas m’éloigner trop de l’entrée. Cela a donné une icône avec laquelle j’étais presque satisfait.

La base de la tige de maïs était un peu trop picturale pour moi, et il y avait une pousse qui sortait du sommet. J’ai donc peint par-dessus ces éléments dans Photoshop, fait une dernière passe dans la Diffusion Stable et enlevé l’arrière-plan.

Voilà, une icône de maïs prête pour le jeu en moins de 10 minutes. Cependant, vous pourriez passer beaucoup plus de temps pour obtenir un meilleur résultat. Je recommande cette vidéo pour un guide plus détaillé sur la création d’un actif plus complexe.

Exemple : Faucille

Dans de nombreux cas, vous devrez vous battre un peu contre la Diffusion Stable pour obtenir le résultat recherché. Pour moi, c’était certainement le cas pour l’icône de la faucille, qui a nécessité beaucoup d’itérations pour aller dans la direction que je voulais.

Le problème réside probablement dans le fait qu’il y a beaucoup plus d’images en ligne de faucilles en tant qu’armes plutôt qu’en tant qu’outils agricoles. Une solution consiste à l’ingénierie de la requête, ou à manipuler la requête pour essayer de la pousser dans la bonne direction, c’est-à-dire écrire faucille, outil de faucille dans la requête ou arme dans la requête négative. Cependant, ce n’est pas la seule solution.

Dreambooth, l’inversion textuelle et LoRA sont des techniques de personnalisation des modèles de diffusion, les rendant capables de produire des résultats beaucoup plus spécifiques à ce que vous recherchez. Ceux-ci sont hors de la portée de ce tutoriel, mais il est intéressant de les mentionner, car ils deviennent de plus en plus importants dans le domaine de la génération d’actifs 2D.

Des services générateurs tels que layer.ai et scenario.gg sont spécifiquement ciblés vers la génération d’actifs de jeu, en utilisant probablement des techniques telles que Dreambooth et l’inversion textuelle pour permettre aux développeurs de jeux de générer des actifs cohérents en termes de style. Cependant, il reste à voir quelles approches s’imposeront dans la boîte à outils émergente du développement de jeux génératifs.

Si vous souhaitez approfondir ces flux de travail avancés, consultez cet article de blog et l’espace dédié à la formation Dreambooth.

Cliquez ici pour lire la partie 5, où nous utilisons l’IA pour l’Histoire.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!