Comment les modèles de fondation sont-ils utilisés dans les jeux vidéo ?

Découvrez comment les modèles de fondation sont utilisés dans les jeux vidéo

Les technologies d’IA ont un impact massif dans divers secteurs, y compris les médias et le divertissement, l’automobile, le service client, et plus encore. Pour les développeurs de jeux, ces avancées ouvrent la voie à la création d’expériences de jeu plus réalistes et immersives.

De la création de personnages réalistes exprimant des émotions à la transformation de simples textes en images captivantes, les modèles fondamentaux deviennent indispensables pour accélérer le travail des développeurs tout en réduisant les coûts globaux. Ces modèles d’IA puissants ont ouvert un monde de possibilités, permettant aux designers et aux développeurs de jeux de créer des expériences de jeu de meilleure qualité.

Qu’est-ce que les modèles fondamentaux ?

Un modèle fondamental est un réseau neuronal entraîné sur une énorme quantité de données, puis adapté pour être utilisé dans une grande variété de tâches. Ils sont capables de réaliser toute une gamme de tâches générales, telles que la génération de texte, d’images et de sons. Au cours de l’année écoulée, la popularité et l’utilisation des modèles fondamentaux ont rapidement augmenté, avec maintenant des centaines de modèles disponibles.

Par exemple, GPT-4 est un modèle multimodal développé par OpenAI, capable de générer un texte semblable à celui d’un humain en se basant sur le contexte et les conversations passées. Un autre modèle, DALL-E 3, peut créer des images et des œuvres d’art réalistes à partir d’une description écrite en langage naturel.

• ‘Vaisseau spatial pour l’esprit’ l’Université de Floride ouvre Malachowsky Hall, un épicentre pour l’IA et la science des données
• Fatigué des codes QR ? Construisez votre propre marqueur fiduciaire
• Ingénierie moderne des données

Des modèles fondamentaux puissants comme NVIDIA NeMo et le modèle Edify dans NVIDIA Picasso facilitent l’intégration de l’IA dans les flux de travail des entreprises et des développeurs. Par exemple, en utilisant le framework NVIDIA NeMo, les organisations peuvent rapidement entraîner, personnaliser et déployer des modèles d’IA génératifs à grande échelle. Et en utilisant NVIDIA Picasso, les équipes peuvent affiner les modèles pré-entraînés Edify avec leurs propres données d’entreprise pour créer des produits et services personnalisés pour les images, vidéos, actifs 3D, matériaux de texture et environnements HDRi génératifs.

Comment sont construits les modèles fondamentaux ?

Les modèles fondamentaux peuvent servir de base pour des systèmes d’IA capables de réaliser plusieurs tâches. Les organisations peuvent facilement et rapidement utiliser une grande quantité de données non étiquetées pour créer leurs propres modèles fondamentaux.

L’ensemble de données doit être aussi vaste et diversifié que possible, car un manque de données ou des données de mauvaise qualité peuvent entraîner des inexactitudes, parfois appelées hallucinations, ou faire disparaître des détails fins dans les sorties générées.

Ensuite, l’ensemble de données doit être préparé. Cela implique de nettoyer les données, de supprimer les erreurs et de les formater de manière à ce que le modèle puisse les comprendre. Le biais est un problème omniprésent lors de la préparation d’un ensemble de données, il est donc important de mesurer, réduire et résoudre ces incohérences et inexactitudes.

L’entraînement d’un modèle fondamental peut être long, en particulier compte tenu de la taille du modèle et de la quantité de données requises. Matériel comme les GPU NVIDIA A100 ou H100 Tensor Core, ainsi que les systèmes de données hautes performances comme le NVIDIA DGX SuperPOD, peuvent accélérer l’entraînement. Par exemple, ChatGPT-3 a été entraîné sur plus de 1 000 GPU NVIDIA A100 pendant environ 34 jours.

Après l’entraînement, le modèle fondamental est évalué en termes de qualité, de diversité et de vitesse. Il existe plusieurs méthodes pour évaluer les performances, par exemple :

• Des outils et des frameworks qui mesurent la capacité du modèle à prédire un échantillon de texte
• Des mesures qui comparent les sorties générées avec une ou plusieurs références et mesurent les similarités entre elles
• Des évaluateurs humains qui évaluent la qualité de la sortie générée selon divers critères

Une fois que le modèle a passé les tests et les évaluations pertinents, il peut ensuite être déployé pour la production.

Explorer les modèles fondamentaux dans les jeux

Les modèles fondamentaux pré-entraînés peuvent être utilisés par les middleware, les outils et les développeurs de jeux pendant la production et en temps réel. Pour entraîner un modèle de base, des ressources et du temps sont nécessaires, ainsi qu’un certain niveau d’expertise. Actuellement, de nombreux développeurs de l’industrie du jeu explorent des modèles prêts à l’emploi, mais ont besoin de solutions personnalisées adaptées à leurs cas d’utilisation spécifiques. Ils ont besoin de modèles qui sont entraînés sur des données commercialement sûres et optimisés pour des performances en temps réel, sans coûts exorbitants de déploiement. La difficulté de répondre à ces exigences a freiné l’adoption des modèles fondamentaux.

Cependant, l’innovation dans l’espace de l’IA générative est rapide, et une fois les principaux obstacles surmontés, les développeurs de toutes tailles – des start-ups aux studios AAA – utiliseront des modèles de base pour gagner de nouvelles efficacités dans le développement de jeux et accélérer la création de contenu. De plus, ces modèles peuvent aider à créer des expériences de gameplay totalement nouvelles.

Les principaux cas d’utilisation de l’industrie sont centrés autour des agents intelligents et de l’animation alimentée par l’IA et la création d’actifs. Par exemple, de nombreux créateurs explorent aujourd’hui des modèles pour créer des personnages non jouables intelligents, ou PNJ.

Des modèles LLM personnalisés ajustés avec le jargon et la lore de jeux spécifiques peuvent générer du texte de manière semblable à celle d’un humain, comprendre le contexte et répondre de manière cohérente aux stimuli. Ils sont conçus pour apprendre les motifs et les structures linguistiques et comprendre les changements d’état du jeu – évoluant et progressant aux côtés du joueur dans le jeu.

À mesure que les PNJ deviendront de plus en plus dynamiques, des animations et des sons en temps réel synchronisés avec leurs réponses seront nécessaires. Les développeurs utilisent NVIDIA Riva pour créer des voix de personnage expressives en utilisant l’IA de parole et de traduction. Et les concepteurs utilisent NVIDIA Audio2Face pour des animations faciales alimentées par l’IA.

Les modèles de base sont également utilisés pour la génération d’actifs et d’animations. La création d’actifs pendant les phases de pré-production et de production du développement de jeux peut être longue, fastidieuse et coûteuse.

Avec des modèles de diffusion de pointe, les développeurs peuvent itérer plus rapidement, libérant du temps pour se concentrer sur les aspects les plus importants du pipeline de contenu, tels que le développement d’actifs de meilleure qualité et l’itération. La possibilité d’ajuster ces modèles à partir du propre référentiel de données d’un studio garantit que les sorties générées sont similaires aux styles artistiques et aux designs de leurs jeux précédents.

Les modèles de base sont facilement accessibles, et l’industrie du jeu n’en est qu’au début de la compréhension de leurs pleines capacités. Diverses solutions ont été créées pour des expériences en temps réel, mais les cas d’utilisation sont limités. Heureusement, les développeurs peuvent facilement accéder à des modèles et microservices via des APIs cloud aujourd’hui et explorer comment l’IA peut influencer leurs jeux et augmenter leurs solutions auprès de plus de clients et d’appareils que jamais auparavant.

L’avenir des modèles de base dans le jeu

Les modèles de base sont prêts à aider les développeurs à réaliser l’avenir des jeux. Les modèles de diffusion et les grands modèles de langage deviennent beaucoup plus légers alors que les développeurs cherchent à les exécuter nativement sur une gamme de profils de puissance matérielle, notamment les PC, les consoles et les appareils mobiles.

La précision et la qualité de ces modèles ne cessent de s’améliorer alors que les développeurs cherchent à générer des actifs de haute qualité qui nécessitent peu ou pas de retouche avant d’être intégrés à une expérience de jeu AAA.

Les modèles de base seront également utilisés dans des domaines qui ont été difficiles à surmonter avec la technologie traditionnelle. Par exemple, les agents autonomes peuvent aider à analyser et à détecter l’espace mondial lors du développement de jeux, ce qui accélérera les processus d’assurance qualité.

L’essor des modèles de base multimodaux, qui peuvent ingérer simultanément un mélange de texte, d’image, de son et d’autres entrées, améliorera encore les interactions des joueurs avec les PNJ intelligents et d’autres systèmes de jeu. De plus, les développeurs peuvent utiliser des types d’entrée supplémentaires pour améliorer la créativité et la qualité des actifs générés pendant la production.

Les modèles multimodaux montrent également une grande promesse dans l’amélioration de l’animation des personnages en temps réel, l’un des processus les plus longs et les plus coûteux du développement de jeux. Ils pourraient permettre de rendre la locomotion des personnages identique à celle des acteurs réels, d’infuser du style et de la sensation à partir d’une variété d’entrées, et de faciliter le processus de rigging.

En savoir plus sur les modèles de base dans le jeu

De l’amélioration du dialogue et de la génération de contenu 3D à la création de gameplay interactif, les modèles de base ont ouvert de nouvelles opportunités aux développeurs pour façonner l’avenir des expériences de jeu.

En savoir plus sur les modèles de base et les autres technologies alimentant les flux de travail de développement de jeu.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!