Découvrez SwimXYZ un ensemble de données synthétiques de mouvements de natation et de vidéos contenant 3,4 millions de images annotées avec les coordonnées exactes des articulations 2D et 3D.

Découvrez SwimXYZ un ensemble de données synthétiques de mouvements de natation et de vidéos comprenant 3,4 millions d'images annotées avec les coordonnées exactes des articulations 2D et 3D.

La capture de mouvement humain s’est imposée comme un outil essentiel dans diverses industries, notamment le sport, la médecine et l’animation de personnages pour le secteur du divertissement. La capture de mouvement est utilisée dans le sport à plusieurs fins, notamment la prévention des blessures, l’analyse des blessures, les animations de l’industrie du jeu vidéo et même la génération de visualisations informatives pour les diffuseurs de télévision. Les systèmes traditionnels de capture de mouvement donnent des résultats satisfaisants dans la plupart des situations. Cependant, ils sont coûteux et chronophages à mettre en place, à calibrer et à traiter ultérieurement, ce qui les rend difficiles à utiliser à grande échelle. Ces préoccupations sont exacerbées pour les activités aquatiques telles que la natation, qui soulèvent des problèmes uniques tels que les réflexions des marqueurs ou l’installation de caméras sous-marines.

Des développements récents ont permis de capturer le mouvement à partir de photos et de films RGB à l’aide de dispositifs simples et abordables. Ces systèmes en temps réel à caméra unique pourraient ouvrir la voie à l’application généralisée de la capture de mouvement lors d’événements sportifs en utilisant les données vidéo en direct existantes. Ils pourraient être utilisés dans de petites structures pour améliorer les programmes d’entraînement des athlètes amateurs. Cependant, en raison d’un besoin de davantage de données, ils sont confrontés à plusieurs obstacles lors de l’utilisation de la capture de mouvement basée sur la vision par ordinateur pour la natation. Chaque approche d’estimation de la pose et de la forme humaine (HPS), qu’il s’agisse de celle en 2D (articulations en 2D, segmentation du corps) ou en 3D (articulations en 3D, marqueurs virtuels), doit extraire des informations de l’image. Cependant, les algorithmes de vision par ordinateur formés sur des ensembles de données traditionnels ont besoin d’aide pour traiter les données aquatiques, car elles sont très différentes des images d’entraînement.

Les récents progrès de l’estimation du HPS ont montré que les données synthétiques pourraient remplacer ou compléter les images réelles. Ils ont introduit SwimXYZ pour élargir l’application des techniques de capture de mouvement basées sur l’image dans la natation. SwimXYZ est un ensemble de données artificielles comprenant des films spécifiques à la natation annotés avec des articulations en 2D et 3D provenant de vraies piscines. Les 3,4 millions de cadres des 11 520 films qui composent SwimXYZ varient en termes de perspective de la caméra, de sujet et d’apparence de l’eau, d’éclairage et d’action. En plus de 240 séquences de mouvement de natation synthétiques au format SMPL, SwimXYZ offre une variété de formes corporelles et de mouvements de natation.

• Les chercheurs de Microsoft proposent DeepSpeed-VisualChat Un bond en avant dans la formation de modèles de langage multi-modaux évolutive
• Créer un pipeline de données par lots avec Athena et MySQL
• L’OMS publie un plan pour prendre en compte la régulation de l’IA dans le domaine de la santé.

Les chercheurs de CentraleSupélec, IETR UMR, Centrale Nantes et de l’Université Technologique de Compiègne ont créé SwimXYZ dans le cadre de cette étude, une importante collection de mouvements de natation artificiels et de films qui sera mise à disposition en ligne lorsque l’article sera accepté. Les essais de SwimXYZ démontrent le potentiel de la capture de mouvement dans la natation, et leur objectif est de contribuer à sa généralisation. Les études futures pourraient utiliser les mouvements au format SMPL pour former des modèles de pose et de mouvement ou des classificateurs de mouvements de natation, en plus des films fournis par SwimXYZ pour former des modèles d’estimation de la pose en 2D et 3D. Les lacunes de SwimXYZ en termes de variété de sujets (sexe, type de corps et apparence du maillot de bain) et de lieux (environnement extérieur, fond de piscine) pourraient être corrigées dans des travaux futurs. D’autres améliorations pourraient inclure d’autres annotations (telles que la segmentation et les cartes de profondeur) ou l’ajout de mouvements de natation supplémentaires, tels que les plongeons et les retournements.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!