Des chercheurs de NTU Singapour proposent PointHPS une plateforme d’IA pour une estimation précise de la posture humaine et de la forme à partir de nuages de points 3D.

Des chercheurs de NTU Singapour proposent PointHPS, une plateforme d'IA pour estimer précisément la posture humaine et la forme à partir de nuages de points 3D.

Avec plusieurs avancées dans le domaine de l’Intelligence Artificielle, l’estimation de la posture et de la forme humaine (HPS) est devenue un domaine de recherche de plus en plus important ces dernières années. Avec plusieurs applications pratiques, notamment la capture de mouvement, l’essayage virtuel et la réalité mixte, la récupération de corps humains en 3D est devenue un défi significatif. L’estimation des poses et de la disposition du corps, ainsi que l’analyse des formes et des propriétés physiques du corps des individus dans l’espace 3D, est une étape de ce processus. Un exemple est l’utilisation de modèles humains paramétriques, comme le modèle SMPL, qui représentent les corps humains avec des caractéristiques de forme et de position.

La prédiction de ces modèles paramétriques à partir de photos en 2D est devenue considérablement plus facile ces dernières années. Cependant, dans certaines circonstances, les images en 2D présentent des inconvénients, tels que l’ambiguïté de profondeur et les problèmes de confidentialité. C’est dans ces situations que les données de nuages de points en 3D sont utiles. L’estimation précise des poses et des formes humaines à partir de nuages de points en 3D est devenue possible grâce à l’avancée des capteurs de profondeur et à l’accessibilité de vastes ensembles de données.

Dans une recherche récente, une équipe de chercheurs a introduit une méthodologie appelée PointHPS pour une estimation précise du HPS 3D à partir de nuages de points acquis dans des environnements réels. PointHPS utilise une conception en cascade dans laquelle les caractéristiques des points sont affinées à chaque itération. Il utilise un processus d’affinement itératif dans lequel les données du nuage de points d’entrée sont soumises à plusieurs techniques de sous-échantillonnage et de sur-échantillonnage à différentes étapes. Ces processus cherchent à extraire des données des indices locaux et globaux.

• Construction d’une matrice de corrélation avec des valeurs de p-valeur en Python
• Les chercheurs du laboratoire XLang NLP proposent Lemur les modèles de langage pré-entraînés ouverts de pointe équilibrant les capacités de texte et de code.
• Adopter la diversité neuronale un bond en avant dans l’efficacité et les performances de l’IA

Deux modules de pointe ont été inclus dans PointHPS pour améliorer la procédure d’extraction des caractéristiques. Le premier est la fusion des caractéristiques en travers des étapes (CFF), qui est un module qui permet la propagation des caractéristiques à plusieurs échelles, permettant un transfert efficace d’informations entre les différentes étapes du réseau. Il aide à la préservation du contexte et à la capture d’informations. Le deuxième est l’amélioration des caractéristiques intermédiaires (IFE), qui se concentre sur la collecte de caractéristiques de manière consciente de la structure du corps humain. Après chaque étape, la qualité des caractéristiques est améliorée, les rendant mieux adaptées à une estimation précise de la posture et de la forme.

L’équipe a effectué des tests sur deux importants référentiels pour fournir une évaluation approfondie dans des conditions variées –

1. Ensemble de données du monde réel: Cet ensemble de données contient une variété de participants et d’actions qui ont été enregistrés dans un laboratoire à l’aide de capteurs commerciaux réels. Il représente un environnement plus difficile et réaliste.

1. Génération d’ensemble de données: Cet ensemble de données a été créé méticuleusement en tenant compte de conditions réelles, telles que des personnes habillées dans des environnements extérieurs animés. Un contrôle sur une variété de paramètres environnementaux a également été fourni.

Des tests approfondis ont révélé que PointHPS surpassait les techniques de pointe sur toutes les mesures d’évaluation grâce à son approche robuste de l’extraction et du traitement des caractéristiques de point. L’efficacité de l’architecture en cascade suggérée, améliorée par les modules CFF et IFE, est également soutenue par des investigations d’ablation. L’équipe a l’intention de mettre à disposition ses modèles pré-entraînés, son code et ses données pour une utilisation dans la recherche supplémentaire sur le HPS à partir de nuages de points. Les futures recherches dans ce domaine devraient être facilitées, ce qui augmentera également la capacité d’estimation précise de la position et de la forme humaine en 3D à partir de données de nuages de points du monde réel.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!