Repousser les limites de la segmentation d’instance en 3D Une approche de monde ouvert avec une amélioration de l’étiquetage pseudo et des scénarios réalistes.

Exploiter les horizons de la segmentation d'instance en 3D - Une approche immersive avec une amélioration de l'étiquetage par pseudo et des scénarios réalistes.

En fournissant une classification et une étiquetage sémantique au niveau des instances d’objets, la segmentation sémantique des instances 3D vise à identifier les objets dans une scène 3D donnée représentée par un nuage de points ou un maillage. De nombreuses applications de vision, y compris les robots, la réalité augmentée et la conduite autonome, dépendent de la capacité à segmenter les objets dans l’espace 3D. Suite aux avancées dans les capteurs utilisés pour collecter les données de profondeur, plusieurs ensembles de données avec des annotations au niveau des instances ont été décrits dans la littérature. De nombreuses stratégies de segmentation d’instances 3D ont été proposées récemment en raison de l’accessibilité des ensembles de données 3D à grande échelle et des avancées dans les techniques d’apprentissage profond.

Un inconvénient important de la dépendance des systèmes de segmentation d’instances 3D aux ensembles de données accessibles au public est l’apprentissage d’un ensemble prédéterminé de labels d’objet (vocabulaire). Cependant, il existe de nombreuses classes d’objets dans le monde réel, et l’inférence peut contenir de nombreuses classes inconnues ou non vues. Les classes inconnues sont ignorées par les techniques actuelles qui apprennent sur un ensemble fixe et sont également surveillées et assignées à l’étiquette d’arrière-plan. Cela rend impossible pour les algorithmes d’identification intelligents de reconnaître des choses non identifiées ou inhabituelles qui ne sont pas des éléments d’arrière-plan. Des études récentes ont examiné des environnements d’apprentissage en monde ouvert pour l’identification d’objets 2D en raison de l’importance de détecter des objets inconnus.

Un modèle est destiné à reconnaître des objets inconnus dans un environnement en monde ouvert. Une fois que de nouvelles classes sont étiquetées, le nouvel ensemble est préféré pour être appris progressivement sans réentraînement. Bien que les approches antérieures aient principalement été recommandées pour l’identification d’objets 2D en monde ouvert, elles n’ont pas encore été étudiées dans le domaine 3D. Comprendre l’apparence des objets en 3D et les séparer de l’arrière-plan et des autres catégories d’objets présente le plus grand défi. La segmentation d’instance 3D dans l’environnement en monde ouvert de la figure 1 offre plus de flexibilité, ce qui permet au modèle de reconnaître des objets non identifiés et de demander à un opérateur des annotations pour ces nouvelles classes afin de les utiliser pour un apprentissage supplémentaire.

• BrainChip dévoile la plateforme Akida de deuxième génération pour les avancées de l’IA embarquée
• Cet article d’IA révèle une nouvelle approche pour comprendre les modèles d’apprentissage profond déballer le ‘où’ et le ‘quoi’ avec la Propagation de Pertinence des Concepts (CRP).
• Expérimentation de l’orchestration à partir de zéro

Figure 1 : Segmentation d’instance 3D en monde ouvert. Le modèle découvre de nouveaux objets lors de chaque phase d’apprentissage itérative et un opérateur humain attribue progressivement des labels à certains d’entre eux et les ajoute à la base de connaissances actuelle pour une formation continue.

Cependant, cette stratégie présente plusieurs inconvénients : Trois facteurs rendent les techniques de pseudo-étiquetage de qualité nécessaires : (i) l’absence d’annotations pour les classes inconnues, (ii) la similitude des caractéristiques prédites des classes connues et inconnues, et (iii) la nécessité d’une méthode de score d’objectness plus fiable pour distinguer les bons et les mauvais masques prédits pour les nuages de points 3D. Dans cette étude, des chercheurs de l’Université d’intelligence artificielle Mohamed Bin Zayed, de l’Université Aalto, de l’Université nationale australienne et de l’Université de Linköping examinent un problème unique appelé segmentation d’instances 3D en milieu intérieur en monde ouvert, qui tente de segmenter des objets de classes inconnues tout en ajoutant progressivement de nouvelles classes. Ils établissent des protocoles pratiques et des divisions pour vérifier la capacité des techniques de segmentation d’instances 3D à reconnaître des objets non identifiés. Comme dans les environnements d’apprentissage incrémentaux, la configuration suggérée ajoute les étiquettes des objets inconnus à la liste des classes reconnues. Ils fournissent un identifiant d’objet inconnu corrigé de manière probabiliste qui améliore la reconnaissance des objets. Ils sont les premiers chercheurs, dans la mesure de leur connaissance, à étudier la segmentation d’instances 3D dans un environnement en monde ouvert.

Leur étude apporte les principales contributions suivantes :

• Ils proposent la première approche de segmentation d’instances 3D en milieu intérieur en monde ouvert avec un mécanisme spécial pour identifier avec précision les objets 3D non identifiés. Ils utilisent une approche d’auto-étiquetage pour distinguer les étiquettes des classes connues et inconnues afin de produire des pseudo-étiquettes lors de l’entraînement. En modifiant la probabilité des classes inconnues en fonction de la distribution des scores d’objectness, ils améliorent également la qualité des pseudo-étiquettes lors de l’inférence.

• Pour une évaluation approfondie de la segmentation d’instances 3D en milieu intérieur en monde ouvert, ils présentent des divisions en monde ouvert soigneusement sélectionnées, avec des cours connus vs inconnus et un apprentissage progressif sur 200 cours. Leurs divisions suggérées utilisent une variété de situations réalistes, y compris la distribution intrinsèque des classes d’objets (basée sur la fréquence), les types de classes distinctes découverts lors de l’exploration des espaces intérieurs (basés sur la région) et la randomisation des classes d’objets dans le monde extérieur. De nombreux tests démontrent la valeur des solutions suggérées pour combler l’écart de performance entre leur technique et l’oracle.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!