Découvrez DiffusionDet un modèle d’intelligence artificielle (IA) qui utilise la diffusion pour la détection d’objets.

DiffusionDet est un modèle d'IA utilisant la diffusion pour détecter des objets.

La détection d’objet est une technique puissante pour identifier des objets dans des images et des vidéos. Grâce aux avancées de l’apprentissage profond et de la vision par ordinateur, elle a parcouru un long chemin ces dernières années. Elle a le potentiel de révolutionner un large éventail d’industries, du transport et de la sécurité à la santé et à la vente au détail. À mesure que la technologie continue de s’améliorer, nous pouvons nous attendre à voir encore plus de développements passionnants dans le domaine de la détection d’objet.

Un des principaux défis de la détection d’objet est la capacité à localiser avec précision les objets dans une image. Cela implique d’identifier la présence d’un objet et de déterminer sa position et sa taille précises.

La plupart des détecteurs d’objet utilisent une combinaison de techniques de régression et de classification pour identifier les objets dans les images. Cela se fait généralement en examinant des zones spécifiques de l’image, telles que des fenêtres coulissantes ou des propositions de région, et en les utilisant comme “guides” pour aider à identifier les objets. D’autres méthodes, telles que les boîtes d’ancrage ou les points de référence, peuvent également aider à la détection d’objet.

• Utilisation des ordinateurs analogiques en Intelligence Artificielle (IA)
• Des chercheurs de Salesforce AI et de l’Université Columbia présentent DialogStudio une collection unifiée et diverse de 80 ensembles de données de dialogue conservant leurs informations d’origine.
• Des chercheurs en Intelligence Artificielle (IA) de l’Université Cornell proposent un nouveau cadre de réseau neuronal pour résoudre le problème du détourage vidéo.

Bien que ces techniques de détection d’objet soient relativement simples et efficaces, elles reposent sur un ensemble fixe de critères de recherche prédéterminés. Il est souvent nécessaire de définir un ensemble d’objets candidats. Cependant, il peut être fastidieux de définir tous ces critères prédéterminés. Existe-t-il un moyen de simplifier encore plus le processus sans avoir besoin de ces directives de recherche prédéterminées ?

La réponse des chercheurs de Tencent a été de proposer le modèle de diffusion (DiffusionDet) à utiliser dans la détection d’objet.

Les modèles de diffusion ont été au centre de l’attention de la communauté de l’IA ces derniers mois, principalement grâce à la publication publique du modèle de diffusion stable. Pour expliquer simplement, les modèles de diffusion prennent du bruit en entrée et le débruitent progressivement, en suivant certaines règles jusqu’à ce qu’une sortie souhaitable soit obtenue. Dans le contexte de la diffusion stable, l’entrée était une image bruitée obtenue par la consigne de texte, et elle est débruitée lentement jusqu’à ce qu’une image similaire à la consigne de texte donnée soit obtenue.

Alors, comment peut-on utiliser l’approche de diffusion pour la détection d’objet ? Nous ne sommes pas intéressés à générer quelque chose de nouveau ; au contraire, nous voulons connaître les objets dans une image donnée. Comment ont-ils fait ?

Dans DiffusionDet, un nouveau cadre a été conçu pour détecter directement des objets à partir d’un ensemble de boîtes aléatoires. Ces boîtes, qui ne contiennent pas de paramètres apprenables devant être optimisés lors de l’entraînement, doivent avoir leurs positions et leurs tailles progressivement affinées jusqu’à ce qu’elles couvrent avec précision les objets ciblés grâce à l’approche du bruit aux boîtes.

Pensez aux boîtes comme au bruit d’entrée, et la contrainte ici est qu’elles doivent contenir un objet. Ainsi, à la fin, nous voulons obtenir un ensemble de boîtes contenant différents objets. L’étape de débruitage consiste à changer progressivement les tailles et les positions des boîtes. Les heuristiques des objets et les requêtes apprenables ne sont pas nécessaires dans cette approche, ce qui simplifie l’identification des candidats objets et fait avancer le développement du pipeline de détection.

DiffusionDet considère la détection d’objets comme une tâche générative impliquant les positions et les tailles des boîtes englobantes dans une image. Pendant l’entraînement, du bruit contrôlé par un calendrier de variance est ajouté aux boîtes ground truth pour créer des boîtes bruitées, qui sont ensuite utilisées pour découper des caractéristiques à partir de la carte des caractéristiques de sortie de l’encodeur de base. Ces caractéristiques sont ensuite envoyées au décodeur de détection, qui est entraîné à prédire les boîtes ground truth sans bruit. Cela permet à DiffusionDet de prédire les boîtes ground truth à partir de boîtes aléatoires. Au moment de l’inférence, DiffusionDet génère des boîtes englobantes en inversant le processus de diffusion appris et en ajustant une distribution de priori bruitée à la distribution apprise sur les boîtes englobantes.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!