Les chercheurs de KAIST proposent SyncDiffusion un module plug-and-play qui synchronise plusieurs diffusions à l’aide de la descente de gradient à partir d’une perte de similarité perceptive.

Les chercheurs de KAIST proposent SyncDiffusion, un module plug-and-play pour synchroniser plusieurs diffusions en utilisant la descente de gradient à partir d'une perte de similarité perceptive.

Dans un article de recherche récent, une équipe de chercheurs de KAIST a présenté SYNCDIFFUSION, un module révolutionnaire visant à améliorer la génération d’images panoramiques à l’aide de modèles de diffusion pré-entraînés. Les chercheurs ont identifié un problème significatif dans la création d’images panoramiques, principalement lié à la présence de coutures visibles lors de l’assemblage de plusieurs images de taille fixe. Pour résoudre ce problème, ils ont proposé SYNCDIFFUSION comme solution.

La création d’images panoramiques, celles avec des vues larges et immersives, pose des défis aux modèles de génération d’images, car ils sont généralement entraînés à produire des images de taille fixe. Lors de la tentative de génération de panoramas, l’approche naïve consistant à assembler plusieurs images entraîne souvent l’apparition de coutures visibles et de compositions incohérentes. Ce problème a conduit à la nécessité de méthodes innovantes pour fusionner les images de manière transparente et maintenir une cohérence globale.

Deux méthodes courantes pour générer des images panoramiques sont l’extrapolation d’images séquentielles et la diffusion conjointe. La première consiste à générer un panorama final en étendant une image donnée séquentiellement, en fixant la région de chevauchement à chaque étape. Cependant, cette méthode a souvent du mal à produire des panoramas réalistes et tend à introduire des motifs répétitifs, ce qui donne des résultats moins qu’idéaux.

• Pour que le monde puisse voir une organisation à but non lucratif déploie des simulateurs alimentés par GPU pour former les prestataires à la chirurgie de préservation de la vue
• Eureka ! Une percée de la recherche NVIDIA donne une nouvelle tournure à l’apprentissage des robots.
• Accessibilité et inclusion grâce à la technologie

D’autre part, la diffusion conjointe opère le processus de génération inverse simultanément sur plusieurs vues et moyenne les images intermédiaires bruitées dans les régions de chevauchement. Bien que cette approche génère efficacement des montages sans couture, elle pèche en termes de maintien de la cohérence du contenu et du style entre les vues. Par conséquent, elle combine fréquemment des images avec un contenu et des styles différents dans un seul panorama, ce qui donne des résultats incohérents.

Les chercheurs ont introduit SYNCDIFFUSION comme un module qui synchronise plusieurs diffusions en utilisant une descente de gradient basée sur une perte de similarité perceptuelle. L’innovation clé réside dans l’utilisation des images débruitées prédites à chaque étape de débruitage pour calculer le gradient de la perte perceptuelle. Cette approche offre des orientations significatives pour créer des montages cohérents, en veillant à ce que les images se fondent harmonieusement tout en préservant la cohérence du contenu.

Dans une série d’expériences utilisant SYNCDIFFUSION avec le modèle Stable Diffusion 2.0, les chercheurs ont constaté que leur méthode surpassait significativement les techniques précédentes. L’étude utilisateur réalisée a montré une préférence importante pour SYNCDIFFUSION, avec un taux de préférence de 66,35 %, par opposition à 33,65 % pour la méthode précédente. Cette amélioration marquée démontre les avantages pratiques de SYNCDIFFUSION dans la génération d’images panoramiques cohérentes.

SYNCDIFFUSION est un ajout notable au domaine de la génération d’images. Il s’attaque efficacement au défi de la génération d’images panoramiques sans couture et cohérentes, qui a été un problème persistant dans le domaine. En synchronisant plusieurs diffusions et en appliquant une descente de gradient basée sur une perte de similarité perceptuelle, SYNCDIFFUSION améliore la qualité et la cohérence des panoramas générés. Par conséquent, il offre un outil précieux pour un large éventail d’applications impliquant la création d’images panoramiques, et démontre le potentiel d’utilisation de la descente de gradient pour améliorer les processus de génération d’images.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!