Dévoiler les réseaux de flux bayésiens une nouvelle frontière dans la modélisation générative

Réseaux de flux bayésiens une nouvelle frontière de modélisation générative

La modélisation générative relève de l’apprentissage automatique non supervisé, où le modèle apprend à découvrir les motifs présents dans les données d’entrée. En utilisant cette connaissance, le modèle peut générer de nouvelles données par lui-même, qui sont reliées à l’ensemble de données d’entraînement d’origine. Il y a eu de nombreuses avancées dans le domaine de l’IA générative et des réseaux utilisés, à savoir les modèles autorégressifs, les VAE profonds et les modèles de diffusion. Cependant, ces modèles ont tendance à présenter des inconvénients dans le cas de données continues ou discrètes.

Les chercheurs ont introduit un nouveau type de modèle génératif appelé les réseaux de flux bayésiens (BFN). Nous pouvons penser aux BFN avec l’aide d’Alice et de Bob. Bob commence avec une distribution initiale de base. Il utilise ses paramètres dans un réseau neuronal pour obtenir les paramètres d’une nouvelle “distribution de sortie”. Alice ajoute du bruit aux données de manière planifiée pour créer une “distribution d’envoi”. Bob combine la distribution de sortie avec le même bruit pour créer une “distribution de réception”. Il combine des distributions d’envoi hypothétiques pour toutes les valeurs de données possibles, en tenant compte de leurs probabilités selon la distribution de sortie.

Alice envoie un échantillon de sa distribution d’envoi à Bob. Bob met à jour sa distribution initiale en utilisant les règles bayésiennes basées sur cet échantillon. Les mises à jour fonctionnent facilement si la distribution initiale modélise chaque variable de données séparément. Bob répète le processus en plusieurs étapes. Finalement, ses prédictions deviennent suffisamment précises pour qu’Alice envoie les données sans bruit.

• Critique de Copy AI Le meilleur outil d’écriture IA ?
• Valeurs P Comprendre la signification statistique en langage simple
• Adopter l’art de la visualisation narrative des données

Le processus décrit crée à son tour une fonction de perte pour n étapes, qui peut également être étendue à un temps continu en considérant un nombre infini d’étapes. En temps continu, les mises à jour bayésiennes deviennent un flux bayésien d’informations des données au réseau. Un BFN entraîné avec une perte en temps continu peut être exécuté pour un nombre quelconque d’étapes discrètes lors de l’inférence et de l’échantillonnage, avec une amélioration des performances à mesure que le nombre d’étapes augmente.

Pour les données continues, les BFN sont les plus étroitement liés aux modèles de diffusion variationnels, avec une fonction de perte continue très similaire. La principale différence, dans ce cas, est que les entrées du réseau sont considérablement moins bruitées dans les BFN que dans la diffusion variationnelle et les autres modèles de diffusion continue. Cela est dû au fait que, généralement, le processus génératif des BFN commence avec les paramètres d’une priorité fixe, tandis que celui des modèles de diffusion commence avec un bruit pur.

Les chercheurs ont élaboré le cadre des BFN pour qu’il puisse être appliqué aux données continues, discrètes et discrétisées. Des résultats expérimentaux ont été obtenus sur CIFAR-10 (images couleur 8 bits de 32×32), MNIST dynamiquement binarisé (images binarisées de chiffres manuscrits de 28×28) et text8 (séquences de caractères de 256 caractères avec un alphabet de taille 27), et les BFN ont surpassé tous les autres modèles. Cette étude a apporté un nouvel éclairage sur les BFN dans la modélisation générative et a ouvert de nouvelles perspectives dans ce domaine.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!