Remodeler la mémoire du modèle sans avoir besoin de reformation

Rénover la mémoire du mannequin sans nécessiter de formation

| IA | GRANDS MODÈLES DE LANGUE | APPRENTISSAGE NON CONCLUANT DES MACHINES |

Effacer tout écho de contenu problématique qu’un grand modèle de langue a appris

“Pardonner est de la sagesse, oublier est du génie.” – Joyce Cary

Les grands modèles de langue (LLM) ont fait sensation dans le monde entier. En moins d’un an, ils sont omniprésents et sont désormais utilisés par des millions d’utilisateurs. Ces modèles sont souvent formés avec d’énormes quantités de texte (y compris du matériel problématique et des données sensibles). Comment faire oublier à un modèle ? La même chose qui pourrait stocker l’intégralité des connaissances humaines ?

Apprendre à oublier

Les LLM témoignent à la fois de nos réalisations et des défis à venir – source

Les LLM ont surpris à la fois les utilisateurs et les chercheurs par leur capacité à apprendre à partir d’énormes quantités de texte et à identifier des schémas linguistiques et des nuances culturelles. Bien qu’ils puissent être à la base d’une nouvelle application et d’une révolution scientifique, ils ont un côté sombre.

• Synergie de LLM et GUI, au-delà du Chatbot
• Méta De l’incertitude du metaverse à la réussite de l’IA
• Gouverner le cycle de vie de l’apprentissage automatique à grande échelle, Partie 1 Un cadre pour l’architecture des charges de travail d’apprentissage automatique utilisant Amazon SageMaker

De vastes corpus doivent être utilisés pour former ces schémas. Bien qu’il soit vrai que plus la quantité de données utilisées est grande, meilleures sont les performances d’un LLM, la collecte de ces données est coûteuse. Pour limiter les coûts, on utilise souvent un scrapping indiscriminé des données sur Internet. Ces corpus contiennent donc également des données extrêmement problématiques : des textes protégés par des droits d’auteur, des données toxiques ou malveillantes, un contenu incorrect ou faux, des données personnelles, etc.

Désapprendre aux machines : Le devoir d’oublier

Comment et pourquoi il est important d’effacer les informations des points de données d’un modèle d’IA

towardsdatascience.com

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!