Compréhension dynamique du langage adaptation aux nouvelles connaissances dans les modèles paramétriques et semi-paramétriques

'Dynamic language understanding adaptation to new knowledge in parametric and semi-parametric models.'

De nombreuses réussites récentes dans les modèles de langage (LM) ont été obtenues dans un “paradigme statique”, où l’accent est mis sur l’amélioration des performances sur les benchmarks qui sont créés sans tenir compte de l’aspect temporel des données. Par exemple, répondre à des questions sur des événements que le modèle pourrait apprendre pendant l’entraînement, ou évaluer sur un texte échantillonné à partir de la même période que les données d’entraînement. Cependant, notre langage et notre connaissance sont dynamiques et en constante évolution. Par conséquent, pour permettre une évaluation plus réaliste des modèles de questions-réponses pour le prochain bond en performance, il est essentiel de s’assurer qu’ils sont flexibles et robustes lorsqu’ils rencontrent des données nouvelles et inconnues.

En 2021, nous avons publié Mind the Gap: Evaluating Temporal Generalization in Neural Language Models et les benchmarks de modélisation de langage dynamique pour WMT et arXiv pour faciliter l’évaluation des modèles de langage prenant en compte les dynamiques temporelles. Dans cet article, nous avons souligné les problèmes auxquels les plus grands LM de l’état de l’art actuel sont confrontés en matière de généralisation temporelle et nous avons constaté que les jetons intensifs en connaissances subissent une baisse significative des performances.

Aujourd’hui, nous publions deux articles et un nouveau benchmark qui font avancer la recherche sur ce sujet. Dans StreamingQA: Un benchmark pour l’adaptation aux nouvelles connaissances au fil du temps dans les modèles de questions-réponses, nous étudions la tâche en aval des questions-réponses sur notre nouveau benchmark proposé, StreamingQA: nous voulons comprendre comment les modèles de questions-réponses paramétriques et les modèles semi-paramétriques adaptés à la récupération s’adaptent aux nouvelles informations, afin de répondre aux questions sur les nouveaux événements. Dans Internet-augmented language models through few-shot prompting for open-domain question answering, nous explorons la puissance de la combinaison d’un grand modèle de langage stimulé par quelques exemples avec Google Search en tant que composant de récupération. Ce faisant, nous visons à améliorer la factualité du modèle, tout en nous assurant qu’il a accès à des informations à jour pour répondre à un ensemble diversifié de questions.

StreamingQA: Un benchmark pour l’adaptation aux nouvelles connaissances au fil du temps dans les modèles de questions-réponses

La connaissance et la compréhension du langage des modèles évalués par des questions-réponses (QA) ont été couramment étudiées sur des instantanés statiques de connaissances, comme Wikipedia. Pour étudier comment les modèles de QA semi-paramétriques et leurs LM paramétriques sous-jacents s’adaptent aux connaissances en évolution, nous avons construit le nouveau benchmark à grande échelle, StreamingQA, avec des questions écrites par des humains et générées automatiquement posées à une date donnée, pour être répondues à partir de 14 années d’articles de presse horodatés (voir Figure 2). Nous montrons que les modèles paramétriques peuvent être mis à jour sans reformation complète, tout en évitant l’oubli catastrophique. Pour les modèles semi-paramétriques, l’ajout de nouveaux articles dans l’espace de recherche permet une adaptation rapide, cependant, les modèles avec un LM sous-jacent dépassé ont de moins bonnes performances que ceux avec un LM reformé.

• Kyrgyzstan à King’s Cross le boulanger étoile qui cuisine du code
• Évaluation des agents interactifs multimodaux
• Promouvoir la communauté LGBTQ+ dans la recherche en IA

Modèles de langage augmentés par Internet grâce à l’incitation de quelques exemples pour les réponses à des questions en domaine ouvert

Nous cherchons à exploiter les capacités uniques de quelques exemples offertes par les modèles de langage à grande échelle pour surmonter certains de leurs défis, en ce qui concerne l’ancrage à des informations factuelles et à jour. Motivés par les LM semi-paramétriques, qui basent leurs décisions sur des preuves récupérées de manière externe, nous utilisons l’incitation de quelques exemples pour apprendre à conditionner les LM sur les informations renvoyées par le web en utilisant Google Search, une source de connaissances large et constamment mise à jour. Notre approche ne nécessite pas de fine-tuning ou d’apprentissage de paramètres supplémentaires, ce qui la rend applicable à pratiquement n’importe quel modèle de langage. Et en effet, nous constatons que les LM conditionnés sur le web surpassent les modèles fermés de taille similaire, voire plus grande, en matière de réponses à des questions en domaine ouvert.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!