Transformer la recherche sur les catalyseurs Découvrez CatBERTa, un modèle d’IA basé sur les Transformers conçu pour la prédiction de l’énergie à l’aide de données textuelles.

Découvrez CatBERTa, un modèle d'IA basé sur les Transformers pour la prédiction de l'énergie à partir de données textuelles.

La recherche sur les catalyseurs chimiques est un domaine dynamique où de nouvelles solutions durables sont toujours recherchées. Fondement de l’industrie contemporaine, les catalyseurs accélèrent les réactions chimiques sans être consommés dans le processus, alimentant tout, de la production d’énergie plus verte à la création de médicaments. Cependant, la recherche des meilleurs matériaux catalytiques a été un processus difficile et long qui nécessite des calculs de chimie quantique complexes et des tests expérimentaux approfondis.

Un élément clé de la création de processus chimiques durables est la quête des meilleurs matériaux catalytiques pour des réactions chimiques particulières. Des techniques telles que la théorie fonctionnelle de la densité (DFT) fonctionnent bien mais présentent certaines limites car elles nécessitent de nombreuses ressources pour évaluer une variété de catalyseurs. Il est problématique de dépendre uniquement des calculs DFT car un seul catalyseur en vrac peut avoir de nombreuses orientations de surface et des adsorbats peuvent se fixer à divers endroits sur ces surfaces.

Pour relever ces défis, un groupe de chercheurs a introduit CatBERTa, un modèle basé sur un transformateur conçu pour la prédiction d’énergie utilisant des entrées textuelles. CatBERTa est construit sur un encodeur de transformateur pré-entraîné, un type de modèle d’apprentissage profond qui a montré des performances exceptionnelles dans des tâches de traitement du langage naturel. Sa caractéristique unique est qu’il peut traiter des données textuelles compréhensibles par les humains et ajouter des caractéristiques cibles pour la prédiction de l’énergie d’adsorption. Cela permet aux chercheurs de fournir des données sous une forme simple à comprendre, améliorant ainsi l’utilisabilité et l’interprétabilité des prédictions du modèle.

Le modèle a tendance à se concentrer sur certains tokens dans le texte d’entrée, ce qui est l’une des principales conclusions tirées de l’étude des notes d’attention de CatBERTa. Ces indicateurs concernent les adsorbats, qui sont les substances qui adhèrent aux surfaces, la structure globale du catalyseur et les interactions entre ces éléments. CatBERTa semble être capable d’identifier et de donner de l’importance aux aspects essentiels du système catalytique qui influencent l’énergie d’adsorption.

Cette étude a également souligné l’importance des atomes d’interaction en tant que termes utiles pour décrire les arrangements d’adsorption. La manière dont les atomes de l’adsorbant interagissent avec les atomes du matériau en vrac est cruciale pour la catalyse. Il est intéressant de noter que des variables telles que la longueur du lien et la composition atomique de ces atomes d’interaction ont peu d’impact sur la précision de la prédiction de l’énergie d’adsorption. Ce résultat suggère que CatBERTa peut donner la priorité à ce qui est le plus important pour la tâche en cours et extraire les informations les plus pertinentes de l’entrée textuelle.

En termes de précision, CatBERTa a montré sa capacité à prédire l’énergie d’adsorption avec une erreur absolue moyenne (MAE) de 0,75 eV. Ce niveau de précision est comparable à celui des réseaux neuronaux graphiques (GNN) largement utilisés pour faire des prédictions de cette nature. CatBERTa présente également l’avantage supplémentaire que, pour des systèmes chimiquement identiques, les énergies estimées par CatBERTa peuvent annuler efficacement les erreurs systématiques jusqu’à 19,3% lorsqu’elles sont soustraites les unes des autres. Cela indique qu’une partie cruciale du criblage et de l’évaluation de la réactivité des catalyseurs, les erreurs de prévision des différences d’énergie, a le potentiel d’être considérablement réduite par CatBERTa.

En conclusion, CatBERTa présente une alternative possible aux GNN conventionnels. Il a montré la possibilité d’améliorer la précision des prédictions de différence d’énergie, ouvrant la voie à des procédures de criblage de catalyseurs plus efficaces et précises.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Les scientifiques développent une manière plus efficace de transmettre des données entre les appareils.

Les chercheurs ont démontré une méthode de transmission de données à faible puissance sur de courtes distances tout e...

AI

Les deux nouvelles entreprises de Meta AI pour l'équité en vision par ordinateur introduction de la licence pour DINOv2 et publication de FACET.

Dans le domaine en constante évolution de la vision par ordinateur, une préoccupation pressante est l’impératif...

AI

Cet article sur l'IA propose une méthode de génération de mémoire récursive pour améliorer la cohérence conversationnelle à long terme dans les grands modèles de langage.

Les chatbots et autres formes de systèmes de communication à domaine ouvert ont suscité un intérêt croissant et de no...

AI

Ce bulletin d'information sur l'IA est tout ce dont vous avez besoin #55

Cette semaine, nous étions ravis de pouvoir enfin tester l'interprète de code d'Open AI, une nouvelle fonctionnalité ...