Les grands modèles de langage sont-ils des chimistes surhumains ?

Are large language models superhuman chemists?

April 1, 2024

Auteurs: Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Benedict Emoekabu, Aswanth Krishnan, Mara Wilhelmi, Macjonathan Okereke, Juliane Eberhardt, Amir Mohammad Elahi, Maximilian Greiner, Caroline T. Holick, Tanya Gupta, Mehrdad Asgari, Christina Glaubitz, Lea C. Klepsch, Yannik Köster, Jakob Meyer, Santiago Miret, Tim Hoffmann, Fabian Alexander Kreth, Michael Ringleb, Nicole Roesner, Ulrich S. Schubert, Leanne M. Stafast, Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont suscité un intérêt croissant en raison de leur capacité à traiter le langage humain et à accomplir des tâches pour lesquelles ils n'ont pas été explicitement entraînés. Cela revêt une importance particulière pour les sciences chimiques, qui sont confrontées au problème de jeux de données petits et diversifiés, souvent sous forme textuelle. Les LLMs ont montré un potentiel prometteur pour résoudre ces problèmes et sont de plus en plus utilisés pour prédire les propriétés chimiques, optimiser les réactions, et même concevoir et mener des expériences de manière autonome. Cependant, nous n'avons encore qu'une compréhension systématique très limitée des capacités de raisonnement chimique des LLMs, ce qui serait nécessaire pour améliorer les modèles et atténuer les risques potentiels. Nous présentons ici "ChemBench", un cadre automatisé conçu pour évaluer rigoureusement les connaissances chimiques et les capacités de raisonnement des LLMs de pointe par rapport à l'expertise des chimistes humains. Nous avons rassemblé plus de 7 000 paires de questions-réponses couvrant un large éventail de sous-domaines des sciences chimiques, évalué les principaux LLMs open-source et propriétaires, et constaté que les meilleurs modèles surpassaient en moyenne les meilleurs chimistes humains dans notre étude. Cependant, les modèles rencontrent des difficultés avec certaines tâches de raisonnement chimique qui sont faciles pour les experts humains et fournissent des prédictions excessivement confiantes et trompeuses, par exemple concernant les profils de sécurité des produits chimiques. Ces résultats soulignent la double réalité selon laquelle, bien que les LLMs démontrent une remarquable compétence dans les tâches chimiques, des recherches supplémentaires sont cruciales pour améliorer leur sécurité et leur utilité dans les sciences chimiques. Nos conclusions indiquent également la nécessité d'adapter les programmes d'enseignement de la chimie et mettent en lumière l'importance de continuer à développer des cadres d'évaluation pour améliorer les LLMs de manière sûre et utile.

English

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. This is relevant for the chemical sciences, which face the problem of small and diverse datasets that are frequently in the form of text. LLMs have shown promise in addressing these issues and are increasingly being harnessed to predict chemical properties, optimize reactions, and even design and conduct experiments autonomously. However, we still have only a very limited systematic understanding of the chemical reasoning capabilities of LLMs, which would be required to improve models and mitigate potential harms. Here, we introduce "ChemBench," an automated framework designed to rigorously evaluate the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of human chemists. We curated more than 7,000 question-answer pairs for a wide array of subfields of the chemical sciences, evaluated leading open and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. The models, however, struggle with some chemical reasoning tasks that are easy for human experts and provide overconfident, misleading predictions, such as about chemicals' safety profiles. These findings underscore the dual reality that, although LLMs demonstrate remarkable proficiency in chemical tasks, further research is critical to enhancing their safety and utility in chemical sciences. Our findings also indicate a need for adaptations to chemistry curricula and highlight the importance of continuing to develop evaluation frameworks to improve safe and useful LLMs.