¿Son los modelos de lenguaje grandes químicos sobrehumanos?

Are large language models superhuman chemists?

April 1, 2024

Autores: Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Benedict Emoekabu, Aswanth Krishnan, Mara Wilhelmi, Macjonathan Okereke, Juliane Eberhardt, Amir Mohammad Elahi, Maximilian Greiner, Caroline T. Holick, Tanya Gupta, Mehrdad Asgari, Christina Glaubitz, Lea C. Klepsch, Yannik Köster, Jakob Meyer, Santiago Miret, Tim Hoffmann, Fabian Alexander Kreth, Michael Ringleb, Nicole Roesner, Ulrich S. Schubert, Leanne M. Stafast, Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han despertado un interés generalizado debido a su capacidad para procesar el lenguaje humano y realizar tareas en las que no han sido explícitamente entrenados. Esto es relevante para las ciencias químicas, que enfrentan el problema de conjuntos de datos pequeños y diversos que frecuentemente se presentan en forma de texto. Los LLMs han mostrado potencial para abordar estos problemas y se están utilizando cada vez más para predecir propiedades químicas, optimizar reacciones e incluso diseñar y realizar experimentos de manera autónoma. Sin embargo, todavía tenemos un entendimiento sistemático muy limitado de las capacidades de razonamiento químico de los LLMs, lo cual sería necesario para mejorar los modelos y mitigar posibles daños. Aquí presentamos "ChemBench", un marco automatizado diseñado para evaluar rigurosamente el conocimiento químico y las habilidades de razonamiento de los LLMs más avanzados en comparación con la experiencia de químicos humanos. Curaron más de 7,000 pares de preguntas y respuestas para una amplia gama de subcampos de las ciencias químicas, evaluaron los principales LLMs de código abierto y cerrado, y encontraron que los mejores modelos superaron en promedio a los mejores químicos humanos en nuestro estudio. Sin embargo, los modelos tienen dificultades con algunas tareas de razonamiento químico que son sencillas para los expertos humanos y proporcionan predicciones excesivamente confiadas y engañosas, como sobre los perfiles de seguridad de los productos químicos. Estos hallazgos subrayan la doble realidad de que, aunque los LLMs demuestran una notable competencia en tareas químicas, es crucial realizar más investigaciones para mejorar su seguridad y utilidad en las ciencias químicas. Nuestros resultados también indican la necesidad de adaptaciones en los planes de estudio de química y resaltan la importancia de seguir desarrollando marcos de evaluación para mejorar la seguridad y utilidad de los LLMs.

English

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. This is relevant for the chemical sciences, which face the problem of small and diverse datasets that are frequently in the form of text. LLMs have shown promise in addressing these issues and are increasingly being harnessed to predict chemical properties, optimize reactions, and even design and conduct experiments autonomously. However, we still have only a very limited systematic understanding of the chemical reasoning capabilities of LLMs, which would be required to improve models and mitigate potential harms. Here, we introduce "ChemBench," an automated framework designed to rigorously evaluate the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of human chemists. We curated more than 7,000 question-answer pairs for a wide array of subfields of the chemical sciences, evaluated leading open and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. The models, however, struggle with some chemical reasoning tasks that are easy for human experts and provide overconfident, misleading predictions, such as about chemicals' safety profiles. These findings underscore the dual reality that, although LLMs demonstrate remarkable proficiency in chemical tasks, further research is critical to enhancing their safety and utility in chemical sciences. Our findings also indicate a need for adaptations to chemistry curricula and highlight the importance of continuing to develop evaluation frameworks to improve safe and useful LLMs.