Sind große Sprachmodelle übermenschliche Chemiker?

Are large language models superhuman chemists?

April 1, 2024

Autoren: Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Benedict Emoekabu, Aswanth Krishnan, Mara Wilhelmi, Macjonathan Okereke, Juliane Eberhardt, Amir Mohammad Elahi, Maximilian Greiner, Caroline T. Holick, Tanya Gupta, Mehrdad Asgari, Christina Glaubitz, Lea C. Klepsch, Yannik Köster, Jakob Meyer, Santiago Miret, Tim Hoffmann, Fabian Alexander Kreth, Michael Ringleb, Nicole Roesner, Ulrich S. Schubert, Leanne M. Stafast, Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben aufgrund ihrer Fähigkeit, menschliche Sprache zu verarbeiten und Aufgaben auszuführen, für die sie nicht explizit trainiert wurden, weitreichendes Interesse geweckt. Dies ist für die chemischen Wissenschaften relevant, die mit dem Problem kleiner und vielfältiger Datensätze konfrontiert sind, die häufig in Form von Text vorliegen. LLMs haben vielversprechende Ergebnisse bei der Bewältigung dieser Probleme gezeigt und werden zunehmend eingesetzt, um chemische Eigenschaften vorherzusagen, Reaktionen zu optimieren und sogar Experimente autonom zu entwerfen und durchzuführen. Allerdings haben wir immer noch nur ein sehr begrenztes systematisches Verständnis der chemischen Denkfähigkeiten von LLMs, das erforderlich wäre, um Modelle zu verbessern und potenzielle Schäden zu minimieren. Hier stellen wir "ChemBench" vor, ein automatisiertes Framework, das entwickelt wurde, um das chemische Wissen und die Denkfähigkeiten von modernsten LLMs im Vergleich zur Expertise menschlicher Chemiker rigoros zu bewerten. Wir haben mehr als 7.000 Frage-Antwort-Paare für eine Vielzahl von Teilgebieten der chemischen Wissenschaften zusammengestellt, führende Open-Source- und Closed-Source-LLMs bewertet und festgestellt, dass die besten Modelle in unserer Studie im Durchschnitt die besten menschlichen Chemiker übertroffen haben. Die Modelle haben jedoch Schwierigkeiten mit einigen chemischen Denkaufgaben, die für menschliche Experten einfach sind, und liefern übermütige, irreführende Vorhersagen, beispielsweise zu Sicherheitsprofilen von Chemikalien. Diese Ergebnisse verdeutlichen die doppelte Realität, dass LLMs zwar bemerkenswerte Fähigkeiten bei chemischen Aufgaben zeigen, jedoch weitere Forschung entscheidend ist, um ihre Sicherheit und Nützlichkeit in den chemischen Wissenschaften zu verbessern. Unsere Ergebnisse deuten auch auf die Notwendigkeit von Anpassungen an Chemielehrplänen hin und betonen die Bedeutung der kontinuierlichen Entwicklung von Bewertungsrahmen, um sichere und nützliche LLMs zu verbessern.

English

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. This is relevant for the chemical sciences, which face the problem of small and diverse datasets that are frequently in the form of text. LLMs have shown promise in addressing these issues and are increasingly being harnessed to predict chemical properties, optimize reactions, and even design and conduct experiments autonomously. However, we still have only a very limited systematic understanding of the chemical reasoning capabilities of LLMs, which would be required to improve models and mitigate potential harms. Here, we introduce "ChemBench," an automated framework designed to rigorously evaluate the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of human chemists. We curated more than 7,000 question-answer pairs for a wide array of subfields of the chemical sciences, evaluated leading open and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. The models, however, struggle with some chemical reasoning tasks that are easy for human experts and provide overconfident, misleading predictions, such as about chemicals' safety profiles. These findings underscore the dual reality that, although LLMs demonstrate remarkable proficiency in chemical tasks, further research is critical to enhancing their safety and utility in chemical sciences. Our findings also indicate a need for adaptations to chemistry curricula and highlight the importance of continuing to develop evaluation frameworks to improve safe and useful LLMs.