Могут ли большие языковые модели быть сверхчеловеческими химиками?

Are large language models superhuman chemists?

April 1, 2024

Авторы: Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Benedict Emoekabu, Aswanth Krishnan, Mara Wilhelmi, Macjonathan Okereke, Juliane Eberhardt, Amir Mohammad Elahi, Maximilian Greiner, Caroline T. Holick, Tanya Gupta, Mehrdad Asgari, Christina Glaubitz, Lea C. Klepsch, Yannik Köster, Jakob Meyer, Santiago Miret, Tim Hoffmann, Fabian Alexander Kreth, Michael Ringleb, Nicole Roesner, Ulrich S. Schubert, Leanne M. Stafast, Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka

cs.AI

Аннотация

Большие языковые модели (LLM) вызывают широкий интерес благодаря своей способности обрабатывать человеческий язык и выполнять задачи, на которых они не были явно обучены. Это актуально для химических наук, которые сталкиваются с проблемой небольших и разнообразных наборов данных, часто представленных в текстовой форме. LLM показали перспективы в решении этих проблем и все чаще используются для прогнозирования химических свойств, оптимизации реакций, а также для автономного проектирования и проведения экспериментов. Однако у нас все еще есть очень ограниченное системное понимание химических способностей рассуждения LLM, которое необходимо для улучшения моделей и смягчения потенциальных вредоносных последствий. Здесь мы представляем "ChemBench" - автоматизированную платформу, разработанную для тщательной оценки химических знаний и способностей рассуждения передовых LLM по сравнению с опытом человеческих химиков. Мы отобрали более 7 000 вопросов-ответов для широкого спектра подобластей химических наук, оценили ведущие открытые и закрытые LLM и обнаружили, что лучшие модели в среднем превосходят лучших человеческих химиков в нашем исследовании. Однако модели испытывают трудности с некоторыми химическими задачами рассуждения, которые легки для человеческих экспертов, и предоставляют чрезмерно уверенные, вводящие в заблуждение прогнозы, например, о профилях безопасности химических веществ. Эти результаты подчеркивают двойную реальность того, что, хотя LLM проявляют замечательную профессиональную компетентность в химических задачах, дальнейшие исследования критически важны для улучшения их безопасности и полезности в химических науках. Наши результаты также указывают на необходимость адаптаций в химических учебных планах и подчеркивают важность продолжения разработки критериев оценки для улучшения безопасных и полезных LLM.

English

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. This is relevant for the chemical sciences, which face the problem of small and diverse datasets that are frequently in the form of text. LLMs have shown promise in addressing these issues and are increasingly being harnessed to predict chemical properties, optimize reactions, and even design and conduct experiments autonomously. However, we still have only a very limited systematic understanding of the chemical reasoning capabilities of LLMs, which would be required to improve models and mitigate potential harms. Here, we introduce "ChemBench," an automated framework designed to rigorously evaluate the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of human chemists. We curated more than 7,000 question-answer pairs for a wide array of subfields of the chemical sciences, evaluated leading open and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. The models, however, struggle with some chemical reasoning tasks that are easy for human experts and provide overconfident, misleading predictions, such as about chemicals' safety profiles. These findings underscore the dual reality that, although LLMs demonstrate remarkable proficiency in chemical tasks, further research is critical to enhancing their safety and utility in chemical sciences. Our findings also indicate a need for adaptations to chemistry curricula and highlight the importance of continuing to develop evaluation frameworks to improve safe and useful LLMs.