I grandi modelli linguistici sono chimici sovrumani?

Abstract

I grandi modelli linguistici (LLM) hanno suscitato un interesse diffuso grazie alla loro capacità di elaborare il linguaggio umano e svolgere compiti per i quali non sono stati esplicitamente addestrati. Questo è rilevante per le scienze chimiche, che affrontano il problema di dataset piccoli e diversificati, spesso in forma testuale. Gli LLM hanno dimostrato potenziale nel risolvere queste problematiche e sono sempre più utilizzati per prevedere proprietà chimiche, ottimizzare reazioni e persino progettare e condurre esperimenti in modo autonomo. Tuttavia, abbiamo ancora una comprensione sistematica molto limitata delle capacità di ragionamento chimico degli LLM, che sarebbe necessaria per migliorare i modelli e mitigare potenziali rischi. Qui presentiamo "ChemBench", un framework automatizzato progettato per valutare rigorosamente le conoscenze chimiche e le abilità di ragionamento degli LLM più avanzati rispetto all’esperienza dei chimici umani. Abbiamo curato oltre 7.000 coppie domanda-risposta per una vasta gamma di sottocampi delle scienze chimiche, valutato i principali LLM open-source e proprietari, e scoperto che i migliori modelli hanno superato in media i migliori chimici umani nel nostro studio. Tuttavia, i modelli incontrano difficoltà in alcuni compiti di ragionamento chimico che sono semplici per gli esperti umani e forniscono previsioni eccessivamente sicure e fuorvianti, ad esempio riguardo ai profili di sicurezza delle sostanze chimiche. Questi risultati evidenziano la duplice realtà che, sebbene gli LLM dimostrino una notevole competenza nei compiti chimici, ulteriori ricerche sono cruciali per migliorare la loro sicurezza e utilità nelle scienze chimiche. I nostri risultati indicano anche la necessità di adattamenti ai curricula di chimica e sottolineano l’importanza di continuare a sviluppare framework di valutazione per migliorare gli LLM in modo sicuro e utile.

English

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. This is relevant for the chemical sciences, which face the problem of small and diverse datasets that are frequently in the form of text. LLMs have shown promise in addressing these issues and are increasingly being harnessed to predict chemical properties, optimize reactions, and even design and conduct experiments autonomously. However, we still have only a very limited systematic understanding of the chemical reasoning capabilities of LLMs, which would be required to improve models and mitigate potential harms. Here, we introduce "ChemBench," an automated framework designed to rigorously evaluate the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of human chemists. We curated more than 7,000 question-answer pairs for a wide array of subfields of the chemical sciences, evaluated leading open and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. The models, however, struggle with some chemical reasoning tasks that are easy for human experts and provide overconfident, misleading predictions, such as about chemicals' safety profiles. These findings underscore the dual reality that, although LLMs demonstrate remarkable proficiency in chemical tasks, further research is critical to enhancing their safety and utility in chemical sciences. Our findings also indicate a need for adaptations to chemistry curricula and highlight the importance of continuing to develop evaluation frameworks to improve safe and useful LLMs.

I grandi modelli linguistici sono chimici sovrumani?

Are large language models superhuman chemists?

Abstract

Support