Os Grandes Modelos de Linguagem Podem Desbloquear Novas Ideias de Pesquisa Científica?

Can Large Language Models Unlock Novel Scientific Research Ideas?

September 10, 2024

Autores: Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

cs.AI

Resumo

"Uma ideia não é nada mais, nada menos do que uma nova combinação de elementos antigos" (Young, J.W.). A ampla adoção de Modelos de Linguagem de Grande Escala (LLMs) e o ChatGPT publicamente disponível marcaram um ponto de viragem significativo na integração da Inteligência Artificial (IA) na vida cotidiana das pessoas. Este estudo explora a capacidade dos LLMs em gerar ideias de pesquisa inovadoras com base em informações de artigos de pesquisa. Realizamos uma análise minuciosa de 4 LLMs em cinco domínios (por exemplo, Química, Computação, Economia, Medicina e Física). Descobrimos que as ideias de pesquisa futuras geradas pelo Claude-2 e GPT-4 estão mais alinhadas com a perspectiva do autor do que GPT-3.5 e Gemini. Também constatamos que o Claude-2 gera ideias de pesquisa futuras mais diversas do que o GPT-4, GPT-3.5 e Gemini 1.0. Realizamos ainda uma avaliação humana da novidade, relevância e viabilidade das ideias de pesquisa futuras geradas. Esta investigação oferece insights sobre o papel em evolução dos LLMs na geração de ideias, destacando tanto sua capacidade quanto suas limitações. Nosso trabalho contribui para os esforços em curso na avaliação e utilização de modelos de linguagem para a geração de ideias de pesquisa futuras. Disponibilizamos publicamente nossos conjuntos de dados e códigos.

English

"An idea is nothing more nor less than a new combination of old elements" (Young, J.W.). The widespread adoption of Large Language Models (LLMs) and publicly available ChatGPT have marked a significant turning point in the integration of Artificial Intelligence (AI) into people's everyday lives. This study explores the capability of LLMs in generating novel research ideas based on information from research papers. We conduct a thorough examination of 4 LLMs in five domains (e.g., Chemistry, Computer, Economics, Medical, and Physics). We found that the future research ideas generated by Claude-2 and GPT-4 are more aligned with the author's perspective than GPT-3.5 and Gemini. We also found that Claude-2 generates more diverse future research ideas than GPT-4, GPT-3.5, and Gemini 1.0. We further performed a human evaluation of the novelty, relevancy, and feasibility of the generated future research ideas. This investigation offers insights into the evolving role of LLMs in idea generation, highlighting both its capability and limitations. Our work contributes to the ongoing efforts in evaluating and utilizing language models for generating future research ideas. We make our datasets and codes publicly available.