Modelos de Linguagem de Grande Escala Pensam Muito Rápido Para Explorar de Forma Eficaz

Large Language Models Think Too Fast To Explore Effectively

January 29, 2025

Autores: Lan Pan, Hanbo Xie, Robert C. Wilson

cs.AI

Resumo

Grandes Modelos de Linguagem surgiram com muitas capacidades intelectuais. Embora numerosas referências avaliem sua inteligência, pouca atenção tem sido dada à capacidade de explorar, uma capacidade essencial para descobrir novas informações e se adaptar a ambientes novos em sistemas naturais e artificiais. A extensão em que os Grandes Modelos de Linguagem podem explorar de forma eficaz, especialmente em tarefas de natureza aberta, permanece incerta. Este estudo investiga se os Grandes Modelos de Linguagem podem superar os humanos na exploração durante uma tarefa de natureza aberta, utilizando Little Alchemy 2 como paradigma, onde agentes combinam elementos para descobrir novos. Os resultados mostram que a maioria dos Grandes Modelos de Linguagem tem desempenho inferior ao dos humanos, exceto pelo modelo o1, sendo que esses modelos tradicionais de Grande Modelo de Linguagem dependem principalmente de estratégias impulsionadas pela incerteza, ao contrário dos humanos que equilibram incerteza e capacitação. A análise representacional dos modelos com Autoencoders Esparsos revelou que a incerteza e as escolhas são representadas em blocos transformadores mais iniciais, enquanto os valores de capacitação são processados posteriormente, fazendo com que os Grandes Modelos de Linguagem pensem muito rapidamente e tomem decisões prematuras, prejudicando a exploração eficaz. Essas descobertas lançam luz sobre as limitações da exploração dos Grandes Modelos de Linguagem e sugerem direções para melhorar sua adaptabilidade.

English

Large Language Models have emerged many intellectual capacities. While numerous benchmarks assess their intelligence, limited attention has been given to their ability to explore, an essential capacity for discovering new information and adapting to novel environments in both natural and artificial systems. The extent to which LLMs can effectively explore, particularly in open-ended tasks, remains unclear. This study investigates whether LLMs can surpass humans in exploration during an open-ended task, using Little Alchemy 2 as a paradigm, where agents combine elements to discover new ones. Results show most LLMs underperform compared to humans, except for the o1 model, with those traditional LLMs relying primarily on uncertainty driven strategies, unlike humans who balance uncertainty and empowerment. Representational analysis of the models with Sparse Autoencoders revealed that uncertainty and choices are represented at earlier transformer blocks, while empowerment values are processed later, causing LLMs to think too fast and make premature decisions, hindering effective exploration. These findings shed light on the limitations of LLM exploration and suggest directions for improving their adaptability.