Los modelos de lenguaje grandes piensan demasiado rápido para explorar de manera efectiva.

Large Language Models Think Too Fast To Explore Effectively

January 29, 2025

Autores: Lan Pan, Hanbo Xie, Robert C. Wilson

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño han desarrollado muchas capacidades intelectuales. Aunque numerosas evaluaciones miden su inteligencia, se ha prestado poca atención a su capacidad de exploración, una capacidad esencial para descubrir nueva información y adaptarse a entornos novedosos tanto en sistemas naturales como artificiales. Permanece incierto en qué medida los MLL pueden explorar de manera efectiva, especialmente en tareas de naturaleza abierta. Este estudio investiga si los MLL pueden superar a los humanos en exploración durante una tarea de naturaleza abierta, utilizando Little Alchemy 2 como paradigma, donde los agentes combinan elementos para descubrir nuevos. Los resultados muestran que la mayoría de los MLL tienen un rendimiento inferior al de los humanos, excepto el modelo o1, siendo que esos MLL tradicionales se basan principalmente en estrategias impulsadas por la incertidumbre, a diferencia de los humanos que equilibran la incertidumbre y el empoderamiento. El análisis representacional de los modelos con Autoencoders Dispersos reveló que la incertidumbre y las elecciones se representan en bloques transformadores anteriores, mientras que los valores de empoderamiento se procesan más tarde, lo que hace que los MLL piensen demasiado rápido y tomen decisiones prematuras, obstaculizando una exploración efectiva. Estos hallazgos arrojan luz sobre las limitaciones de la exploración de los MLL y sugieren direcciones para mejorar su adaptabilidad.

English

Large Language Models have emerged many intellectual capacities. While numerous benchmarks assess their intelligence, limited attention has been given to their ability to explore, an essential capacity for discovering new information and adapting to novel environments in both natural and artificial systems. The extent to which LLMs can effectively explore, particularly in open-ended tasks, remains unclear. This study investigates whether LLMs can surpass humans in exploration during an open-ended task, using Little Alchemy 2 as a paradigm, where agents combine elements to discover new ones. Results show most LLMs underperform compared to humans, except for the o1 model, with those traditional LLMs relying primarily on uncertainty driven strategies, unlike humans who balance uncertainty and empowerment. Representational analysis of the models with Sparse Autoencoders revealed that uncertainty and choices are represented at earlier transformer blocks, while empowerment values are processed later, causing LLMs to think too fast and make premature decisions, hindering effective exploration. These findings shed light on the limitations of LLM exploration and suggest directions for improving their adaptability.