Les grands modèles de langage pensent trop rapidement pour explorer efficacement.

Large Language Models Think Too Fast To Explore Effectively

January 29, 2025

Auteurs: Lan Pan, Hanbo Xie, Robert C. Wilson

cs.AI

Résumé

Les grands modèles de langage ont développé de nombreuses capacités intellectuelles. Alors que de nombreux benchmarks évaluent leur intelligence, peu d'attention a été accordée à leur capacité d'exploration, une capacité essentielle pour découvrir de nouvelles informations et s'adapter à des environnements nouveaux dans les systèmes naturels et artificiels. Il reste incertain dans quelle mesure les GML peuvent explorer efficacement, en particulier dans des tâches ouvertes. Cette étude examine si les GML peuvent surpasser les humains en matière d'exploration lors d'une tâche ouverte, en utilisant Little Alchemy 2 comme paradigme, où les agents combinent des éléments pour en découvrir de nouveaux. Les résultats montrent que la plupart des GML sont moins performants que les humains, à l'exception du modèle o1, les GML traditionnels se reposant principalement sur des stratégies basées sur l'incertitude, contrairement aux humains qui équilibrent l'incertitude et l'autonomisation. L'analyse de la représentation des modèles avec des Autoencodeurs Épars a révélé que l'incertitude et les choix sont représentés dans les premiers blocs transformateurs, tandis que les valeurs d'autonomisation sont traitées plus tard, ce qui amène les GML à penser trop rapidement et à prendre des décisions prématurées, entravant une exploration efficace. Ces résultats mettent en lumière les limites de l'exploration des GML et suggèrent des pistes pour améliorer leur adaptabilité.

English

Large Language Models have emerged many intellectual capacities. While numerous benchmarks assess their intelligence, limited attention has been given to their ability to explore, an essential capacity for discovering new information and adapting to novel environments in both natural and artificial systems. The extent to which LLMs can effectively explore, particularly in open-ended tasks, remains unclear. This study investigates whether LLMs can surpass humans in exploration during an open-ended task, using Little Alchemy 2 as a paradigm, where agents combine elements to discover new ones. Results show most LLMs underperform compared to humans, except for the o1 model, with those traditional LLMs relying primarily on uncertainty driven strategies, unlike humans who balance uncertainty and empowerment. Representational analysis of the models with Sparse Autoencoders revealed that uncertainty and choices are represented at earlier transformer blocks, while empowerment values are processed later, causing LLMs to think too fast and make premature decisions, hindering effective exploration. These findings shed light on the limitations of LLM exploration and suggest directions for improving their adaptability.