大規模言語モデルは、効果的に探索するには速すぎると考えられています。

Large Language Models Think Too Fast To Explore Effectively

January 29, 2025

著者: Lan Pan, Hanbo Xie, Robert C. Wilson

cs.AI

要旨

大規模言語モデルは多くの知的能力を示しています。多くのベンチマークが彼らの知能を評価していますが、探索能力にはあまり注意が払われていません。探索能力は新しい情報を発見し、自然および人工システムの新しい環境に適応するための重要な能力です。LLMが特にオープンエンドのタスクにおいて効果的に探索できる程度は明確ではありません。本研究は、Little Alchemy 2をパラダイムとして使用し、オープンエンドのタスク中においてLLMが探索において人間を超えることができるかどうかを調査しています。結果は、o1モデルを除いて、ほとんどのLLMが人間よりも性能が低いことを示しており、従来のLLMは主に不確実性駆動の戦略に依存している一方、人間は不確実性とエンパワーメントをバランスよく考慮しています。スパースオートエンコーダーを用いたモデルの表現分析によると、不確実性と選択肢はより早い段階のトランスフォーマーブロックで表現されており、一方でエンパワーメント値は後で処理されており、LLMは考えすぎて早まった決定を下すため、効果的な探索が妨げられています。これらの知見は、LLMの探索能力の制限を明らかにし、それらの適応性を向上させる方向性を示唆しています。

English

Large Language Models have emerged many intellectual capacities. While numerous benchmarks assess their intelligence, limited attention has been given to their ability to explore, an essential capacity for discovering new information and adapting to novel environments in both natural and artificial systems. The extent to which LLMs can effectively explore, particularly in open-ended tasks, remains unclear. This study investigates whether LLMs can surpass humans in exploration during an open-ended task, using Little Alchemy 2 as a paradigm, where agents combine elements to discover new ones. Results show most LLMs underperform compared to humans, except for the o1 model, with those traditional LLMs relying primarily on uncertainty driven strategies, unlike humans who balance uncertainty and empowerment. Representational analysis of the models with Sparse Autoencoders revealed that uncertainty and choices are represented at earlier transformer blocks, while empowerment values are processed later, causing LLMs to think too fast and make premature decisions, hindering effective exploration. These findings shed light on the limitations of LLM exploration and suggest directions for improving their adaptability.