Ошибки исследования и эксплуатации измеримы для языковых моделей-агентов

Exploration and Exploitation Errors Are Measurable for Language Model Agents

April 14, 2026

Авторы: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee

cs.AI

Аннотация

Языковые модели (LM) все чаще применяются для решения сложных открытых задач, требующих принятия решений, — от ИИ-программирования до физического ИИ. Ключевым требованием в таких сценариях является способность как исследовать пространство проблем, так и эффективно использовать приобретенные знания. Однако систематическое различение и количественная оценка исследований и эксплуатации на основе наблюдаемых действий без доступа к внутренней политике агента остается сложной задачей. Для решения этой проблемы мы разработали управляемые среды, вдохновленные практическими сценариями воплощенного ИИ. Каждая среда состоит из частично наблюдаемой двумерной сеточной карты и неизвестной задачи, представленной направленным ациклическим графом (DAG). Генерация карты может быть программно настроена для акцента на сложности исследования или эксплуатации. Для оценки, не зависящей от политики, мы разработали метрику для количественного определения ошибок исследования и эксплуатации на основе действий агента. Мы протестировали ряд передовых LM-агентов и обнаружили, что даже современные модели испытывают трудности с нашей задачей, причем разные модели демонстрируют distinct типы сбоев. Мы также заметили, что модели с рассуждением решают задачу эффективнее, и показали, что как исследование, так и эксплуатацию можно значительно улучшить с помощью минимальной инженерии окружения. Мы публикуем наш код https://github.com/jjj-madison/measurable-explore-exploit{здесь}.

English

Language Model (LM) agents are increasingly used in complex open-ended decision-making tasks, from AI coding to physical AI. A core requirement in these settings is the ability to both explore the problem space and exploit acquired knowledge effectively. However, systematically distinguishing and quantifying exploration and exploitation from observed actions without access to the agent's internal policy remains challenging. To address this, we design controllable environments inspired by practical embodied AI scenarios. Each environment consists of a partially observable 2D grid map and an unknown task Directed Acyclic Graph (DAG). The map generation can be programmatically adjusted to emphasize exploration or exploitation difficulty. To enable policy-agnostic evaluation, we design a metric to quantify exploration and exploitation errors from agent's actions. We evaluate a variety of frontier LM agents and find that even state-of-the-art models struggle on our task, with different models exhibiting distinct failure modes. We further observe that reasoning models solve the task more effectively and show both exploration and exploitation can be significantly improved through minimal harness engineering. We release our code https://github.com/jjj-madison/measurable-explore-exploit{here}.