La Explotación Es Todo Lo Que Necesitas... para la Exploración

Exploitation Is All You Need... for Exploration

August 2, 2025

Autores: Micah Rentschler, Jesse Roberts

cs.AI

Resumen

Garantizar una exploración suficiente es un desafío central al entrenar agentes de meta-aprendizaje por refuerzo (meta-RL) para resolver entornos novedosos. Las soluciones convencionales al dilema de exploración-explotación inyectan incentivos explícitos, como la aleatorización, bonificaciones por incertidumbre o recompensas intrínsecas, para fomentar la exploración. En este trabajo, planteamos la hipótesis de que un agente entrenado únicamente para maximizar un objetivo codicioso (solo explotación) puede, no obstante, exhibir un comportamiento exploratorio emergente, siempre que se cumplan tres condiciones: (1) Estructura Ambiental Recurrente, donde el entorno presenta regularidades repetibles que permiten que la experiencia pasada informe decisiones futuras; (2) Memoria del Agente, que permite al agente retener y utilizar datos históricos de interacción; y (3) Asignación de Crédito a Largo Plazo, donde el aprendizaje propaga las recompensas en un marco temporal suficiente para que los beneficios retrasados de la exploración informen las decisiones actuales. A través de experimentos en bandidos multi-brazo estocásticos y mundos de cuadrícula temporalmente extendidos, observamos que, cuando tanto la estructura como la memoria están presentes, una política entrenada con un objetivo estrictamente codicioso exhibe un comportamiento exploratorio de búsqueda de información. Además, demostramos, mediante ablaciones controladas, que la exploración emergente desaparece si falta la estructura ambiental o la memoria del agente (Condiciones 1 y 2). Sorprendentemente, eliminar la asignación de crédito a largo plazo (Condición 3) no siempre impide la exploración emergente, un resultado que atribuimos al efecto pseudo-Thompson Sampling. Estos hallazgos sugieren que, bajo los prerrequisitos adecuados, la exploración y la explotación no necesitan tratarse como objetivos ortogonales, sino que pueden surgir de un proceso unificado de maximización de recompensas.

English

Ensuring sufficient exploration is a central challenge when training meta-reinforcement learning (meta-RL) agents to solve novel environments. Conventional solutions to the exploration-exploitation dilemma inject explicit incentives such as randomization, uncertainty bonuses, or intrinsic rewards to encourage exploration. In this work, we hypothesize that an agent trained solely to maximize a greedy (exploitation-only) objective can nonetheless exhibit emergent exploratory behavior, provided three conditions are met: (1) Recurring Environmental Structure, where the environment features repeatable regularities that allow past experience to inform future choices; (2) Agent Memory, enabling the agent to retain and utilize historical interaction data; and (3) Long-Horizon Credit Assignment, where learning propagates returns over a time frame sufficient for the delayed benefits of exploration to inform current decisions. Through experiments in stochastic multi-armed bandits and temporally extended gridworlds, we observe that, when both structure and memory are present, a policy trained on a strictly greedy objective exhibits information-seeking exploratory behavior. We further demonstrate, through controlled ablations, that emergent exploration vanishes if either environmental structure or agent memory is absent (Conditions 1 & 2). Surprisingly, removing long-horizon credit assignment (Condition 3) does not always prevent emergent exploration-a result we attribute to the pseudo-Thompson Sampling effect. These findings suggest that, under the right prerequisites, exploration and exploitation need not be treated as orthogonal objectives but can emerge from a unified reward-maximization process.