Ausbeutung ist alles, was du brauchst... für Exploration.

Exploitation Is All You Need... for Exploration

August 2, 2025

papers.authors: Micah Rentschler, Jesse Roberts

cs.AI

papers.abstract

Die Sicherstellung ausreichender Exploration ist eine zentrale Herausforderung beim Training von Meta-Reinforcement-Learning (Meta-RL)-Agenten zur Lösung neuer Umgebungen. Konventionelle Lösungen für das Exploration-Exploitation-Dilemma fügen explizite Anreize wie Randomisierung, Unsicherheitsboni oder intrinsische Belohnungen hinzu, um Exploration zu fördern. In dieser Arbeit stellen wir die Hypothese auf, dass ein Agent, der ausschließlich darauf trainiert wird, ein gieriges (nur auf Exploitation ausgerichtetes) Ziel zu maximieren, dennoch emergentes exploratives Verhalten zeigen kann, sofern drei Bedingungen erfüllt sind: (1) Wiederkehrende Umweltstruktur, bei der die Umgebung wiederholbare Regelmäßigkeiten aufweist, die es ermöglichen, dass vergangene Erfahrungen zukünftige Entscheidungen beeinflussen; (2) Agentengedächtnis, das es dem Agenten ermöglicht, historische Interaktionsdaten zu speichern und zu nutzen; und (3) Langfristige Kreditvergabe, bei der das Lernen die Erträge über einen Zeitraum hinweg propagiert, der ausreicht, damit die verzögerten Vorteile der Exploration aktuelle Entscheidungen beeinflussen können. Durch Experimente in stochastischen Multi-Armed Bandits und zeitlich erweiterten Gridworlds beobachten wir, dass, wenn sowohl Struktur als auch Gedächtnis vorhanden sind, eine auf einem strikt gierigen Ziel trainierte Politik informationssuchendes exploratives Verhalten zeigt. Wir zeigen weiterhin durch kontrollierte Ablationen, dass emergente Exploration verschwindet, wenn entweder die Umweltstruktur oder das Agentengedächtnis fehlt (Bedingungen 1 & 2). Überraschenderweise verhindert das Entfernen der langfristigen Kreditvergabe (Bedingung 3) nicht immer die emergente Exploration – ein Ergebnis, das wir dem Pseudo-Thompson-Sampling-Effekt zuschreiben. Diese Ergebnisse legen nahe, dass unter den richtigen Voraussetzungen Exploration und Exploitation nicht als orthogonale Ziele behandelt werden müssen, sondern aus einem einheitlichen Belohnungsmaximierungsprozess hervorgehen können.

English

Ensuring sufficient exploration is a central challenge when training meta-reinforcement learning (meta-RL) agents to solve novel environments. Conventional solutions to the exploration-exploitation dilemma inject explicit incentives such as randomization, uncertainty bonuses, or intrinsic rewards to encourage exploration. In this work, we hypothesize that an agent trained solely to maximize a greedy (exploitation-only) objective can nonetheless exhibit emergent exploratory behavior, provided three conditions are met: (1) Recurring Environmental Structure, where the environment features repeatable regularities that allow past experience to inform future choices; (2) Agent Memory, enabling the agent to retain and utilize historical interaction data; and (3) Long-Horizon Credit Assignment, where learning propagates returns over a time frame sufficient for the delayed benefits of exploration to inform current decisions. Through experiments in stochastic multi-armed bandits and temporally extended gridworlds, we observe that, when both structure and memory are present, a policy trained on a strictly greedy objective exhibits information-seeking exploratory behavior. We further demonstrate, through controlled ablations, that emergent exploration vanishes if either environmental structure or agent memory is absent (Conditions 1 & 2). Surprisingly, removing long-horizon credit assignment (Condition 3) does not always prevent emergent exploration-a result we attribute to the pseudo-Thompson Sampling effect. These findings suggest that, under the right prerequisites, exploration and exploitation need not be treated as orthogonal objectives but can emerge from a unified reward-maximization process.