Diffusion-erweiterte Agenten: Ein Rahmenwerk für effiziente Exploration und Transferlernen
Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning
July 30, 2024
papers.authors: Norman Di Palo, Leonard Hasenclever, Jan Humplik, Arunkumar Byravan
cs.AI
papers.abstract
Wir stellen Diffusion Augmented Agents (DAAG) vor, ein neuartiges Framework, das große Sprachmodelle, Bildsprachmodelle und Diffusionsmodelle nutzt, um die Beispieleffizienz und das Transferlernen im reinforcement learning für verkörperte Agenten zu verbessern. DAAG überdenkt retrospektiv die Erfahrungen des Agenten, indem es Diffusionsmodelle verwendet, um Videos auf eine zeitlich und geometrisch konsistente Weise zu transformieren, um sie mit Zielanweisungen abzustimmen, mit einer Technik, die wir Hindsight Experience Augmentation nennen. Ein großes Sprachmodell orchestriert diesen autonomen Prozess, ohne menschliche Überwachung zu benötigen, was es für Szenarien des lebenslangen Lernens geeignet macht. Das Framework reduziert die Menge an belohnten Daten, die benötigt werden, um 1) ein Bildsprachmodell zu feinabstimmen, das als Belohnungsdetektor fungiert, und 2) RL-Agenten für neue Aufgaben zu trainieren. Wir zeigen die Gewinne an Beispieleffizienz von DAAG in simulierten Robotikumgebungen, die Manipulation und Navigation umfassen. Unsere Ergebnisse zeigen, dass DAAG das Lernen von Belohnungsdetektoren verbessert, vergangene Erfahrungen überträgt und neue Aufgaben erwirbt - Schlüsselqualitäten für die Entwicklung effizienter lebenslanger Lernagenten. Zusätzliches Material und Visualisierungen sind auf unserer Website verfügbar: https://sites.google.com/view/diffusion-augmented-agents/
English
We introduce Diffusion Augmented Agents (DAAG), a novel framework that
leverages large language models, vision language models, and diffusion models
to improve sample efficiency and transfer learning in reinforcement learning
for embodied agents. DAAG hindsight relabels the agent's past experience by
using diffusion models to transform videos in a temporally and geometrically
consistent way to align with target instructions with a technique we call
Hindsight Experience Augmentation. A large language model orchestrates this
autonomous process without requiring human supervision, making it well-suited
for lifelong learning scenarios. The framework reduces the amount of
reward-labeled data needed to 1) finetune a vision language model that acts as
a reward detector, and 2) train RL agents on new tasks. We demonstrate the
sample efficiency gains of DAAG in simulated robotics environments involving
manipulation and navigation. Our results show that DAAG improves learning of
reward detectors, transferring past experience, and acquiring new tasks - key
abilities for developing efficient lifelong learning agents. Supplementary
material and visualizations are available on our website
https://sites.google.com/view/diffusion-augmented-agents/