Diffusie-augmentede agenten: Een raamwerk voor efficiënte exploratie en transferleren
Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning
July 30, 2024
Auteurs: Norman Di Palo, Leonard Hasenclever, Jan Humplik, Arunkumar Byravan
cs.AI
Samenvatting
We introduceren Diffusion Augmented Agents (DAAG), een nieuw framework dat gebruikmaakt van grote taalmodellen, visuele taalmodellen en diffusiemodellen om de steekproefficientie en transfer learning te verbeteren in reinforcement learning voor belichaamde agents. DAAG herlabelt de eerdere ervaringen van de agent door middel van diffusiemodellen om video's op een temporeel en geometrisch consistente manier te transformeren, zodat ze overeenkomen met doelinstructies met een techniek die we Hindsight Experience Augmentation noemen. Een groot taalmodel regisseert dit autonome proces zonder menselijk toezicht, waardoor het geschikt is voor levenslang leren scenario's. Het framework vermindert de hoeveelheid beloningsgelabelde data die nodig is om 1) een visueel taalmodel te finetunen dat fungeert als een beloningsdetector, en 2) RL-agents te trainen voor nieuwe taken. We demonstreren de verbeteringen in steekproefficientie van DAAG in gesimuleerde robotica-omgevingen die manipulatie en navigatie omvatten. Onze resultaten laten zien dat DAAG het leren van beloningsdetectoren, het overdragen van eerdere ervaringen en het verwerven van nieuwe taken verbetert - cruciale vaardigheden voor het ontwikkelen van efficiënte levenslang lerende agents. Aanvullend materiaal en visualisaties zijn beschikbaar op onze website https://sites.google.com/view/diffusion-augmented-agents/.
English
We introduce Diffusion Augmented Agents (DAAG), a novel framework that
leverages large language models, vision language models, and diffusion models
to improve sample efficiency and transfer learning in reinforcement learning
for embodied agents. DAAG hindsight relabels the agent's past experience by
using diffusion models to transform videos in a temporally and geometrically
consistent way to align with target instructions with a technique we call
Hindsight Experience Augmentation. A large language model orchestrates this
autonomous process without requiring human supervision, making it well-suited
for lifelong learning scenarios. The framework reduces the amount of
reward-labeled data needed to 1) finetune a vision language model that acts as
a reward detector, and 2) train RL agents on new tasks. We demonstrate the
sample efficiency gains of DAAG in simulated robotics environments involving
manipulation and navigation. Our results show that DAAG improves learning of
reward detectors, transferring past experience, and acquiring new tasks - key
abilities for developing efficient lifelong learning agents. Supplementary
material and visualizations are available on our website
https://sites.google.com/view/diffusion-augmented-agents/