Modelos de Lenguaje de Gran Escala como Políticas Generalizables para Tareas Embebidas

Large Language Models as Generalizable Policies for Embodied Tasks

October 26, 2023

Autores: Andrew Szot, Max Schwarzer, Harsh Agrawal, Bogdan Mazoure, Walter Talbott, Katherine Metcalf, Natalie Mackraz, Devon Hjelm, Alexander Toshev

cs.AI

Resumen

Demostramos que los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) pueden adaptarse para convertirse en políticas generalizables para tareas visuales corporizadas. Nuestro enfoque, denominado Política de Aprendizaje por Refuerzo con Modelos de Lenguaje de Gran Escala (LLaRP, por sus siglas en inglés), adapta un LLM preentrenado y congelado para que tome como entrada instrucciones textuales y observaciones visuales egocéntricas, y genere acciones directamente en el entorno. Utilizando aprendizaje por refuerzo, entrenamos a LLaRP para ver y actuar únicamente a través de interacciones con el entorno. Mostramos que LLaRP es robusto frente a paráfrasis complejas de las instrucciones de las tareas y puede generalizar a nuevas tareas que requieren comportamientos óptimos novedosos. En particular, en 1,000 tareas no vistas, logra una tasa de éxito del 42%, 1.7 veces la tasa de éxito de otras líneas base aprendidas comunes o aplicaciones zero-shot de LLMs. Finalmente, para ayudar a la comunidad en el estudio de problemas de IA corporizada masivamente multitarea condicionada por lenguaje, publicamos un nuevo benchmark, Reorganización de Lenguaje, que consta de 150,000 tareas de entrenamiento y 1,000 tareas de prueba para la reorganización condicionada por lenguaje. Ejemplos en video de LLaRP en instrucciones no vistas de Reorganización de Lenguaje están disponibles en https://llm-rl.github.io.

English

We show that large language models (LLMs) can be adapted to be generalizable policies for embodied visual tasks. Our approach, called Large LAnguage model Reinforcement Learning Policy (LLaRP), adapts a pre-trained frozen LLM to take as input text instructions and visual egocentric observations and output actions directly in the environment. Using reinforcement learning, we train LLaRP to see and act solely through environmental interactions. We show that LLaRP is robust to complex paraphrasings of task instructions and can generalize to new tasks that require novel optimal behavior. In particular, on 1,000 unseen tasks it achieves 42% success rate, 1.7x the success rate of other common learned baselines or zero-shot applications of LLMs. Finally, to aid the community in studying language conditioned, massively multi-task, embodied AI problems we release a novel benchmark, Language Rearrangement, consisting of 150,000 training and 1,000 testing tasks for language-conditioned rearrangement. Video examples of LLaRP in unseen Language Rearrangement instructions are at https://llm-rl.github.io.