Mejora de políticas mediante modelos de retroalimentación basados en lenguaje

Policy Improvement using Language Feedback Models

February 12, 2024

Autores: Victor Zhong, Dipendra Misra, Xingdi Yuan, Marc-Alexandre Côté

cs.AI

Resumen

Presentamos los Modelos de Retroalimentación de Lenguaje (LFMs, por sus siglas en inglés) que identifican comportamientos deseables —acciones que ayudan a cumplir las tareas especificadas en la instrucción— para el aprendizaje por imitación en el seguimiento de instrucciones. Para entrenar los LFMs, obtenemos retroalimentación de Modelos de Lenguaje de Gran Escala (LLMs) sobre trayectorias visuales verbalizadas en descripciones lingüísticas. Primero, al utilizar LFMs para identificar comportamientos deseables que imitar, mejoramos la tasa de finalización de tareas en comparación con líneas base sólidas de clonación conductual en tres entornos distintos de fundamentación lingüística (Touchdown, ScienceWorld y ALFWorld). Segundo, los LFMs superan el uso de LLMs como expertos para predecir acciones directamente, al controlar el número de tokens de salida de los LLMs. Tercero, los LFMs generalizan a entornos no vistos, mejorando la tasa de finalización de tareas en un 3.5-12.0% mediante una ronda de adaptación. Finalmente, el LFM puede modificarse para proporcionar retroalimentación interpretable por humanos sin pérdida de rendimiento, permitiendo la verificación humana de comportamientos deseables para el aprendizaje por imitación.

English

We introduce Language Feedback Models (LFMs) that identify desirable behaviour - actions that help achieve tasks specified in the instruction - for imitation learning in instruction following. To train LFMs, we obtain feedback from Large Language Models (LLMs) on visual trajectories verbalized to language descriptions. First, by using LFMs to identify desirable behaviour to imitate, we improve in task-completion rate over strong behavioural cloning baselines on three distinct language grounding environments (Touchdown, ScienceWorld, and ALFWorld). Second, LFMs outperform using LLMs as experts to directly predict actions, when controlling for the number of LLM output tokens. Third, LFMs generalize to unseen environments, improving task-completion rate by 3.5-12.0% through one round of adaptation. Finally, LFM can be modified to provide human-interpretable feedback without performance loss, allowing human verification of desirable behaviour for imitation learning.