Miglioramento delle Politiche mediante Modelli di Feedback Linguistico

Policy Improvement using Language Feedback Models

February 12, 2024

Autori: Victor Zhong, Dipendra Misra, Xingdi Yuan, Marc-Alexandre Côté

cs.AI

Abstract

Introduciamo i Modelli di Feedback Linguistico (Language Feedback Models, LFMs) che identificano comportamenti desiderabili - azioni che aiutano a raggiungere i compiti specificati nelle istruzioni - per l'apprendimento per imitazione nel seguire le istruzioni. Per addestrare gli LFMs, otteniamo feedback da Modelli Linguistici di Grande Scala (Large Language Models, LLMs) su traiettorie visive verbalizzate in descrizioni linguistiche. In primo luogo, utilizzando gli LFMs per identificare comportamenti desiderabili da imitare, miglioriamo il tasso di completamento dei compiti rispetto a solide baseline di clonazione comportamentale in tre ambienti distinti di grounding linguistico (Touchdown, ScienceWorld e ALFWorld). In secondo luogo, gli LFMs superano l'uso di LLMs come esperti per prevedere direttamente le azioni, quando si controlla il numero di token di output degli LLMs. In terzo luogo, gli LFMs si generalizzano a ambienti non visti, migliorando il tasso di completamento dei compiti del 3,5-12,0% attraverso un round di adattamento. Infine, gli LFM possono essere modificati per fornire feedback interpretabili dall'uomo senza perdita di prestazioni, consentendo la verifica umana dei comportamenti desiderabili per l'apprendimento per imitazione.

English

We introduce Language Feedback Models (LFMs) that identify desirable behaviour - actions that help achieve tasks specified in the instruction - for imitation learning in instruction following. To train LFMs, we obtain feedback from Large Language Models (LLMs) on visual trajectories verbalized to language descriptions. First, by using LFMs to identify desirable behaviour to imitate, we improve in task-completion rate over strong behavioural cloning baselines on three distinct language grounding environments (Touchdown, ScienceWorld, and ALFWorld). Second, LFMs outperform using LLMs as experts to directly predict actions, when controlling for the number of LLM output tokens. Third, LFMs generalize to unseen environments, improving task-completion rate by 3.5-12.0% through one round of adaptation. Finally, LFM can be modified to provide human-interpretable feedback without performance loss, allowing human verification of desirable behaviour for imitation learning.