Beleidsverbetering met Taalfeedbackmodellen

Policy Improvement using Language Feedback Models

February 12, 2024

Auteurs: Victor Zhong, Dipendra Misra, Xingdi Yuan, Marc-Alexandre Côté

cs.AI

Samenvatting

We introduceren Language Feedback Models (LFMs) die gewenst gedrag identificeren - acties die helpen bij het voltooien van taken zoals gespecificeerd in de instructie - voor imitatieleren bij instructievolging. Om LFMs te trainen, verkrijgen we feedback van Large Language Models (LLMs) op visuele trajecten die zijn omgezet naar taal beschrijvingen. Ten eerste verbeteren we, door LFMs te gebruiken om gewenst gedrag te identificeren voor imitatie, de taakvoltooiingsratio ten opzichte van sterke gedragskloningsbaselines in drie verschillende taalgebaseerde omgevingen (Touchdown, ScienceWorld en ALFWorld). Ten tweede presteren LFMs beter dan het gebruik van LLMs als experts om direct acties te voorspellen, wanneer het aantal LLM-uitvoertokens wordt gecontroleerd. Ten derde generaliseren LFMs naar onbekende omgevingen, waarbij de taakvoltooiingsratio met 3,5-12,0% verbetert door één ronde van aanpassing. Tot slot kan LFM worden aangepast om mens-interpreteerbare feedback te geven zonder prestatieverlies, wat menselijke verificatie van gewenst gedrag voor imitatieleren mogelijk maakt.

English

We introduce Language Feedback Models (LFMs) that identify desirable behaviour - actions that help achieve tasks specified in the instruction - for imitation learning in instruction following. To train LFMs, we obtain feedback from Large Language Models (LLMs) on visual trajectories verbalized to language descriptions. First, by using LFMs to identify desirable behaviour to imitate, we improve in task-completion rate over strong behavioural cloning baselines on three distinct language grounding environments (Touchdown, ScienceWorld, and ALFWorld). Second, LFMs outperform using LLMs as experts to directly predict actions, when controlling for the number of LLM output tokens. Third, LFMs generalize to unseen environments, improving task-completion rate by 3.5-12.0% through one round of adaptation. Finally, LFM can be modified to provide human-interpretable feedback without performance loss, allowing human verification of desirable behaviour for imitation learning.