Apprentissage rétrospectif à partir des interactions

Retrospective Learning from Interactions

October 17, 2024

Auteurs: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

Résumé

Les interactions multi-turn entre les grands modèles de langage (LLM) et les utilisateurs incluent naturellement des signaux de rétroaction implicites. Si un LLM répond de manière inattendue à une instruction, l'utilisateur est susceptible de le signaler en reformulant la demande, en exprimant de la frustration, ou en passant à une tâche alternative. Ces signaux sont indépendants de la tâche et occupent un sous-espace relativement contraint du langage, permettant au LLM de les identifier même s'il échoue sur la tâche réelle. Cela crée une opportunité d'apprentissage continu à partir des interactions sans annotations supplémentaires. Nous introduisons ReSpect, une méthode pour apprendre de tels signaux dans les interactions passées via la rétrospéction. Nous déployons ReSpect dans un nouveau scénario d'interaction multimodal, où les humains donnent des instructions à un LLM pour résoudre une tâche de raisonnement abstrait avec un espace de solutions combinatoires. À travers des milliers d'interactions avec des humains, nous montrons comment ReSpect améliore progressivement le taux de réalisation de la tâche de 31% à 82%, le tout sans aucune annotation externe.

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.