Lernen aus Interaktionen im Rückblick.

Retrospective Learning from Interactions

October 17, 2024

Autoren: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

Zusammenfassung

Mehrstufige Interaktionen zwischen großen Sprachmodellen (LLMs) und Benutzern beinhalten natürlicherweise implizite Feedbacksignale. Wenn ein LLM unerwartet auf eine Anweisung reagiert, wird der Benutzer dies wahrscheinlich durch eine Neufassung der Anfrage, Ausdruck von Frustration oder Wechsel zu einer alternativen Aufgabe signalisieren. Solche Signale sind aufgabenunabhängig und nehmen einen relativ begrenzten Sprachraum ein, was es dem LLM ermöglicht, sie zu identifizieren, selbst wenn er bei der tatsächlichen Aufgabe versagt. Dies schafft eine Möglichkeit, kontinuierlich aus Interaktionen zu lernen, ohne zusätzliche Annotationen. Wir stellen ReSpect vor, eine Methode, um aus solchen Signalen in vergangenen Interaktionen durch Rückblick zu lernen. Wir setzen ReSpect in einem neuen multimodalen Interaktionsszenario ein, bei dem Menschen ein LLM anweisen, eine abstrakte Denkaufgabe mit einem kombinatorischen Lösungsraum zu lösen. Durch Tausende von Interaktionen mit Menschen zeigen wir, wie ReSpect die Aufgabenerfüllungsrate allmählich von 31% auf 82% verbessert, und das alles ohne externe Annotationen.

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.