Apprendimento retrospettivo dalle interazioni

Retrospective Learning from Interactions

October 17, 2024

Autori: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

Abstract

Le interazioni a più turni tra i grandi modelli linguistici (LLM) e gli utenti includono naturalmente segnali impliciti di feedback. Se un LLM risponde in modo inaspettato a un'istruzione, è probabile che l'utente lo segnali riphrasing la richiesta, esprimendo frustrazione o passando a un compito alternativo. Tali segnali sono indipendenti dal compito e occupano uno spazio relativamente limitato del linguaggio, consentendo all'LLM di identificarli anche se non riesce nel compito effettivo. Questo crea una via per apprendere continuamente dalle interazioni senza annotazioni aggiuntive. Presentiamo ReSpect, un metodo per apprendere da tali segnali nelle interazioni passate tramite retrospezione. Implementiamo ReSpect in uno scenario di interazione multimodale, in cui gli esseri umani istruiscono un LLM a risolvere un compito di ragionamento astratto con uno spazio di soluzione combinatorio. Attraverso migliaia di interazioni con gli esseri umani, mostriamo come ReSpect migliori gradualmente il tasso di completamento del compito dal 31% all'82%, tutto senza alcuna annotazione esterna.

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.