相互作用からの事後学習

Retrospective Learning from Interactions

October 17, 2024

著者: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

要旨

大規模言語モデル（LLM）とユーザーとのマルチターンインタラクションには、自然に暗黙のフィードバック信号が含まれます。LLMが指示に予期せぬ方法で応答すると、ユーザーはそのことを再表現したり、不満を表明したり、別のタスクに移行したりすることでそれを示す可能性があります。このような信号はタスクに依存せず、比較的制約のある言語の部分空間を占めており、LLMはそれらを識別することができます。これにより、実際のタスクに失敗した場合でも、相互作用からの継続的な学習のための手段が生まれます。本研究では、過去の相互作用からこのような信号を学習するための手法であるReSpectを紹介します。私たちは、ReSpectを新しいマルチモーダルインタラクションシナリオに展開し、人間がLLMに組合せ的な解決空間を持つ抽象的な推論タスクを解くよう指示する場面で使用します。数千回の人間との相互作用を通じて、ReSpectが外部の注釈なしでタスク完了率を31%から82%に徐々に向上させる様子を示します。

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.