Обучение на основе взаимодействия: ретроспективный подход

Retrospective Learning from Interactions

October 17, 2024

Авторы: Zizhao Chen, Mustafa Omer Gul, Yiwei Chen, Gloria Geng, Anne Wu, Yoav Artzi

cs.AI

Аннотация

Многоходовое взаимодействие между большими языковыми моделями (LLM) и пользователями естественным образом включает неявные сигналы обратной связи. Если LLM отвечает неожиданным образом на инструкцию, пользователь, вероятно, даст об этом знать, перефразируя запрос, выражая фрустрацию или переключаясь на альтернативную задачу. Такие сигналы являются независимыми от задачи и занимают относительно ограниченное подпространство языка, что позволяет LLM идентифицировать их даже в случае неудачи на самой задаче. Это создает возможность непрерывного обучения на основе взаимодействий без дополнительных аннотаций. Мы представляем ReSpect, метод обучения на основе таких сигналов в прошлых взаимодействиях через ретроспекцию. Мы применяем ReSpect в новом сценарии мультимодального взаимодействия, где люди инструктируют LLM решать абстрактную задачу рассуждения с комбинаторным пространством решений. Через тысячи взаимодействий с людьми мы показываем, как ReSpect постепенно повышает процент завершения задачи с 31% до 82%, все это без каких-либо внешних аннотаций.

English

Multi-turn interactions between large language models (LLMs) and users naturally include implicit feedback signals. If an LLM responds in an unexpected way to an instruction, the user is likely to signal it by rephrasing the request, expressing frustration, or pivoting to an alternative task. Such signals are task-independent and occupy a relatively constrained subspace of language, allowing the LLM to identify them even if it fails on the actual task. This creates an avenue for continually learning from interactions without additional annotations. We introduce ReSpect, a method to learn from such signals in past interactions via retrospection. We deploy ReSpect in a new multimodal interaction scenario, where humans instruct an LLM to solve an abstract reasoning task with a combinatorial solution space. Through thousands of interactions with humans, we show how ReSpect gradually improves task completion rate from 31% to 82%, all without any external annotation.