Улучшение переговоров языковых моделей с использованием самовоспроизведения и обучения в контексте на основе обратной связи ИИ
Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback
May 17, 2023
Авторы: Yao Fu, Hao Peng, Tushar Khot, Mirella Lapata
cs.AI
Аннотация
Мы исследуем, могут ли несколько крупных языковых моделей (LLM) автономно улучшать друг друга в игре-переговорах, играя, анализируя и критикуя. Этот вопрос важен, поскольку если LLM смогут улучшать друг друга, это открывает возможность создания мощных ИИ-агентов с минимальным вмешательством человека. Мы предлагаем двум LLM вести переговоры друг с другом, играя роли покупателя и продавца соответственно. Их цель — достичь соглашения, при этом покупатель стремится к более низкой цене, а продавец — к более высокой. Третья языковая модель, выступающая в роли критика, предоставляет обратную связь игроку для улучшения его стратегий переговоров. Мы позволяем двум агентам играть несколько раундов, используя историю предыдущих переговоров и обратную связь от ИИ в качестве контекстных демонстраций для итеративного улучшения стратегии переговоров. Мы используем разные LLM (GPT и Claude) для разных ролей и оцениваем результаты по цене сделки. Наши эксперименты выявили несколько интересных результатов: (1) Только часть рассмотренных языковых моделей способна к самообучению и улучшению цены сделки на основе обратной связи от ИИ; более слабые модели либо не понимают правила игры, либо не могут использовать обратную связь для дальнейшего улучшения. (2) Способности моделей учиться на обратной связи различаются в зависимости от роли. Например, Claude-instant сложнее улучшать свои результаты в роли покупателя, чем в роли продавца. (3) При проведении нескольких раундов более сильные агенты могут последовательно улучшать свои результаты, осмысленно используя предыдущий опыт и итеративную обратную связь от ИИ, но при этом выше риск срыва сделки. Мы надеемся, что наша работа станет полезным начальным исследованием в области автономного улучшения моделей друг другом через игровые взаимодействия и обратную связь от ИИ.
English
We study whether multiple large language models (LLMs) can autonomously
improve each other in a negotiation game by playing, reflecting, and
criticizing. We are interested in this question because if LLMs were able to
improve each other, it would imply the possibility of creating strong AI agents
with minimal human intervention. We ask two LLMs to negotiate with each other,
playing the roles of a buyer and a seller, respectively. They aim to reach a
deal with the buyer targeting a lower price and the seller a higher one. A
third language model, playing the critic, provides feedback to a player to
improve the player's negotiation strategies. We let the two agents play
multiple rounds, using previous negotiation history and AI feedback as
in-context demonstrations to improve the model's negotiation strategy
iteratively. We use different LLMs (GPT and Claude) for different roles and use
the deal price as the evaluation metric. Our experiments reveal multiple
intriguing findings: (1) Only a subset of the language models we consider can
self-play and improve the deal price from AI feedback, weaker models either do
not understand the game's rules or cannot incorporate AI feedback for further
improvement. (2) Models' abilities to learn from the feedback differ when
playing different roles. For example, it is harder for Claude-instant to
improve as the buyer than as the seller. (3) When unrolling the game to
multiple rounds, stronger agents can consistently improve their performance by
meaningfully using previous experiences and iterative AI feedback, yet have a
higher risk of breaking the deal. We hope our work provides insightful initial
explorations of having models autonomously improve each other with game playing
and AI feedback.