Melhorando a Negociação de Modelos de Linguagem com Auto-Jogo e Aprendizado em Contexto a partir de Feedback de IA

Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback

May 17, 2023

Autores: Yao Fu, Hao Peng, Tushar Khot, Mirella Lapata

cs.AI

Resumo

Investigamos se múltiplos modelos de linguagem de grande escala (LLMs) podem melhorar uns aos outros de forma autônoma em um jogo de negociação, jogando, refletindo e criticando. Interessamo-nos por essa questão porque, se os LLMs fossem capazes de melhorar uns aos outros, isso implicaria a possibilidade de criar agentes de IA robustos com intervenção humana mínima. Solicitamos que dois LLMs negociem entre si, assumindo os papéis de comprador e vendedor, respectivamente. Eles visam chegar a um acordo, com o comprador buscando um preço mais baixo e o vendedor um preço mais alto. Um terceiro modelo de linguagem, atuando como crítico, fornece feedback a um dos jogadores para aprimorar suas estratégias de negociação. Permitimos que os dois agentes joguem várias rodadas, utilizando o histórico de negociações anteriores e o feedback da IA como demonstrações em contexto para melhorar iterativamente a estratégia de negociação do modelo. Utilizamos diferentes LLMs (GPT e Claude) para diferentes papéis e empregamos o preço do acordo como métrica de avaliação. Nossos experimentos revelam várias descobertas intrigantes: (1) Apenas um subconjunto dos modelos de linguagem que consideramos consegue jogar consigo mesmo e melhorar o preço do acordo com base no feedback da IA; modelos mais fracos ou não entendem as regras do jogo ou não conseguem incorporar o feedback da IA para melhorias adicionais. (2) A capacidade dos modelos de aprender com o feedback varia dependendo do papel que desempenham. Por exemplo, é mais difícil para o Claude-instant melhorar como comprador do que como vendedor. (3) Ao estender o jogo para múltiplas rodadas, agentes mais fortes conseguem melhorar consistentemente seu desempenho ao utilizar de forma significativa experiências anteriores e feedback iterativo da IA, mas correm um risco maior de romper o acordo. Esperamos que nosso trabalho forneça explorações iniciais perspicazes sobre como os modelos podem melhorar uns aos outros de forma autônoma por meio de jogos e feedback da IA.

English

We study whether multiple large language models (LLMs) can autonomously improve each other in a negotiation game by playing, reflecting, and criticizing. We are interested in this question because if LLMs were able to improve each other, it would imply the possibility of creating strong AI agents with minimal human intervention. We ask two LLMs to negotiate with each other, playing the roles of a buyer and a seller, respectively. They aim to reach a deal with the buyer targeting a lower price and the seller a higher one. A third language model, playing the critic, provides feedback to a player to improve the player's negotiation strategies. We let the two agents play multiple rounds, using previous negotiation history and AI feedback as in-context demonstrations to improve the model's negotiation strategy iteratively. We use different LLMs (GPT and Claude) for different roles and use the deal price as the evaluation metric. Our experiments reveal multiple intriguing findings: (1) Only a subset of the language models we consider can self-play and improve the deal price from AI feedback, weaker models either do not understand the game's rules or cannot incorporate AI feedback for further improvement. (2) Models' abilities to learn from the feedback differ when playing different roles. For example, it is harder for Claude-instant to improve as the buyer than as the seller. (3) When unrolling the game to multiple rounds, stronger agents can consistently improve their performance by meaningfully using previous experiences and iterative AI feedback, yet have a higher risk of breaking the deal. We hope our work provides insightful initial explorations of having models autonomously improve each other with game playing and AI feedback.