Verbesserung der Sprachmodellverhandlung durch Selbstspiel und In-Kontext-Lernen aus KI-Feedback

Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback

May 17, 2023

Autoren: Yao Fu, Hao Peng, Tushar Khot, Mirella Lapata

cs.AI

Zusammenfassung

Wir untersuchen, ob mehrere große Sprachmodelle (LLMs) sich in einem Verhandlungsspiel autonom gegenseitig verbessern können, indem sie spielen, reflektieren und kritisieren. Diese Frage ist von Interesse, da die Fähigkeit von LLMs, sich gegenseitig zu verbessern, die Möglichkeit implizieren würde, starke KI-Agenten mit minimalem menschlichen Eingriff zu entwickeln. Wir lassen zwei LLMs miteinander verhandeln, wobei sie jeweils die Rollen eines Käufers und eines Verkäufers einnehmen. Ihr Ziel ist es, eine Einigung zu erzielen, wobei der Käufer einen niedrigeren Preis anstrebt und der Verkäufer einen höheren. Ein drittes Sprachmodell, das die Rolle des Kritikers übernimmt, gibt einem Spieler Feedback, um dessen Verhandlungsstrategien zu verbessern. Wir lassen die beiden Agenten mehrere Runden spielen und verwenden dabei die bisherige Verhandlungshistorie und KI-Feedback als In-Kontext-Demonstrationen, um die Verhandlungsstrategie des Modells iterativ zu verbessern. Wir verwenden verschiedene LLMs (GPT und Claude) für unterschiedliche Rollen und nutzen den vereinbarten Preis als Bewertungsmetrik. Unsere Experimente zeigen mehrere interessante Erkenntnisse: (1) Nur eine Teilmenge der betrachteten Sprachmodelle kann sich selbst spielen und den vereinbarten Preis durch KI-Feedback verbessern; schwächere Modelle verstehen entweder die Spielregeln nicht oder können das KI-Feedback nicht für weitere Verbesserungen nutzen. (2) Die Fähigkeit der Modelle, aus dem Feedback zu lernen, unterscheidet sich je nach Rolle. Beispielsweise fällt es Claude-instant schwerer, sich als Käufer zu verbessern als als Verkäufer. (3) Wenn das Spiel über mehrere Runden gespielt wird, können stärkere Agenten ihre Leistung durch sinnvolle Nutzung früherer Erfahrungen und iteratives KI-Feedback konsequent verbessern, haben jedoch ein höheres Risiko, die Einigung zu gefährden. Wir hoffen, dass unsere Arbeit aufschlussreiche erste Erkundungen liefert, wie Modelle sich durch Spielen und KI-Feedback autonom gegenseitig verbessern können.

English

We study whether multiple large language models (LLMs) can autonomously improve each other in a negotiation game by playing, reflecting, and criticizing. We are interested in this question because if LLMs were able to improve each other, it would imply the possibility of creating strong AI agents with minimal human intervention. We ask two LLMs to negotiate with each other, playing the roles of a buyer and a seller, respectively. They aim to reach a deal with the buyer targeting a lower price and the seller a higher one. A third language model, playing the critic, provides feedback to a player to improve the player's negotiation strategies. We let the two agents play multiple rounds, using previous negotiation history and AI feedback as in-context demonstrations to improve the model's negotiation strategy iteratively. We use different LLMs (GPT and Claude) for different roles and use the deal price as the evaluation metric. Our experiments reveal multiple intriguing findings: (1) Only a subset of the language models we consider can self-play and improve the deal price from AI feedback, weaker models either do not understand the game's rules or cannot incorporate AI feedback for further improvement. (2) Models' abilities to learn from the feedback differ when playing different roles. For example, it is harder for Claude-instant to improve as the buyer than as the seller. (3) When unrolling the game to multiple rounds, stronger agents can consistently improve their performance by meaningfully using previous experiences and iterative AI feedback, yet have a higher risk of breaking the deal. We hope our work provides insightful initial explorations of having models autonomously improve each other with game playing and AI feedback.