Entfesselung kognitiver Synergie in großen Sprachmodellen: Ein aufgabenlösender Agent durch Multi-Persona-Selbstkollaboration

Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

July 11, 2023

Autoren: Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, Heng Ji

cs.AI

Zusammenfassung

Die menschliche Intelligenz gedeiht durch das Konzept der kognitiven Synergie, bei der die Zusammenarbeit und Integration von Informationen zwischen verschiedenen kognitiven Prozessen überlegene Ergebnisse im Vergleich zu isolierten kognitiven Prozessen erzielt. Obwohl Large Language Models (LLMs) vielversprechende Leistungen als allgemeine Aufgabenlösungsagenten gezeigt haben, kämpfen sie immer noch mit Aufgaben, die intensives Fachwissen und komplexes Denken erfordern. In dieser Arbeit schlagen wir Solo Performance Prompting (SPP) vor, das ein einzelnes LLM in einen kognitiven Synergisten verwandelt, indem es eine mehrstufige Selbstzusammenarbeit mit mehreren Personas eingeht. Ein kognitiver Synergist bezeichnet einen intelligenten Agenten, der mit mehreren Köpfen zusammenarbeitet, deren individuelle Stärken und Wissen kombiniert, um die Problemlösung und Gesamtleistung bei komplexen Aufgaben zu verbessern. Durch die dynamische Identifizierung und Simulation verschiedener Personas basierend auf Aufgabeninputs entfaltet SPP das Potenzial der kognitiven Synergie in LLMs. Wir haben festgestellt, dass die Zuweisung mehrerer, feingranularer Personas in LLMs bessere Problemlösungsfähigkeiten hervorruft als die Verwendung einer einzelnen oder festen Anzahl von Personas. Wir evaluieren SPP an drei herausfordernden Aufgaben: Trivia Creative Writing, Codenames Collaborative und Logic Grid Puzzle, die sowohl wissensintensive als auch denkintensive Typen umfassen. Im Gegensatz zu früheren Arbeiten, wie Chain-of-Thought, die lediglich die Denkfähigkeiten in LLMs verbessern, fördert SPP effektiv die internen Wissenserwerbsfähigkeiten, reduziert Halluzinationen und behält starke Denkfähigkeiten bei. Code, Daten und Prompts finden Sie unter: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

English

Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Models (LLMs) have demonstrated promising performance as general task-solving agents, they still struggle with tasks that require intensive domain knowledge and complex reasoning. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist refers to an intelligent agent that collaborates with multiple minds, combining their individual strengths and knowledge, to enhance problem-solving and overall performance in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. We have discovered that assigning multiple, fine-grained personas in LLMs elicits better problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, SPP effectively elicits internal knowledge acquisition abilities, reduces hallucination, and maintains strong reasoning capabilities. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.