Het Ontketenen van Cognitieve Synergie in Grote Taalmodellen: Een Taakoplossend Agent via Zelfsamenwerking met Meerdere Persona's

Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

July 11, 2023

Auteurs: Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, Heng Ji

cs.AI

Samenvatting

Menselijke intelligentie gedijt op het concept van cognitieve synergie, waarbij samenwerking en informatie-integratie tussen verschillende cognitieve processen superieure resultaten opleveren in vergelijking met individuele cognitieve processen in isolatie. Hoewel Large Language Models (LLM's) veelbelovende prestaties hebben getoond als algemene taakoplossende agents, hebben ze nog steeds moeite met taken die intensieve domeinkennis en complex redeneren vereisen. In dit werk stellen we Solo Performance Prompting (SPP) voor, dat een enkele LLM transformeert in een cognitieve synergist door middel van multi-turn zelf-samenwerking met meerdere persona's. Een cognitieve synergist verwijst naar een intelligente agent die samenwerkt met meerdere 'mentale entiteiten', waarbij hun individuele sterktes en kennis worden gecombineerd om probleemoplossing en algehele prestaties in complexe taken te verbeteren. Door dynamisch verschillende persona's te identificeren en te simuleren op basis van taakinvoer, ontketent SPP het potentieel van cognitieve synergie in LLM's. We hebben ontdekt dat het toewijzen van meerdere, fijnmazige persona's in LLM's betere probleemoplossende vaardigheden oproept in vergelijking met het gebruik van een enkele of een vast aantal persona's. We evalueren SPP op drie uitdagende taken: Trivia Creative Writing, Codenames Collaborative en Logic Grid Puzzle, die zowel kennisintensieve als redeneringsintensieve typen omvatten. In tegenstelling tot eerdere werken, zoals Chain-of-Thought, die uitsluitend de redeneervaardigheden in LLM's versterken, roept SPP effectief interne kennisverwervingsvaardigheden op, vermindert het hallucinatie en behoudt het sterke redeneervaardigheden. Code, data en prompts zijn te vinden op: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

English

Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Models (LLMs) have demonstrated promising performance as general task-solving agents, they still struggle with tasks that require intensive domain knowledge and complex reasoning. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist refers to an intelligent agent that collaborates with multiple minds, combining their individual strengths and knowledge, to enhance problem-solving and overall performance in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. We have discovered that assigning multiple, fine-grained personas in LLMs elicits better problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, SPP effectively elicits internal knowledge acquisition abilities, reduces hallucination, and maintains strong reasoning capabilities. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.