Sfruttare la Sinergia Cognitiva nei Modelli Linguistici di Grande Scala: Un Agente Risolutore di Compiti attraverso l'Auto-Collaborazione Multi-Persona

Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

July 11, 2023

Autori: Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, Heng Ji

cs.AI

Abstract

L'intelligenza umana prospera sul concetto di sinergia cognitiva, dove la collaborazione e l'integrazione di informazioni tra diversi processi cognitivi producono risultati superiori rispetto ai singoli processi cognitivi isolati. Sebbene i Modelli Linguistici di Grande Scala (LLM) abbiano dimostrato prestazioni promettenti come agenti generalisti per la risoluzione di compiti, continuano a incontrare difficoltà con attività che richiedono una conoscenza approfondita del dominio e un ragionamento complesso. In questo lavoro, proponiamo il "Solo Performance Prompting" (SPP), che trasforma un singolo LLM in un sinergista cognitivo, impegnandolo in una collaborazione multi-turno con sé stesso attraverso molteplici personaggi. Un sinergista cognitivo si riferisce a un agente intelligente che collabora con molteplici menti, combinando i loro punti di forza e conoscenze individuali, per migliorare la risoluzione dei problemi e le prestazioni complessive in compiti complessi. Identificando e simulando dinamicamente diversi personaggi in base agli input del compito, lo SPP libera il potenziale della sinergia cognitiva negli LLM. Abbiamo scoperto che l'assegnazione di molteplici personaggi dettagliati negli LLM stimola migliori capacità di risoluzione dei problemi rispetto all'uso di un singolo o di un numero fisso di personaggi. Valutiamo lo SPP su tre compiti impegnativi: Scrittura Creativa di Trivia, Codenames Collaborativo e Puzzle a Griglia Logica, che comprendono sia tipi ad alta intensità di conoscenza che di ragionamento. A differenza di lavori precedenti, come il "Chain-of-Thought", che migliorano esclusivamente le capacità di ragionamento negli LLM, lo SPP stimola efficacemente le capacità di acquisizione interna della conoscenza, riduce le allucinazioni e mantiene forti capacità di ragionamento. Codice, dati e prompt sono disponibili al seguente link: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

English

Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Models (LLMs) have demonstrated promising performance as general task-solving agents, they still struggle with tasks that require intensive domain knowledge and complex reasoning. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist refers to an intelligent agent that collaborates with multiple minds, combining their individual strengths and knowledge, to enhance problem-solving and overall performance in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. We have discovered that assigning multiple, fine-grained personas in LLMs elicits better problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, SPP effectively elicits internal knowledge acquisition abilities, reduces hallucination, and maintains strong reasoning capabilities. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.