Раскрытие когнитивного синергизма в больших языковых моделях: агент для решения задач через само-сотрудничество множественных персонажей

Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

July 11, 2023

Авторы: Zhenhailong Wang, Shaoguang Mao, Wenshan Wu, Tao Ge, Furu Wei, Heng Ji

cs.AI

Аннотация

Человеческий интеллект процветает благодаря концепции когнитивной синергии, где сотрудничество и интеграция информации между различными когнитивными процессами приводят к превосходным результатам по сравнению с изолированными когнитивными процессами. Хотя крупные языковые модели (LLM) продемонстрировали впечатляющие результаты в качестве универсальных агентов для решения задач, они всё ещё сталкиваются с трудностями при выполнении задач, требующих глубоких знаний в конкретной области и сложного рассуждения. В данной работе мы предлагаем метод Solo Performance Prompting (SPP), который превращает одну LLM в когнитивного синергиста, вовлекая её в многошаговое само-сотрудничество с множеством персонажей. Когнитивный синергист — это интеллектуальный агент, который сотрудничает с множеством "умов", объединяя их индивидуальные сильные стороны и знания для улучшения решения задач и общей производительности в сложных ситуациях. Динамически идентифицируя и моделируя различные персонажи на основе входных данных задачи, SPP раскрывает потенциал когнитивной синергии в LLM. Мы обнаружили, что назначение множества детализированных персонажей в LLM способствует лучшим способностям к решению задач по сравнению с использованием одного или фиксированного числа персонажей. Мы оцениваем SPP на трёх сложных задачах: Trivia Creative Writing, Codenames Collaborative и Logic Grid Puzzle, охватывающих как задачи, требующие глубоких знаний, так и задачи, требующие сложного рассуждения. В отличие от предыдущих работ, таких как Chain-of-Thought, которые лишь усиливают способности к рассуждению в LLM, SPP эффективно стимулирует внутренние способности к приобретению знаний, снижает галлюцинации и сохраняет сильные возможности рассуждения. Код, данные и промпты можно найти по адресу: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

English

Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Models (LLMs) have demonstrated promising performance as general task-solving agents, they still struggle with tasks that require intensive domain knowledge and complex reasoning. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist refers to an intelligent agent that collaborates with multiple minds, combining their individual strengths and knowledge, to enhance problem-solving and overall performance in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. We have discovered that assigning multiple, fine-grained personas in LLMs elicits better problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, SPP effectively elicits internal knowledge acquisition abilities, reduces hallucination, and maintains strong reasoning capabilities. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.