대규모 언어 모델에서의 인지적 시너지 발현: 다중 페르소나 자기 협업을 통한 과제 해결 에이전트

초록

인간의 지능은 인지적 시너지(cognitive synergy) 개념에서 비롯됩니다. 이는 서로 다른 인지 과정 간의 협력과 정보 통합이 개별 인지 과정을 단독으로 사용할 때보다 우수한 결과를 도출한다는 것을 의미합니다. 대규모 언어 모델(LLM)이 일반적인 문제 해결 에이전트로서 유망한 성능을 보여주고 있지만, 여전히 집중적인 도메인 지식과 복잡한 추론이 필요한 작업에는 어려움을 겪고 있습니다. 본 연구에서는 단일 LLM을 다중 페르소나와의 다중 턴 자기 협업을 통해 인지적 시너지스트(cognitive synergist)로 변환하는 Solo Performance Prompting(SPP)을 제안합니다. 인지적 시너지스트란 복잡한 작업에서 문제 해결과 전반적인 성능을 향상시키기 위해 여러 마음을 협력시키고 각자의 강점과 지식을 결합하는 지능형 에이전트를 의미합니다. SPP는 작업 입력에 기반하여 다양한 페르소나를 동적으로 식별하고 시뮬레이션함으로써 LLM 내의 인지적 시너지 잠재력을 발휘합니다. 우리는 LLM에 여러 개의 세분화된 페르소나를 할당하는 것이 단일 또는 고정된 수의 페르소나를 사용하는 것보다 더 나은 문제 해결 능력을 이끌어낸다는 사실을 발견했습니다. SPP는 지식 집약적 및 추론 집약적 유형을 모두 포함하는 세 가지 도전적인 작업(Trivia Creative Writing, Codenames Collaborative, Logic Grid Puzzle)에서 평가되었습니다. Chain-of-Thought와 같은 기존 연구가 LLM의 추론 능력만을 강화하는 데 그친 반면, SPP는 내부 지식 습득 능력을 효과적으로 이끌어내고, 환각(hallucination)을 줄이며, 강력한 추론 능력을 유지합니다. 코드, 데이터 및 프롬프트는 다음에서 확인할 수 있습니다: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

English

Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Models (LLMs) have demonstrated promising performance as general task-solving agents, they still struggle with tasks that require intensive domain knowledge and complex reasoning. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist refers to an intelligent agent that collaborates with multiple minds, combining their individual strengths and knowledge, to enhance problem-solving and overall performance in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. We have discovered that assigning multiple, fine-grained personas in LLMs elicits better problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, SPP effectively elicits internal knowledge acquisition abilities, reduces hallucination, and maintains strong reasoning capabilities. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

대규모 언어 모델에서의 인지적 시너지 발현: 다중 페르소나 자기 협업을 통한 과제 해결 에이전트

Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

초록

Support