SWI: 대규모 언어 모델에서 의도를 갖고 말하기

SWI: Speaking with Intent in Large Language Models

March 27, 2025

저자: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

초록

의도는 일반적으로 명확하게 정형화되고 계획된 것으로, 추론과 문제 해결을 위한 인지적 틀로 기능합니다. 본 논문은 대규모 언어 모델(LLMs)에서 '의도를 갖고 말하기(Speaking with Intent, SWI)' 개념을 소개합니다. 여기서 명시적으로 생성된 의도는 모델의 근본적인 의도를 포괄하며, 후속 분석과 의사소통을 안내하는 고수준의 계획을 제공합니다. 인간의 마음속에서 의도적이고 목적이 있는 사고를 모방함으로써, SWI는 LLM의 추론 능력과 생성 품질을 향상시킬 것으로 가정됩니다. 수학적 추론 벤치마크에서의 광범위한 실험은 SWI가 명시적 의도 없이 생성하는 베이스라인에 비해 우수함을 일관되게 입증합니다. 더 나아가, SWI는 Chain-of-Thought 및 Plan-and-Solve와 같은 답변 유도 프롬프트 방법을 능가하며, 강력한 방법인 ARR(Analyzing, Retrieving, and Reasoning)과도 경쟁력 있는 성능을 유지합니다. 또한, SWI의 효과성과 일반화 가능성은 추론 집약적인 질의응답(QA) 및 텍스트 요약 벤치마크에서도 확고히 입증되었으며, SWI는 베이스라인 생성에 지속적인 개선을 가져옵니다. 텍스트 요약에서 SWI가 생성한 요약문은 더 높은 정확성, 간결성, 사실적 정확성을 보이며, 환각(hallucination) 현상도 적게 나타납니다. 더불어, 인간 평가를 통해 SWI가 생성한 의도의 일관성, 효과성, 해석 가능성이 검증되었습니다. 이 개념 검증 연구는 인지적 개념을 활용하여 LLM의 추론 능력을 향상시키는 새로운 방향을 제시합니다.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.