SWI: 大規模言語モデルにおける意図を持った発話

SWI: Speaking with Intent in Large Language Models

March 27, 2025

著者: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

要旨

意図は、通常明確に定式化され計画されたものとして、推論と問題解決のための認知的枠組みとして機能します。本論文では、大規模言語モデル（LLM）における「意図を持った発話（Speaking with Intent, SWI）」という概念を紹介します。SWIでは、明示的に生成された意図がモデルの根底にある意図を包含し、その後の分析とコミュニケーションを導くための高レベルの計画を提供します。人間の心における意図的で目的を持った思考を模倣することで、SWIはLLMの推論能力と生成品質を向上させると仮定されています。数学的推論ベンチマークでの広範な実験では、SWIがベースライン（明示的な意図なしの生成）を一貫して上回ることを示しています。さらに、SWIはChain-of-ThoughtやPlan-and-Solveといった回答トリガー型プロンプト手法を凌駕し、強力な手法であるARR（Analyzing, Retrieving, and Reasoning）と競合する性能を維持しています。また、推論集約型の質問応答（QA）やテキスト要約のベンチマークにおいても、SWIの有効性と汎用性が確かめられており、SWIはベースライン生成に一貫した改善をもたらします。テキスト要約では、SWIによって生成された要約は、より正確で簡潔であり、事実の正確性が高く、幻覚（hallucination）が少ないことが示されています。さらに、人間による評価を通じて、SWIが生成する意図の一貫性、有効性、解釈可能性が検証されています。この概念実証研究は、認知的観念を用いてLLMの推論能力を強化するための新たな道を切り開くものです。

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.