SWI: Говорить с намерением в крупных языковых моделях

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Авторы: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Аннотация

Намерение, обычно четко сформулированное и спланированное, служит когнитивной основой для рассуждений и решения задач. В данной статье представлена концепция "Говорения с намерением" (Speaking with Intent, SWI) в больших языковых моделях (LLM), где явно сгенерированное намерение отражает скрытую цель модели и предоставляет высокоуровневое планирование для последующего анализа и коммуникации. Подражая осознанным и целенаправленным мыслям человеческого разума, SWI, как предполагается, улучшает способности к рассуждению и качество генерации LLM. Многочисленные эксперименты на тестах математического рассуждения последовательно демонстрируют превосходство "Говорения с намерением" над базовым подходом (т.е. генерацией без явного намерения). Более того, SWI превосходит методы подсказок с триггерами ответов, такие как "Цепочка мыслей" (Chain-of-Thought) и "Планирование и решение" (Plan-and-Solve), и сохраняет конкурентоспособность с мощным методом ARR (Анализ, Извлечение и Рассуждение). Кроме того, эффективность и универсальность SWI подтверждаются на тестах, требующих интенсивного рассуждения, таких как ответы на вопросы (QA) и суммаризация текста, где SWI обеспечивает стабильное улучшение базовой генерации. В суммаризации текста сводки, созданные с использованием SWI, демонстрируют большую точность, лаконичность и фактическую достоверность, с меньшим количеством галлюцинаций. Кроме того, человеческие оценки подтверждают связность, эффективность и интерпретируемость намерений, созданных SWI. Это исследование, представляющее собой доказательство концепции, открывает новый путь для улучшения способностей LLM к рассуждению с использованием когнитивных концепций.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.