SWI: Sprechen mit Absicht in großen Sprachmodellen

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Autoren: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Zusammenfassung

Absicht, in der Regel klar formuliert und geplant, fungiert als kognitiver Rahmen für das Denken und Problemlösen. Diese Arbeit führt das Konzept des „Sprechens mit Absicht“ (Speaking with Intent, SWI) in großen Sprachmodellen (Large Language Models, LLMs) ein, wobei die explizit generierte Absicht die zugrunde liegende Intention des Modells verkörpert und eine übergeordnete Planung bietet, um nachfolgende Analysen und Kommunikation zu steuern. Durch die Nachahmung bewusster und zielgerichteter Gedanken im menschlichen Geist wird vermutet, dass SWI die Denkfähigkeiten und die Generierungsqualität von LLMs verbessert. Umfangreiche Experimente auf mathematischen Denkbenchmarks zeigen durchgängig die Überlegenheit von „Sprechen mit Absicht“ gegenüber der Baseline (d. h. Generierung ohne explizite Absicht). Darüber hinaus übertrifft SWI die Antwort-Trigger-Prompting-Methoden Chain-of-Thought und Plan-and-Solve und hält mit der starken Methode ARR (Analyzing, Retrieving, and Reasoning) Schritt. Zusätzlich wird die Wirksamkeit und Generalisierbarkeit von SWI auf reasoning-intensiven Frage-Antwort-(QA)- und Textzusammenfassungs-Benchmarks bestätigt, wo SWI eine konsistente Verbesserung gegenüber der Baseline-Generierung bringt. Bei der Textzusammenfassung weisen SWI-generierte Zusammenfassungen eine höhere Genauigkeit, Prägnanz und faktische Korrektheit auf, mit weniger Halluzinationen. Darüber hinaus bestätigen menschliche Bewertungen die Kohärenz, Wirksamkeit und Interpretierbarkeit der von SWI erzeugten Absicht. Diese Machbarkeitsstudie eröffnet einen neuen Weg zur Verbesserung der Denkfähigkeiten von LLMs durch kognitive Konzepte.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.