SWI : Parler avec intention dans les grands modèles de langage

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Auteurs: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Résumé

L'intention, généralement formulée et planifiée de manière claire, fonctionne comme un cadre cognitif pour le raisonnement et la résolution de problèmes. Cet article introduit le concept de Parler avec Intention (Speaking with Intent, SWI) dans les grands modèles de langage (LLMs), où l'intention explicitement générée encapsule l'intention sous-jacente du modèle et fournit une planification de haut niveau pour guider l'analyse et la communication ultérieures. En imitant les pensées délibérées et intentionnelles de l'esprit humain, SWI est supposé améliorer les capacités de raisonnement et la qualité de génération des LLMs. Des expériences approfondies sur des benchmarks de raisonnement mathématique démontrent systématiquement la supériorité de Parler avec Intention par rapport à la ligne de base (c'est-à-dire, la génération sans intention explicite). De plus, SWI surpasse les méthodes de promptage déclenché par réponse Chain-of-Thought et Plan-and-Solve et maintient des performances compétitives avec la méthode forte ARR (Analyzing, Retrieving, and Reasoning). Par ailleurs, l'efficacité et la généralisabilité de SWI sont renforcées sur des benchmarks de question-réponse (QA) intensifs en raisonnement et de résumé de texte, où SWI apporte une amélioration constante à la génération de base. Dans le résumé de texte, les résumés générés par SWI présentent une plus grande précision, concision et exactitude factuelle, avec moins d'hallucinations. En outre, les évaluations humaines vérifient la cohérence, l'efficacité et l'interprétabilité de l'intention produite par SWI. Cette étude de preuve de concept ouvre une nouvelle voie pour améliorer les capacités de raisonnement des LLMs avec des notions cognitives.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.