SWI: Falando com Intenção em Modelos de Linguagem de Grande Escala

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Autores: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Resumo

A intenção, tipicamente formulada e planejada de forma clara, funciona como uma estrutura cognitiva para raciocínio e resolução de problemas. Este artigo introduz o conceito de Falar com Intenção (SWI, do inglês *Speaking with Intent*) em modelos de linguagem de grande escala (LLMs), onde a intenção explicitamente gerada encapsula a intenção subjacente do modelo e fornece um planejamento de alto nível para guiar análises e comunicações subsequentes. Ao emular pensamentos deliberados e propositais da mente humana, o SWI é hipotetizado para aprimorar as capacidades de raciocínio e a qualidade de geração dos LLMs. Experimentos extensivos em benchmarks de raciocínio matemático demonstram consistentemente a superioridade do Falar com Intenção em relação à Linha de Base (ou seja, geração sem intenção explícita). Além disso, o SWI supera métodos de *prompting* baseados em gatilhos de resposta, como *Chain-of-Thought* e *Plan-and-Solve*, e mantém desempenho competitivo com o método robusto ARR (*Analyzing, Retrieving, and Reasoning*). Adicionalmente, a eficácia e generalizabilidade do SWI são solidificadas em benchmarks de questionamento e resposta (QA) intensivos em raciocínio e de sumarização de texto, onde o SWI traz melhorias consistentes em relação à geração da Linha de Base. Na sumarização de texto, os resumos gerados pelo SWI exibem maior precisão, concisão e correção factual, com menos alucinações. Além disso, avaliações humanas verificam a coerência, eficácia e interpretabilidade da intenção produzida pelo SWI. Este estudo de prova de conceito abre uma nova via para aprimorar as habilidades de raciocínio dos LLMs com noções cognitivas.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.