SWI: Hablar con Intención en Modelos de Lenguaje a Gran Escala

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Autores: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Resumen

La intención, típicamente formulada y planificada de manera clara, funciona como un marco cognitivo para el razonamiento y la resolución de problemas. Este artículo introduce el concepto de Hablar con Intención (SWI, por sus siglas en inglés) en los modelos de lenguaje de gran escala (LLMs), donde la intención generada explícitamente encapsula la intención subyacente del modelo y proporciona una planificación de alto nivel para guiar el análisis y la comunicación posteriores. Al emular pensamientos deliberados y con propósito en la mente humana, se hipotetiza que SWI mejora las capacidades de razonamiento y la calidad de la generación de los LLMs. Experimentos extensos en benchmarks de razonamiento matemático demuestran consistentemente la superioridad de Hablar con Intención sobre la Línea Base (es decir, generación sin intención explícita). Además, SWI supera a los métodos de prompting basados en respuestas como Cadena de Pensamiento (Chain-of-Thought) y Planificar y Resolver (Plan-and-Solve) y mantiene un rendimiento competitivo con el método fuerte ARR (Analizar, Recuperar y Razonar). Adicionalmente, la efectividad y generalización de SWI se consolidan en benchmarks de preguntas y respuestas (QA) intensivas en razonamiento y resumen de texto, donde SWI aporta mejoras consistentes a la generación de la Línea Base. En la tarea de resumen de texto, los resúmenes generados por SWI exhiben mayor precisión, concisión y corrección factual, con menos alucinaciones. Además, evaluaciones humanas verifican la coherencia, efectividad e interpretabilidad de la intención producida por SWI. Este estudio de prueba de concepto abre una nueva vía para mejorar las habilidades de razonamiento de los LLMs mediante nociones cognitivas.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.