SWI: Spreken met Intentie in Grote Taalmodellen

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Auteurs: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Samenvatting

Intentie, doorgaans duidelijk geformuleerd en gepland, fungeert als een cognitief raamwerk voor redeneren en probleemoplossing. Dit artikel introduceert het concept van Spreken met Intentie (SWI) in grote taalmodellen (LLMs), waarbij de expliciet gegenereerde intentie de onderliggende bedoeling van het model omvat en hoogwaardige planning biedt om de daaropvolgende analyse en communicatie te sturen. Door bewuste en doelgerichte gedachten in de menselijke geest na te bootsen, wordt verondersteld dat SWI de redeneervaardigheden en generatiekwaliteit van LLMs verbetert. Uitgebreide experimenten op wiskundige redeneerbenchmarks tonen consistent de superioriteit van Spreken met Intentie aan ten opzichte van Baseline (d.w.z., generatie zonder expliciete intentie). Bovendien presteert SWI beter dan antwoord-trigger promptmethoden zoals Chain-of-Thought en Plan-and-Solve en behoudt het competitieve prestaties met de sterke methode ARR (Analyzing, Retrieving, and Reasoning). Daarnaast worden de effectiviteit en generaliseerbaarheid van SWI bevestigd op redeneerintensieve vraag-antwoord (QA) en tekstsamenvattingsbenchmarks, waarbij SWI consistente verbeteringen brengt ten opzichte van Baseline-generatie. Bij tekstsamenvattingen vertonen SWI-gegenereerde samenvattingen grotere nauwkeurigheid, bondigheid en feitelijke correctheid, met minder hallucinaties. Bovendien bevestigen menselijke evaluaties de samenhang, effectiviteit en interpreteerbaarheid van de intentie geproduceerd door SWI. Deze proof-of-concept studie opent een nieuwe weg voor het verbeteren van de redeneervaardigheden van LLMs met cognitieve noties.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.