HoT: Cadena de Pensamiento Resaltada para Referenciar Hechos de Apoyo desde las Entradas

HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs

March 3, 2025

Autores: Tin Nguyen, Logan Bolton, Mohammad Reza Taesiri, Anh Totti Nguyen

cs.AI

Resumen

Un punto débil de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) es su tendencia a generar afirmaciones no factuales, es decir, a alucinar. Una respuesta que mezcla declaraciones factuales y no factuales representa un desafío para los humanos, ya que dificulta la verificación y la toma de decisiones basadas en información precisa. Para abordar este problema, proponemos la técnica de Prompting de Cadena de Pensamiento Resaltado (HoT, por sus siglas en inglés), un método para guiar a los LLMs a generar respuestas con etiquetas XML que vinculan los hechos a los proporcionados en la consulta. Es decir, dada una pregunta de entrada, los LLMs primero reformatearían la pregunta para agregar etiquetas XML que resalten los hechos clave y, luego, generarían una respuesta con resaltados sobre los hechos referenciados en la entrada. Curiosamente, en entornos de pocos ejemplos (few-shot), HoT supera al prompting de cadena de pensamiento tradicional (CoT) en una amplia gama de 17 tareas, que van desde aritmética y comprensión lectora hasta razonamiento lógico. Al pedir a los humanos que verifiquen las respuestas de los LLMs, los resaltados ayudan a los participantes con tiempo limitado a reconocer de manera más precisa y eficiente cuándo los LLMs están en lo correcto. Sin embargo, sorprendentemente, cuando los LLMs se equivocan, HoT tiende a hacer que los usuarios crean que una respuesta es correcta.

English

An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.