HoT: Catena di Pensiero Evidenziata per il Riferimento a Fatti di Supporto dagli Input

HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs

March 3, 2025

Autori: Tin Nguyen, Logan Bolton, Mohammad Reza Taesiri, Anh Totti Nguyen

cs.AI

Abstract

Un punto debole dei Large Language Models (LLM) è la loro tendenza a generare affermazioni non veritiere, note come "allucinazioni". Una risposta che mescola affermazioni veritiere e non veritiere rappresenta una sfida per gli esseri umani, che faticano a verificarle e a basare le proprie decisioni in modo accurato. Per affrontare questo problema, proponiamo il metodo Highlighted Chain-of-Thought Prompting (HoT), una tecnica che guida i LLM a generare risposte con tag XML che ancorano i fatti a quelli forniti nella query. In pratica, data una domanda in input, i LLM prima riformattano la domanda aggiungendo tag XML che evidenziano i fatti chiave, e poi generano una risposta con evidenziazioni sui fatti riferiti all'input. Curiosamente, in contesti few-shot, HoT supera il classico chain of thought prompting (CoT) in un'ampia gamma di 17 task, che vanno dall'aritmetica alla comprensione del testo fino al ragionamento logico. Quando si chiede agli esseri umani di verificare le risposte dei LLM, le evidenziazioni aiutano i partecipanti con tempo limitato a riconoscere in modo più accurato ed efficiente quando i LLM hanno ragione. Tuttavia, sorprendentemente, quando i LLM sbagliano, HoT tende a far credere agli utenti che la risposta sia corretta.

English

An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.