HoT: Gemarkeerde Gedachtegang voor het Refereren aan Ondersteunende Feiten uit Invoergegevens

HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs

March 3, 2025

Auteurs: Tin Nguyen, Logan Bolton, Mohammad Reza Taesiri, Anh Totti Nguyen

cs.AI

Samenvatting

Een achilleshiel van Large Language Models (LLM's) is hun neiging om niet-feitelijke uitspraken te hallucineren. Een antwoord dat een mix van feitelijke en niet-feitelijke uitspraken bevat, vormt een uitdaging voor mensen om te verifiëren en hun beslissingen nauwkeurig op te baseren. Om dit probleem aan te pakken, stellen we Highlighted Chain-of-Thought Prompting (HoT) voor, een techniek om LLM's aan te zetten tot het genereren van reacties met XML-tags die feiten koppelen aan die in de query worden verstrekt. Dat wil zeggen, gegeven een invoervraag, zouden LLM's eerst de vraag herformatteren om XML-tags toe te voegen die belangrijke feiten benadrukken, en vervolgens een antwoord genereren met markeringen over de feiten die uit de invoer worden geciteerd. Interessant is dat HoT in few-shot settings beter presteert dan standaard chain of thought prompting (CoT) op een breed scala van 17 taken, variërend van rekenkunde en begrijpend lezen tot logisch redeneren. Wanneer mensen worden gevraagd om LLM-reacties te verifiëren, helpen markeringen tijdgebonden deelnemers om nauwkeuriger en efficiënter te herkennen wanneer LLM's correct zijn. Toch, verrassend genoeg, wanneer LLM's fout zijn, hebben HoT's de neiging om gebruikers te laten geloven dat een antwoord correct is.

English

An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.