HoT: Hervorgehobene Gedankenkette zur Referenzierung unterstützender Fakten aus Eingaben

HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs

March 3, 2025

Autoren: Tin Nguyen, Logan Bolton, Mohammad Reza Taesiri, Anh Totti Nguyen

cs.AI

Zusammenfassung

Eine Achillesferse von Large Language Models (LLMs) ist ihre Tendenz, nicht-faktische Aussagen zu halluzinieren. Eine Antwort, die aus faktischen und nicht-faktischen Aussagen gemischt ist, stellt eine Herausforderung für Menschen dar, diese zu überprüfen und ihre Entscheidungen darauf zu basieren. Um dieses Problem zu bekämpfen, schlagen wir Highlighted Chain-of-Thought Prompting (HoT) vor, eine Technik, um LLMs dazu anzuregen, Antworten mit XML-Tags zu generieren, die Fakten auf die in der Anfrage bereitgestellten Informationen stützen. Das heißt, bei einer Eingabefrage würden LLMs die Frage zunächst neu formatieren, um XML-Tags hinzuzufügen, die Schlüsselfakten hervorheben, und dann eine Antwort mit Hervorhebungen über die aus der Eingabe referenzierten Fakten generieren. Interessanterweise übertrifft HoT in Few-Shot-Szenarien das herkömmliche Chain-of-Thought Prompting (CoT) bei einer Vielzahl von 17 Aufgaben, die von Arithmetik über Leseverständnis bis hin zu logischem Denken reichen. Wenn Menschen aufgefordert werden, LLM-Antworten zu überprüfen, helfen die Hervorhebungen zeitlich begrenzten Teilnehmern, genauer und effizienter zu erkennen, wann LLMs richtig liegen. Überraschenderweise neigen HoTs jedoch dazu, Benutzer dazu zu verleiten, eine Antwort für korrekt zu halten, wenn LLMs falsch liegen.

English

An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.