Entfesselung der antizipierenden Textgenerierung: Ein eingeschränkter Ansatz für treues Decodieren mit großen Sprachmodellen

Unlocking Anticipatory Text Generation: A Constrained Approach for Faithful Decoding with Large Language Models

December 11, 2023

Autoren: Lifu Tu, Semih Yavuz, Jin Qu, Jiacheng Xu, Rui Meng, Caiming Xiong, Yingbo Zhou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine beeindruckende Fähigkeit zur Textgenerierung gezeigt. Das Erzielen optimaler Ergebnisse mit einem gegebenen Prompt oder einer Anweisung kann jedoch herausfordernd sein, insbesondere bei Modellen mit Milliarden von Parametern. Zudem können unerwünschte Verhaltensweisen wie Toxizität oder Halluzinationen auftreten. Obwohl deutlich größere Modelle (z. B. ChatGPT) Stärken bei der Minderung dieser Probleme zeigen können, gibt es dennoch keine Garantie für deren vollständige Vermeidung. In dieser Arbeit schlagen wir vor, die Textgenerierung als ein zukunftsbeschränktes Generierungsproblem zu formalisieren, um unerwünschte Verhaltensweisen zu minimieren und die Treue zu Anweisungen zu gewährleisten. Die Abschätzung der zukünftigen Beschränkungserfüllung, die mithilfe von LLMs durchgeführt wird, leitet den Textgenerierungsprozess. Unsere umfangreichen Experimente demonstrieren die Wirksamkeit des vorgeschlagenen Ansatzes in drei verschiedenen Textgenerierungsaufgaben: schlüsselwortbeschränkte Generierung (Lin et al., 2020), Toxizitätsreduktion (Gehman et al., 2020) und faktische Korrektheit bei der Beantwortung von Fragen (Gao et al., 2023).

English

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).