Débloquer la génération de texte anticipatoire : Une approche contrainte pour un décodage fidèle avec les grands modèles de langage

Unlocking Anticipatory Text Generation: A Constrained Approach for Faithful Decoding with Large Language Models

December 11, 2023

Auteurs: Lifu Tu, Semih Yavuz, Jin Qu, Jiacheng Xu, Rui Meng, Caiming Xiong, Yingbo Zhou

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré une puissante capacité de génération de texte. Cependant, obtenir des résultats optimaux avec un prompt ou une instruction donnée peut s'avérer difficile, en particulier pour les modèles de taille milliardaire. De plus, des comportements indésirables tels que la toxicité ou les hallucinations peuvent se manifester. Bien que des modèles beaucoup plus grands (par exemple, ChatGPT) puissent montrer une certaine efficacité pour atténuer ces problèmes, il n'existe toujours aucune garantie de prévention complète. Dans ce travail, nous proposons de formaliser la génération de texte comme un problème de génération contrainte par l'avenir, afin de minimiser les comportements indésirables et de garantir la fidélité aux instructions. L'estimation de la satisfaction des contraintes futures, réalisée à l'aide de LLMs, guide le processus de génération de texte. Nos expériences approfondies démontrent l'efficacité de l'approche proposée sur trois tâches distinctes de génération de texte : la génération contrainte par mots-clés (Lin et al., 2020), la réduction de la toxicité (Gehman et al., 2020) et l'exactitude factuelle dans les systèmes de question-réponse (Gao et al., 2023).

English

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).