Alignement des sources fiables dans les modèles de langage de grande taille

Trusted Source Alignment in Large Language Models

November 12, 2023

papers.authors: Vasilisa Bashlovkina, Zhaobin Kuang, Riley Matthews, Edward Clifford, Yennie Jun, William W. Cohen, Simon Baumgartner

cs.AI

papers.abstract

Les grands modèles de langage (LLM) sont entraînés sur des corpus à l'échelle du web qui incluent inévitablement des informations factuelles contradictoires provenant de sources de fiabilité variable. Dans cet article, nous proposons de mesurer une propriété des LLM appelée alignement avec les sources fiables (TSA) : la propension du modèle à s'aligner sur le contenu produit par des éditeurs de confiance face à l'incertitude ou à la controverse. Nous présentons FactCheckQA, un ensemble de données d'évaluation de la TSA basé sur un corpus d'articles de vérification des faits. Nous décrivons un protocole simple pour évaluer la TSA et offrons une analyse détaillée des considérations de conception, y compris l'extraction des réponses, la contextualisation des affirmations et les biais dans la formulation des prompts. En appliquant ce protocole à PaLM-2, nous constatons qu'à mesure que nous augmentons la taille du modèle, la performance sur FactCheckQA s'améliore, passant d'une précision équilibrée proche du hasard à jusqu'à 80 % dans l'alignement avec les sources fiables.

English

Large language models (LLMs) are trained on web-scale corpora that inevitably include contradictory factual information from sources of varying reliability. In this paper, we propose measuring an LLM property called trusted source alignment (TSA): the model's propensity to align with content produced by trusted publishers in the face of uncertainty or controversy. We present FactCheckQA, a TSA evaluation dataset based on a corpus of fact checking articles. We describe a simple protocol for evaluating TSA and offer a detailed analysis of design considerations including response extraction, claim contextualization, and bias in prompt formulation. Applying the protocol to PaLM-2, we find that as we scale up the model size, the model performance on FactCheckQA improves from near-random to up to 80% balanced accuracy in aligning with trusted sources.