Alineación de Fuentes Confiables en Modelos de Lenguaje a Gran Escala

Trusted Source Alignment in Large Language Models

November 12, 2023

Autores: Vasilisa Bashlovkina, Zhaobin Kuang, Riley Matthews, Edward Clifford, Yennie Jun, William W. Cohen, Simon Baumgartner

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se entrenan con corpus de escala web que inevitablemente incluyen información factual contradictoria proveniente de fuentes de diversa confiabilidad. En este artículo, proponemos medir una propiedad de los LLMs llamada alineación con fuentes confiables (TSA, por sus siglas en inglés): la tendencia del modelo a alinearse con contenido producido por publicaciones confiables frente a la incertidumbre o la controversia. Presentamos FactCheckQA, un conjunto de datos de evaluación de TSA basado en un corpus de artículos de verificación de hechos. Describimos un protocolo simple para evaluar la TSA y ofrecemos un análisis detallado de consideraciones de diseño, incluyendo la extracción de respuestas, la contextualización de afirmaciones y el sesgo en la formulación de indicaciones. Al aplicar el protocolo a PaLM-2, encontramos que, a medida que aumentamos el tamaño del modelo, su rendimiento en FactCheckQA mejora desde una precisión equilibrada cercana al azar hasta un 80% en la alineación con fuentes confiables.

English

Large language models (LLMs) are trained on web-scale corpora that inevitably include contradictory factual information from sources of varying reliability. In this paper, we propose measuring an LLM property called trusted source alignment (TSA): the model's propensity to align with content produced by trusted publishers in the face of uncertainty or controversy. We present FactCheckQA, a TSA evaluation dataset based on a corpus of fact checking articles. We describe a simple protocol for evaluating TSA and offer a detailed analysis of design considerations including response extraction, claim contextualization, and bias in prompt formulation. Applying the protocol to PaLM-2, we find that as we scale up the model size, the model performance on FactCheckQA improves from near-random to up to 80% balanced accuracy in aligning with trusted sources.