Vertrouwde Bronuitlijning in Grote Taalmodellen

Trusted Source Alignment in Large Language Models

November 12, 2023

Auteurs: Vasilisa Bashlovkina, Zhaobin Kuang, Riley Matthews, Edward Clifford, Yennie Jun, William W. Cohen, Simon Baumgartner

cs.AI

Samenvatting

Grote taalmmodellen (LLM's) worden getraind op web-schaal corpora die onvermijdelijk tegenstrijdige feitelijke informatie bevatten uit bronnen van uiteenlopende betrouwbaarheid. In dit artikel stellen we voor om een eigenschap van LLM's te meten die we 'trusted source alignment' (TSA) noemen: de neiging van het model om zich aan te sluiten bij inhoud die is geproduceerd door vertrouwde uitgevers in het geval van onzekerheid of controverse. We presenteren FactCheckQA, een TSA-evaluatiedataset gebaseerd op een corpus van factcheck-artikelen. We beschrijven een eenvoudig protocol voor het evalueren van TSA en bieden een gedetailleerde analyse van ontwerpoverwegingen, waaronder respons-extractie, claim-contextualisering en bias in promptformulering. Door het protocol toe te passen op PaLM-2, constateren we dat naarmate we de modelgrootte opschalen, de modelprestaties op FactCheckQA verbeteren van bijna willekeurig tot wel 80% gebalanceerde nauwkeurigheid in het afstemmen op vertrouwde bronnen.

English

Large language models (LLMs) are trained on web-scale corpora that inevitably include contradictory factual information from sources of varying reliability. In this paper, we propose measuring an LLM property called trusted source alignment (TSA): the model's propensity to align with content produced by trusted publishers in the face of uncertainty or controversy. We present FactCheckQA, a TSA evaluation dataset based on a corpus of fact checking articles. We describe a simple protocol for evaluating TSA and offer a detailed analysis of design considerations including response extraction, claim contextualization, and bias in prompt formulation. Applying the protocol to PaLM-2, we find that as we scale up the model size, the model performance on FactCheckQA improves from near-random to up to 80% balanced accuracy in aligning with trusted sources.