Taalmodellen trainen op de kennisgrafiek: inzichten in hallucinaties en hun detecteerbaarheid
Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability
August 14, 2024
Auteurs: Jiri Hron, Laura Culp, Gamaleldin Elsayed, Rosanne Liu, Ben Adlam, Maxwell Bileschi, Bernd Bohnet, JD Co-Reyes, Noah Fiedel, C. Daniel Freeman, Izzeddin Gur, Kathleen Kenealy, Jaehoon Lee, Peter J. Liu, Gaurav Mishra, Igor Mordatch, Azade Nova, Roman Novak, Aaron Parisi, Jeffrey Pennington, Alex Rizkowsky, Isabelle Simpson, Hanie Sedghi, Jascha Sohl-dickstein, Kevin Swersky, Sharad Vikram, Tris Warkentin, Lechao Xiao, Kelvin Xu, Jasper Snoek, Simon Kornblith
cs.AI
Samenvatting
Hoewel veel capaciteiten van taalmodelen (LMs) verbeteren met een groter
trainingsbudget, is de invloed van schaal op hallucinaties nog niet volledig
begrepen. Hallucinaties komen in vele vormen voor, en er is geen universeel
geaccepteerde definitie. We richten ons daarom op het bestuderen van alleen die
hallucinaties waarbij een correct antwoord letterlijk in de trainingsset voorkomt.
Om de inhoud van de trainingsdata volledig te controleren, construeren we een
op een kennisgrafiek (KG) gebaseerde dataset en gebruiken deze om een reeks
steeds grotere LMs te trainen. We ontdekken dat voor een vaste dataset grotere
en langer getrainde LMs minder hallucineren. Echter, hallucineren op ≤5% van de
trainingsdata vereist een model dat een orde van grootte groter is, en dus een
orde van grootte meer rekenkracht, dan Hoffmann et al. (2022) rapporteerden als
optimaal. Gezien deze kostbaarheid bestuderen we hoe hallucinatiedetectoren
afhankelijk zijn van schaal. Hoewel we zien dat de grootte van de detector de
prestaties op de uitvoer van een vast LM verbetert, vinden we een omgekeerde
relatie tussen de schaal van het LM en de detecteerbaarheid van zijn hallucinaties.
English
While many capabilities of language models (LMs) improve with increased
training budget, the influence of scale on hallucinations is not yet fully
understood. Hallucinations come in many forms, and there is no universally
accepted definition. We thus focus on studying only those hallucinations where
a correct answer appears verbatim in the training set. To fully control the
training data content, we construct a knowledge graph (KG)-based dataset, and
use it to train a set of increasingly large LMs. We find that for a fixed
dataset, larger and longer-trained LMs hallucinate less. However, hallucinating
on leq5% of the training data requires an order of magnitude larger model,
and thus an order of magnitude more compute, than Hoffmann et al. (2022)
reported was optimal. Given this costliness, we study how hallucination
detectors depend on scale. While we see detector size improves performance on
fixed LM's outputs, we find an inverse relationship between the scale of the LM
and the detectability of its hallucinations.