OLMoTrace: Het Terugvoeren van Taalmodeluitvoer naar Biljoenen Trainings- Tokens
OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
April 9, 2025
Auteurs: Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge
cs.AI
Samenvatting
We presenteren OLMoTrace, het eerste systeem dat de uitvoer van taalmodel-
len in realtime terugvoert naar hun volledige, multi-trillion-token trainingsdata.
OLMoTrace vindt en toont letterlijke overeenkomsten tussen segmenten van taal-
modeluitvoer en documenten in de trainingscorpora. Aangedreven door een uitge-
breide versie van infini-gram (Liu et al., 2024), levert ons systeem tracerings-
resultaten binnen enkele seconden op. OLMoTrace kan gebruikers helpen het ge-
drag van taalmodel-len te begrijpen door de lens van hun trainingsdata. We laten
zien hoe het kan worden gebruikt om feitencontrole, hallucinatie en de creativi-
teit van taalmodel-len te verkennen. OLMoTrace is publiekelijk beschikbaar en
volledig open-source.
English
We present OLMoTrace, the first system that traces the outputs of language
models back to their full, multi-trillion-token training data in real time.
OLMoTrace finds and shows verbatim matches between segments of language model
output and documents in the training text corpora. Powered by an extended
version of infini-gram (Liu et al., 2024), our system returns tracing results
within a few seconds. OLMoTrace can help users understand the behavior of
language models through the lens of their training data. We showcase how it can
be used to explore fact checking, hallucination, and the creativity of language
models. OLMoTrace is publicly available and fully open-source.