OLMoTrace : Retracer les sorties des modèles de langage jusqu'aux billions de tokens d'entraînement

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

April 9, 2025

Auteurs: Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge

cs.AI

Résumé

Nous présentons OLMoTrace, le premier système capable de retracer en temps réel les sorties des modèles de langage jusqu'à leurs données d'entraînement complètes, composées de plusieurs milliers de milliards de tokens. OLMoTrace identifie et affiche les correspondances textuelles exactes entre des segments de sortie des modèles de langage et des documents issus des corpus de textes d'entraînement. Propulsé par une version étendue d'infini-gram (Liu et al., 2024), notre système renvoie les résultats de traçage en quelques secondes. OLMoTrace permet aux utilisateurs de mieux comprendre le comportement des modèles de langage à travers le prisme de leurs données d'entraînement. Nous démontrons comment il peut être utilisé pour explorer la vérification des faits, les hallucinations et la créativité des modèles de langage. OLMoTrace est accessible au public et entièrement open-source.

English

We present OLMoTrace, the first system that traces the outputs of language models back to their full, multi-trillion-token training data in real time. OLMoTrace finds and shows verbatim matches between segments of language model output and documents in the training text corpora. Powered by an extended version of infini-gram (Liu et al., 2024), our system returns tracing results within a few seconds. OLMoTrace can help users understand the behavior of language models through the lens of their training data. We showcase how it can be used to explore fact checking, hallucination, and the creativity of language models. OLMoTrace is publicly available and fully open-source.