OLMoTrace: 수조 개의 학습 토큰으로부터 언어 모델 출력의 근원 추적

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

April 9, 2025

저자: Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge

cs.AI

초록

우리는 언어 모델의 출력을 실시간으로 수조 토큰 규모의 전체 학습 데이터에 추적할 수 있는 최초의 시스템인 OLMoTrace를 소개한다. OLMoTrace는 언어 모델 출력의 일부와 학습 텍스트 코퍼스 내 문서 간의 정확한 일치를 찾아 보여준다. Liu 등(2024)이 제안한 infini-gram의 확장 버전을 기반으로 구축된 이 시스템은 몇 초 내에 추적 결과를 반환한다. OLMoTrace는 사용자가 학습 데이터의 관점에서 언어 모델의 동작을 이해하는 데 도움을 줄 수 있다. 우리는 이를 통해 사실 확인, 환각(hallucination) 현상, 그리고 언어 모델의 창의성을 탐구하는 방법을 보여준다. OLMoTrace는 공개적으로 이용 가능하며 완전히 오픈소스로 제공된다.

English

We present OLMoTrace, the first system that traces the outputs of language models back to their full, multi-trillion-token training data in real time. OLMoTrace finds and shows verbatim matches between segments of language model output and documents in the training text corpora. Powered by an extended version of infini-gram (Liu et al., 2024), our system returns tracing results within a few seconds. OLMoTrace can help users understand the behavior of language models through the lens of their training data. We showcase how it can be used to explore fact checking, hallucination, and the creativity of language models. OLMoTrace is publicly available and fully open-source.