El Ranking FACTS: Un Punto de Referencia Integral para la Veracidad de los Modelos de Lenguaje Grande

The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality

December 11, 2025

Autores: Aileen Cheng, Alon Jacovi, Amir Globerson, Ben Golan, Charles Kwong, Chris Alberti, Connie Tao, Eyal Ben-David, Gaurav Singh Tomar, Lukas Haas, Yonatan Bitton, Adam Bloniarz, Aijun Bai, Andrew Wang, Anfal Siddiqui, Arturo Bajuelos Castillo, Aviel Atias, Chang Liu, Corey Fry, Daniel Balle, Deepanway Ghosal, Doron Kukliansky, Dror Marcus, Elena Gribovskaya, Eran Ofek, Honglei Zhuang, Itay Laish, Jan Ackermann, Lily Wang, Meg Risdal, Megan Barnes, Michael Fink, Mohamed Amin, Moran Ambar, Natan Potikha, Nikita Gupta, Nitzan Katz, Noam Velan, Ofir Roval, Ori Ram, Polina Zablotskaia, Prathamesh Bang, Priyanka Agrawal, Rakesh Ghiya, Sanjay Ganapathy, Simon Baumgartner, Sofia Erell, Sushant Prakash, Thibault Sellam, Vikram Rao, Xuanhui Wang, Yaroslav Akulov, Yulong Yang, Zhen Yang, Zhixin Lai, Zhongru Wu, Anca Dragan, Avinatan Hassidim, Fernando Pereira, Slav Petrov, Srinivasan Venkatachary, Tulsee Doshi, Yossi Matias, Sasha Goldshtein, Dipanjan Das

cs.AI

Resumen

Presentamos The FACTS Leaderboard, un conjunto de tablas de clasificación en línea y un conjunto asociado de puntos de referencia que evalúa exhaustivamente la capacidad de los modelos de lenguaje para generar texto factualmente preciso en diversos escenarios. El conjunto proporciona una medida holística de la factualidad agregando el rendimiento de los modelos en cuatro subclasificaciones distintas: (1) FACTS Multimodal, que mide la factualidad de las respuestas a preguntas basadas en imágenes; (2) FACTS Parametric, que evalúa el conocimiento mundial de los modelos mediante la respuesta a preguntas factuales de libro cerrado a partir de sus parámetros internos; (3) FACTS Search, que evalúa la factualidad en escenarios de búsqueda de información, donde el modelo debe utilizar una API de búsqueda; y (4) FACTS Grounding (v2), que evalúa si las respuestas de formato largo están fundamentadas en documentos proporcionados, y que cuenta con modelos evaluadores significativamente mejorados. Cada subclasificación emplea modelos evaluadores automatizados para puntuar las respuestas de los modelos, y la puntuación final del conjunto es un promedio de los cuatro componentes, diseñado para proporcionar una evaluación sólida y equilibrada de la factualidad general de un modelo. El conjunto FACTS Leaderboard se mantendrá activamente y contendrá divisiones públicas y privadas para permitir la participación externa mientras se protege su integridad. Puede encontrarse en https://www.kaggle.com/benchmarks/google/facts.

English

We introduce The FACTS Leaderboard, an online leaderboard suite and associated set of benchmarks that comprehensively evaluates the ability of language models to generate factually accurate text across diverse scenarios. The suite provides a holistic measure of factuality by aggregating the performance of models on four distinct sub-leaderboards: (1) FACTS Multimodal, which measures the factuality of responses to image-based questions; (2) FACTS Parametric, which assesses models' world knowledge by answering closed-book factoid questions from internal parameters; (3) FACTS Search, which evaluates factuality in information-seeking scenarios, where the model must use a search API; and (4) FACTS Grounding (v2), which evaluates whether long-form responses are grounded in provided documents, featuring significantly improved judge models. Each sub-leaderboard employs automated judge models to score model responses, and the final suite score is an average of the four components, designed to provide a robust and balanced assessment of a model's overall factuality. The FACTS Leaderboard Suite will be actively maintained, containing both public and private splits to allow for external participation while guarding its integrity. It can be found at https://www.kaggle.com/benchmarks/google/facts .