Una Visión General de los Modelos de Lenguaje a Gran Escala para Estadísticos

An Overview of Large Language Models for Statisticians

February 25, 2025

Autores: Wenlong Ji, Weizhe Yuan, Emily Getzen, Kyunghyun Cho, Michael I. Jordan, Song Mei, Jason E Weston, Weijie J. Su, Jing Xu, Linjun Zhang

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han surgido como herramientas transformadoras en la inteligencia artificial (IA), demostrando capacidades notables en diversas tareas como la generación de texto, el razonamiento y la toma de decisiones. Si bien su éxito se ha impulsado principalmente por avances en el poder computacional y las arquitecturas de aprendizaje profundo, los problemas emergentes —en áreas como la cuantificación de incertidumbre, la toma de decisiones, la inferencia causal y el cambio de distribución— requieren una mayor interacción con el campo de la estadística. Este artículo explora áreas potenciales en las que los estadísticos pueden realizar contribuciones importantes al desarrollo de los LLMs, particularmente aquellos que buscan fomentar la confiabilidad y la transparencia para los usuarios humanos. Así, nos enfocamos en temas como la cuantificación de incertidumbre, la interpretabilidad, la equidad, la privacidad, la marca de agua y la adaptación de modelos. También consideramos posibles roles de los LLMs en el análisis estadístico. Al tender puentes entre la IA y la estadística, buscamos fomentar una colaboración más profunda que avance tanto los fundamentos teóricos como las aplicaciones prácticas de los LLMs, moldeando finalmente su papel en la resolución de desafíos sociales complejos.

English

Large Language Models (LLMs) have emerged as transformative tools in artificial intelligence (AI), exhibiting remarkable capabilities across diverse tasks such as text generation, reasoning, and decision-making. While their success has primarily been driven by advances in computational power and deep learning architectures, emerging problems -- in areas such as uncertainty quantification, decision-making, causal inference, and distribution shift -- require a deeper engagement with the field of statistics. This paper explores potential areas where statisticians can make important contributions to the development of LLMs, particularly those that aim to engender trustworthiness and transparency for human users. Thus, we focus on issues such as uncertainty quantification, interpretability, fairness, privacy, watermarking and model adaptation. We also consider possible roles for LLMs in statistical analysis. By bridging AI and statistics, we aim to foster a deeper collaboration that advances both the theoretical foundations and practical applications of LLMs, ultimately shaping their role in addressing complex societal challenges.