Un Aperçu des Grands Modèles de Langage pour les Statisticiens

An Overview of Large Language Models for Statisticians

February 25, 2025

Auteurs: Wenlong Ji, Weizhe Yuan, Emily Getzen, Kyunghyun Cho, Michael I. Jordan, Song Mei, Jason E Weston, Weijie J. Su, Jing Xu, Linjun Zhang

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont émergé comme des outils transformateurs en intelligence artificielle (IA), présentant des capacités remarquables dans diverses tâches telles que la génération de texte, le raisonnement et la prise de décision. Alors que leur succès a principalement été stimulé par les progrès en puissance de calcul et en architectures d'apprentissage profond, des problèmes émergents - dans des domaines tels que la quantification de l'incertitude, la prise de décision, l'inférence causale et le décalage de distribution - nécessitent une implication plus profonde dans le domaine de la statistique. Ce document explore les domaines potentiels où les statisticiens peuvent apporter des contributions importantes au développement des LLMs, en particulier ceux visant à promouvoir la fiabilité et la transparence pour les utilisateurs humains. Ainsi, nous nous concentrons sur des questions telles que la quantification de l'incertitude, l'interprétabilité, l'équité, la confidentialité, le tatouage numérique et l'adaptation du modèle. Nous examinons également les rôles possibles des LLMs dans l'analyse statistique. En établissant un pont entre l'IA et la statistique, nous visons à favoriser une collaboration plus étroite qui fait progresser à la fois les fondements théoriques et les applications pratiques des LLMs, façonnant en fin de compte leur rôle dans la résolution de défis sociétaux complexes.

English

Large Language Models (LLMs) have emerged as transformative tools in artificial intelligence (AI), exhibiting remarkable capabilities across diverse tasks such as text generation, reasoning, and decision-making. While their success has primarily been driven by advances in computational power and deep learning architectures, emerging problems -- in areas such as uncertainty quantification, decision-making, causal inference, and distribution shift -- require a deeper engagement with the field of statistics. This paper explores potential areas where statisticians can make important contributions to the development of LLMs, particularly those that aim to engender trustworthiness and transparency for human users. Thus, we focus on issues such as uncertainty quantification, interpretability, fairness, privacy, watermarking and model adaptation. We also consider possible roles for LLMs in statistical analysis. By bridging AI and statistics, we aim to foster a deeper collaboration that advances both the theoretical foundations and practical applications of LLMs, ultimately shaping their role in addressing complex societal challenges.