Lacunes réelles dans la recherche sur la gouvernance de l'intelligence artificielle

Real-World Gaps in AI Governance Research

April 30, 2025

Auteurs: Ilan Strauss, Isobel Moure, Tim O'Reilly, Sruly Rosenblat

cs.AI

Résumé

En nous appuyant sur 1 178 articles traitant de la sécurité et de la fiabilité, extraits de 9 439 articles sur l’IA générative (janvier 2020 - mars 2025), nous comparons les productions de recherche des principales entreprises en IA (Anthropic, Google DeepMind, Meta, Microsoft et OpenAI) et des universités spécialisées en IA (CMU, MIT, NYU, Stanford, UC Berkeley et University of Washington). Nous constatons que la recherche en IA menée par les entreprises se concentre de plus en plus sur des domaines pré-déploiement, tels que l’alignement des modèles et les tests & évaluations, tandis que l’attention portée aux problèmes liés au déploiement, comme les biais des modèles, s’est affaiblie. D’importantes lacunes de recherche subsistent dans des domaines de déploiement à haut risque, notamment la santé, la finance, la désinformation, les fonctionnalités persuasives et addictives, les hallucinations et les questions de droits d’auteur. Sans une meilleure observabilité des systèmes d’IA déployés, la concentration croissante des entreprises pourrait accentuer les déficits de connaissances. Nous recommandons d’élargir l’accès des chercheurs externes aux données de déploiement et de mettre en place une observabilité systématique des comportements des IA en situation réelle.

English

Drawing on 1,178 safety and reliability papers from 9,439 generative AI papers (January 2020 - March 2025), we compare research outputs of leading AI companies (Anthropic, Google DeepMind, Meta, Microsoft, and OpenAI) and AI universities (CMU, MIT, NYU, Stanford, UC Berkeley, and University of Washington). We find that corporate AI research increasingly concentrates on pre-deployment areas -- model alignment and testing & evaluation -- while attention to deployment-stage issues such as model bias has waned. Significant research gaps exist in high-risk deployment domains, including healthcare, finance, misinformation, persuasive and addictive features, hallucinations, and copyright. Without improved observability into deployed AI, growing corporate concentration could deepen knowledge deficits. We recommend expanding external researcher access to deployment data and systematic observability of in-market AI behaviors.