現実世界におけるAIガバナンス研究のギャップ

Real-World Gaps in AI Governance Research

April 30, 2025

著者: Ilan Strauss, Isobel Moure, Tim O'Reilly, Sruly Rosenblat

cs.AI

要旨

2020年1月から2025年3月までの9,439件の生成AI関連論文から1,178件の安全性と信頼性に関する論文を抽出し、主要なAI企業（Anthropic、Google DeepMind、Meta、Microsoft、OpenAI）とAI研究機関（カーネギーメロン大学、マサチューセッツ工科大学、ニューヨーク大学、スタンフォード大学、カリフォルニア大学バークレー校、ワシントン大学）の研究成果を比較した。その結果、企業のAI研究は、モデルのアラインメントやテスト・評価といったデプロイ前の領域にますます集中している一方で、モデルのバイアスといったデプロイ段階の課題への注目は薄れていることが明らかになった。医療、金融、誤情報、説得的および中毒性のある機能、幻覚、著作権といった高リスクのデプロイ領域では、重要な研究ギャップが存在している。デプロイされたAIに対する可観測性が向上しない限り、企業の集中化が進むことで知識の欠如がさらに深刻化する可能性がある。我々は、外部研究者がデプロイデータにアクセスできる範囲を拡大し、市場投入後のAIの挙動を体系的に観測することを推奨する。

English

Drawing on 1,178 safety and reliability papers from 9,439 generative AI papers (January 2020 - March 2025), we compare research outputs of leading AI companies (Anthropic, Google DeepMind, Meta, Microsoft, and OpenAI) and AI universities (CMU, MIT, NYU, Stanford, UC Berkeley, and University of Washington). We find that corporate AI research increasingly concentrates on pre-deployment areas -- model alignment and testing & evaluation -- while attention to deployment-stage issues such as model bias has waned. Significant research gaps exist in high-risk deployment domains, including healthcare, finance, misinformation, persuasive and addictive features, hallucinations, and copyright. Without improved observability into deployed AI, growing corporate concentration could deepen knowledge deficits. We recommend expanding external researcher access to deployment data and systematic observability of in-market AI behaviors.