실세계 AI 거버넌스 연구의 격차

Real-World Gaps in AI Governance Research

April 30, 2025

저자: Ilan Strauss, Isobel Moure, Tim O'Reilly, Sruly Rosenblat

cs.AI

초록

2020년 1월부터 2025년 3월까지 발표된 9,439편의 생성형 AI 논문 중 1,178편의 안전성 및 신뢰성 논문을 바탕으로, 주요 AI 기업(Anthropic, Google DeepMind, Meta, Microsoft, OpenAI)과 AI 대학(CMU, MIT, NYU, Stanford, UC Berkeley, University of Washington)의 연구 성과를 비교 분석하였다. 우리는 기업의 AI 연구가 점차 배포 전 단계인 모델 정렬 및 테스트 & 평가에 집중되는 반면, 모델 편향과 같은 배포 단계 이슈에 대한 관심은 줄어들고 있음을 발견했다. 특히 의료, 금융, 허위정보, 설득적 및 중독성 기능, 환각, 저작권 등 고위험 배포 영역에서 상당한 연구 격차가 존재한다. 배포된 AI에 대한 관측 가능성이 개선되지 않는다면, 기업의 연구 집중도가 높아지면서 지식 부족이 심화될 수 있다. 우리는 외부 연구자들이 배포 데이터에 접근할 수 있도록 확대하고, 시장 내 AI 행동에 대한 체계적인 관측 가능성을 강화할 것을 권장한다.

English

Drawing on 1,178 safety and reliability papers from 9,439 generative AI papers (January 2020 - March 2025), we compare research outputs of leading AI companies (Anthropic, Google DeepMind, Meta, Microsoft, and OpenAI) and AI universities (CMU, MIT, NYU, Stanford, UC Berkeley, and University of Washington). We find that corporate AI research increasingly concentrates on pre-deployment areas -- model alignment and testing & evaluation -- while attention to deployment-stage issues such as model bias has waned. Significant research gaps exist in high-risk deployment domains, including healthcare, finance, misinformation, persuasive and addictive features, hallucinations, and copyright. Without improved observability into deployed AI, growing corporate concentration could deepen knowledge deficits. We recommend expanding external researcher access to deployment data and systematic observability of in-market AI behaviors.