Remote Labor Index: Messung der KI-Automatisierung von Remote-Arbeit

Remote Labor Index: Measuring AI Automation of Remote Work

October 30, 2025

papers.authors: Mantas Mazeika, Alice Gatti, Cristina Menghini, Udari Madhushani Sehwag, Shivam Singhal, Yury Orlovskiy, Steven Basart, Manasi Sharma, Denis Peskoff, Elaine Lau, Jaehyuk Lim, Lachlan Carroll, Alice Blair, Vinaya Sivakumar, Sumana Basu, Brad Kenstler, Yuntao Ma, Julian Michael, Xiaoke Li, Oliver Ingebretsen, Aditya Mehta, Jean Mottola, John Teichmann, Kevin Yu, Zaina Shaik, Adam Khoja, Richard Ren, Jason Hausenloy, Long Phan, Ye Htet, Ankit Aich, Tahseen Rabbani, Vivswan Shah, Andriy Novykov, Felix Binder, Kirill Chugunov, Luis Ramirez, Matias Geralnik, Hernán Mesura, Dean Lee, Ed-Yeremai Hernandez Cardona, Annette Diamond, Summer Yue, Alexandr Wang, Bing Liu, Ernesto Hernandez, Dan Hendrycks

cs.AI

papers.abstract

Künstliche Intelligenzen haben rasche Fortschritte bei forschungsorientierten Benchmarks für Wissen und logisches Denken erzielt, doch es ist nach wie vor unklar, wie sich diese Gewinne in wirtschaftlichen Wert und Automatisierung übersetzen. Um dies zu messen, führen wir den Remote Labor Index (RLI) ein, einen breit angelegten, multisektoralen Benchmark, der realwirtschaftliche, wirtschaftlich wertvolle Projekte umfasst, um die End-to-End-Leistung von KI-Agenten in praktischen Anwendungsszenarien zu bewerten. KI-Agenten schneiden beim RLI nahe der Basisgrenze ab, wobei der leistungsstärkste Agent eine Automatisierungsrate von 2,5 % erreicht. Diese Ergebnisse helfen, Diskussionen über KI-Automatisierung auf empirische Evidenz zu gründen, schaffen eine gemeinsame Basis zur Verfolgung der KI-Auswirkungen und ermöglichen es Stakeholdern, die durch KI getriebene Arbeitsautomatisierung proaktiv zu gestalten.

English

AIs have made rapid progress on research-oriented benchmarks of knowledge and reasoning, but it remains unclear how these gains translate into economic value and automation. To measure this, we introduce the Remote Labor Index (RLI), a broadly multi-sector benchmark comprising real-world, economically valuable projects designed to evaluate end-to-end agent performance in practical settings. AI agents perform near the floor on RLI, with the highest-performing agent achieving an automation rate of 2.5%. These results help ground discussions of AI automation in empirical evidence, setting a common basis for tracking AI impacts and enabling stakeholders to proactively navigate AI-driven labor automation.