EdgeBench: Die Aufdeckung von Skalierungsgesetzen des Lernens aus realen Umgebungen

EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

July 6, 2026

Autoren: Deyao Zhu, Xin Zhou, Shengling Qin, Xuekai Zhu, Hangliang Ding, Shu Zhong, Zixin Wen, Zhonglin Xie, Chenhui Gou, Linxuan Ren, Yueyang Wang, Junfeng Zhong, Rui Liu, Tian Gao, Yangguang Lin, Jingyuan Zhang, Maojia Song, Xuan Qi, Jinhong Wu, Chenyang Zhang, Yinzhu Piao, Ziru Niu, Hongbin Lin, Lingxiang Meng, Peng Tang, Chengyao Tang, Shanyu Wu, Huanyu Zheng, Yu Liu, Liya Zhu, He Wang, Ming Ding, Ziyu Wan, Hao Liu, Sibo Wang, Haotian Zhu, Xintian Zhang, Nan Chai, Yipeng Liu, Panhao Lai, Sihang Yuan, Zixin Su, Ge Zhang, Wangchunshu Zhou, Yantao Du, Wenhao Huang, Guang Shi

cs.AI

Zusammenfassung

Skalierungsgesetze des Vortrainings zeigen, dass sich die Leistungsfähigkeit von Modellen mit zunehmenden Daten- und Rechenressourcen vorhersagbar verbessert. Das Lernen in realen Umgebungen nach dem Deployment ist jedoch noch weitaus weniger verstanden. Durch die Analyse von etwa 38.000 Stunden Agenteninteraktion mit der Umgebung über 134 reale Aufgaben hinweg finden wir – nach unserem Kenntnisstand erstmals – Belege dafür, dass die Gesamtleistung während des Umgebungslernens einem log-sigmoiden Skalierungsgesetz mit bemerkenswert hoher Präzision folgt (R² = 0,998). Über Modellgenerationen hinweg stellen wir zudem fest, dass sich die Lerngeschwindigkeit von Agenten etwa alle drei Monate verdoppelt. Diese Entdeckung basiert auf EdgeBench, einer Sammlung von 134 realen Aufgaben mit extrem langen Zeithorizonten, die Bereiche wie wissenschaftliche Entdeckung, Softwareentwicklung, kombinatorische Optimierung, professionelle Wissensarbeit, formale Mathematik und interaktive Spiele abdecken. Jede Aufgabe erfordert mindestens 12 Stunden ununterbrochenen Agentenbetrieb unter reichhaltigem, mehrstufigem Feedback und wurde mit erheblichem Expertenaufwand erstellt. Wir veröffentlichen 51 Aufgaben sowie unser vollständiges Evaluierungsframework, um die Erforschung des Lernens von Agenten aus realen Erfahrungen zu beschleunigen.

English

Pretraining scaling laws reveal that model capability improves predictably with data and compute. But learning from real world environments after deployment remains far less understood. Analyzing roughly 38,000 hours of agent interaction with the environment across 134 real world tasks, we find, to the best of our knowledge, the first evidence that overall performance during environment learning follows a log-sigmoid scaling law with remarkably high precision, reaching R^2 = 0.998. Across model generations, we also find that agent learning speed roughly doubles every three months. This discovery stems from EdgeBench, a suite of 134 real world tasks with ultra-long horizons, spanning scientific discovery, software engineering, combinatorial optimization, professional knowledge work, formal mathematics, and interactive games. Each task sustains at least 12 hours of continuous agent operation under rich, multilevel feedback, and is built through substantial expert effort. We publicly release 51 tasks and our full evaluation framework to accelerate the study of how agents learn from real world experience.