AcademiClaw : Quand les étudiants lancent des défis aux agents IA
AcademiClaw: When Students Set Challenges for AI Agents
May 4, 2026
Auteurs: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu
cs.AI
Résumé
Les évaluations au sein de l'écosystème OpenClaw ont jusqu'à présent porté exclusivement sur des tâches de niveau assistant, laissant les capacités académiques d'OpenClaw largement inexplorées. Nous présentons AcademiClaw, un benchmark bilingue de 80 tâches complexes et de long terme, directement issues des workflows académiques réels d'étudiants universitaires – devoirs, projets de recherche, concours et projets personnels – qu'ils ont jugé incapables d'être résolus efficacement par les agents IA actuels. Sélectionné à partir de 230 candidatures soumises par des étudiants via un examen expert rigoureux, l'ensemble final de tâches couvre plus de 25 domaines professionnels, allant de problèmes de mathématiques et de linguistique de niveau olympiade au débogage de systèmes full-stack et au reinforcement learning intensif en GPU, 16 tâches nécessitant une exécution avec CUDA GPU. Chaque tâche s'exécute dans un sandbox Docker isolé et est notée sur l'achèvement de la tâche par des grilles d'évaluation multidimensionnelles combinant six techniques complémentaires, un audit de sécurité indépendant à cinq catégories fournissant une analyse comportementale supplémentaire. Les expériences sur six modèles de pointe montrent que même le meilleur n'atteint qu'un taux de réussite de 55 %. Une analyse plus poussée révèle des limites nettes des capacités selon les domaines de tâches, des stratégies comportementales divergentes entre les modèles, et un décalage entre la consommation de tokens et la qualité de la sortie, fournissant des signaux de diagnostic plus fins que ce que les métriques agrégées révèlent. Nous espérons qu'AcademiClaw, ainsi que ses données et son code open-source, pourront constituer une ressource utile pour la communauté OpenClaw, en favorisant les progrès vers des agents plus compétents et polyvalents face à l'étendue complète des exigences académiques réelles. Toutes les données et le code sont disponibles à l'adresse https://github.com/GAIR-NLP/AcademiClaw.
English
Benchmarks within the OpenClaw ecosystem have thus far evaluated exclusively assistant-level tasks, leaving the academic-level capabilities of OpenClaw largely unexamined. We introduce AcademiClaw, a bilingual benchmark of 80 complex, long-horizon tasks sourced directly from university students' real academic workflows -- homework, research projects, competitions, and personal projects -- that they found current AI agents unable to solve effectively. Curated from 230 student-submitted candidates through rigorous expert review, the final task set spans 25+ professional domains, ranging from olympiad-level mathematics and linguistics problems to GPU-intensive reinforcement learning and full-stack system debugging, with 16 tasks requiring CUDA GPU execution. Each task executes in an isolated Docker sandbox and is scored on task completion by multi-dimensional rubrics combining six complementary techniques, with an independent five-category safety audit providing additional behavioral analysis. Experiments on six frontier models show that even the best achieves only a 55\% pass rate. Further analysis uncovers sharp capability boundaries across task domains, divergent behavioral strategies among models, and a disconnect between token consumption and output quality, providing fine-grained diagnostic signals beyond what aggregate metrics reveal. We hope that AcademiClaw and its open-sourced data and code can serve as a useful resource for the OpenClaw community, driving progress toward agents that are more capable and versatile across the full breadth of real-world academic demands. All data and code are available at https://github.com/GAIR-NLP/AcademiClaw.