AcademiClaw: Cuando los Estudiantes Establecen Desafíos para los Agentes de IA
AcademiClaw: When Students Set Challenges for AI Agents
May 4, 2026
Autores: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu
cs.AI
Resumen
Los puntos de referencia dentro del ecosistema OpenClaw hasta ahora han evaluado exclusivamente tareas de nivel asistente, dejando en gran medida sin examinar las capacidades de nivel académico de OpenClaw. Presentamos AcademiClaw, un punto de referencia bilingüe de 80 tareas complejas y de largo horizonte, obtenidas directamente de los flujos de trabajo académicos reales de estudiantes universitarios —tareas, proyectos de investigación, competiciones y proyectos personales— que estos consideraron que los agentes de IA actuales no pueden resolver de manera efectiva. Seleccionado a partir de 230 candidatos presentados por estudiantes mediante una rigurosa revisión por expertos, el conjunto final de tareas abarca más de 25 dominios profesionales, desde problemas de matemáticas y lingüística de nivel olímpico hasta depuración de sistemas full-stack y aprendizaje por refuerzo intensivo en GPU, con 16 tareas que requieren ejecución con CUDA GPU. Cada tarea se ejecuta en un espacio aislado Docker (sandbox) y se evalúa según su finalización mediante rúbricas multidimensionales que combinan seis técnicas complementarias, con una auditoría de seguridad independiente de cinco categorías que proporciona un análisis conductual adicional. Los experimentos realizados con seis modelos de vanguardia muestran que incluso el mejor solo alcanza una tasa de aprobación del 55%. Un análisis más profundo revela límites marcados en las capacidades entre los distintos dominios de tareas, estrategias conductuales divergentes entre los modelos y una desconexión entre el consumo de tokens y la calidad de la salida, lo que proporciona señales de diagnóstico de grano fino que van más allá de lo que revelan las métricas agregadas. Esperamos que AcademiClaw, junto con sus datos y código de código abierto, pueda servir como un recurso útil para la comunidad OpenClaw, impulsando el progreso hacia agentes más capaces y versátiles en toda la amplitud de las demandas académicas del mundo real. Todos los datos y el código están disponibles en https://github.com/GAIR-NLP/AcademiClaw.
English
Benchmarks within the OpenClaw ecosystem have thus far evaluated exclusively assistant-level tasks, leaving the academic-level capabilities of OpenClaw largely unexamined. We introduce AcademiClaw, a bilingual benchmark of 80 complex, long-horizon tasks sourced directly from university students' real academic workflows -- homework, research projects, competitions, and personal projects -- that they found current AI agents unable to solve effectively. Curated from 230 student-submitted candidates through rigorous expert review, the final task set spans 25+ professional domains, ranging from olympiad-level mathematics and linguistics problems to GPU-intensive reinforcement learning and full-stack system debugging, with 16 tasks requiring CUDA GPU execution. Each task executes in an isolated Docker sandbox and is scored on task completion by multi-dimensional rubrics combining six complementary techniques, with an independent five-category safety audit providing additional behavioral analysis. Experiments on six frontier models show that even the best achieves only a 55\% pass rate. Further analysis uncovers sharp capability boundaries across task domains, divergent behavioral strategies among models, and a disconnect between token consumption and output quality, providing fine-grained diagnostic signals beyond what aggregate metrics reveal. We hope that AcademiClaw and its open-sourced data and code can serve as a useful resource for the OpenClaw community, driving progress toward agents that are more capable and versatile across the full breadth of real-world academic demands. All data and code are available at https://github.com/GAIR-NLP/AcademiClaw.