AcademiClaw: Quando os Estudantes Desafiam os Agentes de IA

Resumo

Os benchmarks no ecossistema OpenClaw avaliaram até agora exclusivamente tarefas de nível assistente, deixando as capacidades de nível acadêmico do OpenClaw em grande parte não examinadas. Apresentamos o AcademiClaw, um benchmark bilingue composto por 80 tarefas complexas e de longo horizonte, recolhidas diretamente dos fluxos de trabalho académicos reais de estudantes universitários — trabalhos de casa, projetos de investigação, competições e projetos pessoais — que estes consideraram que os atuais agentes de IA não conseguiam resolver de forma eficaz. Curado a partir de 230 candidaturas submetidas por estudantes através de uma rigorosa revisão por peritos, o conjunto final de tarefas abrange mais de 25 domínios profissionais, desde problemas de matemática e linguística de nível olímpico até à depuração de sistemas *full-stack* e aprendizagem por reforço intensiva em GPU, com 16 tarefas a exigirem execução em CUDA GPU. Cada tarefa é executada num *sandbox* Docker isolado e é pontuada com base na conclusão da tarefa através de grelhas multidimensionais que combinam seis técnicas complementares, sendo que uma auditoria de segurança independente de cinco categorias fornece uma análise comportamental adicional. Experiências realizadas com seis modelos de ponta mostram que mesmo o melhor alcança apenas uma taxa de sucesso de 55%. Uma análise mais aprofundada revela limites acentuados de capacidade entre os domínios de tarefas, estratégias comportamentais divergentes entre os modelos e uma desconexão entre o consumo de *tokens* e a qualidade da saída, fornecendo sinais de diagnóstico de alto grão que vão além do que as métricas agregadas revelam. Esperamos que o AcademiClaw e os seus dados e código de código aberto possam servir como um recurso útil para a comunidade OpenClaw, impulsionando o progresso no sentido de agentes mais capazes e versáteis em toda a amplitude das exigências académicas do mundo real. Todos os dados e código estão disponíveis em https://github.com/GAIR-NLP/AcademiClaw.

English

Benchmarks within the OpenClaw ecosystem have thus far evaluated exclusively assistant-level tasks, leaving the academic-level capabilities of OpenClaw largely unexamined. We introduce AcademiClaw, a bilingual benchmark of 80 complex, long-horizon tasks sourced directly from university students' real academic workflows -- homework, research projects, competitions, and personal projects -- that they found current AI agents unable to solve effectively. Curated from 230 student-submitted candidates through rigorous expert review, the final task set spans 25+ professional domains, ranging from olympiad-level mathematics and linguistics problems to GPU-intensive reinforcement learning and full-stack system debugging, with 16 tasks requiring CUDA GPU execution. Each task executes in an isolated Docker sandbox and is scored on task completion by multi-dimensional rubrics combining six complementary techniques, with an independent five-category safety audit providing additional behavioral analysis. Experiments on six frontier models show that even the best achieves only a 55\% pass rate. Further analysis uncovers sharp capability boundaries across task domains, divergent behavioral strategies among models, and a disconnect between token consumption and output quality, providing fine-grained diagnostic signals beyond what aggregate metrics reveal. We hope that AcademiClaw and its open-sourced data and code can serve as a useful resource for the OpenClaw community, driving progress toward agents that are more capable and versatile across the full breadth of real-world academic demands. All data and code are available at https://github.com/GAIR-NLP/AcademiClaw.