AgentIF-OneDay: Een taakniveau instructievolgingsbenchmark voor algemene AI-agenten in dagelijkse scenario's
AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios
January 28, 2026
Auteurs: Kaiyuan Chen, Qimin Wu, Taiyu Hou, Tianhao Tang, Xueyu Hu, Yuchen Hou, Bikun Li, Chengming Qian, Guoyin Wang, Haolin Chen, Haotong Tian, Haoye Zhang, Haoyu Bian, Hongbing Pan, Hongkang Zhang, Hongyi Zhou, Jiaqi Cai, Jiewu Rao, Jiyuan Ren, Keduan Huang, Lucia Zhu Huang, Mingyu Yuan, Naixu Guo, Qicheng Tang, Qinyan Zhang, Shuai Chen, Siheng Chen, Ting Ting Li, Xiaoxing Guo, Yaocheng Zuo, Yaoqi Guo, Yinan Wang, Yinzhou Yu, Yize Wang, Yuan Jiang, Yuan Tian, Yuanshuo Zhang, Yuxuan Liu, Yvette Yan Zeng, Zenyu Shan, Zihan Yin, Xiaobo Hu, Yang Liu, Yixin Ren, Yuan Gong
cs.AI
Samenvatting
Het vermogen van AI-agenten om taken met toenemende duur en complexiteit effectief af te handelen, blijft groeien en vertoont uitzonderlijke prestaties bij codering, diepgaand onderzoek en evaluaties van complexe probleemoplossing. In dagelijkse scenario's blijft de perceptie van deze geavanceerde AI-mogelijkheden onder algemene gebruikers echter beperkt. Wij stellen dat huidige evaluaties prioriteit geven aan het verhogen van taakmoeilijkheid zonder voldoende aandacht voor de diversiteit van agenttaken die nodig zijn om de dagelijkse werk-, levens- en leeractiviteiten van een breed demografisch publiek te dekken. Om dit aan te pakken, stellen we AgentIF-OneDay voor, gericht op het bepalen of algemene gebruikers natuurlijke taal-instructies en AI-agenten kunnen gebruiken om een diverse reeks dagelijkse taken te voltooien. Deze taken vereisen niet alleen probleemoplossing via dialoog, maar ook het begrijpen van diverse bijlagetypes en het leveren van tastbare, op bestanden gebaseerde resultaten. De benchmark is gestructureerd rond drie gebruikersgerichte categorieën: Open Workflow-uitvoering, die de naleving van expliciete en complexe workflows beoordeelt; Latente Instructie, die vereist dat agenten impliciete instructies uit bijlagen afleiden; en Iteratieve Verfijning, die het aanpassen of uitbreiden van doorlopend werk omvat. We gebruiken instantie-niveau rubrics en een verfijnd evaluatieproces dat op LLM gebaseerde verificatie afstemt op menselijk oordeel, waarbij een overeenstemmingspercentage van 80,1% wordt bereikt met Gemini-3-Pro. AgentIF-OneDay omvat 104 taken die 767 scoringspunten beslaan. We hebben vier toonaangevende algemene AI-agenten gebenchmarkt en ontdekten dat agentproducten gebouwd op API's en ChatGPT-agenten gebaseerd op agent-RL gelijktijdig in de eerste tier blijven. Toonaangevende LLM-API's en open-sourcemodellen hebben agentmogelijkheden geïnternaliseerd, waardoor AI-toepassingsteams baanbrekende Agent-producten kunnen ontwikkelen.
English
The capacity of AI agents to effectively handle tasks of increasing duration and complexity continues to grow, demonstrating exceptional performance in coding, deep research, and complex problem-solving evaluations. However, in daily scenarios, the perception of these advanced AI capabilities among general users remains limited. We argue that current evaluations prioritize increasing task difficulty without sufficiently addressing the diversity of agentic tasks necessary to cover the daily work, life, and learning activities of a broad demographic. To address this, we propose AgentIF-OneDay, aimed at determining whether general users can utilize natural language instructions and AI agents to complete a diverse array of daily tasks. These tasks require not only solving problems through dialogue but also understanding various attachment types and delivering tangible file-based results. The benchmark is structured around three user-centric categories: Open Workflow Execution, which assesses adherence to explicit and complex workflows; Latent Instruction, which requires agents to infer implicit instructions from attachments; and Iterative Refinement, which involves modifying or expanding upon ongoing work. We employ instance-level rubrics and a refined evaluation pipeline that aligns LLM-based verification with human judgment, achieving an 80.1% agreement rate using Gemini-3-Pro. AgentIF-OneDay comprises 104 tasks covering 767 scoring points. We benchmarked four leading general AI agents and found that agent products built based on APIs and ChatGPT agents based on agent RL remain in the first tier simultaneously. Leading LLM APIs and open-source models have internalized agentic capabilities, enabling AI application teams to develop cutting-edge Agent products.