O Primeiro Dia do Agente: Avaliação de Aprendizado, Exploração e Planejamento em Cenários de Trabalho
The Agent's First Day: Benchmarking Learning, Exploration, and Scheduling in the Workplace Scenarios
January 13, 2026
Autores: Daocheng Fu, Jianbiao Mei, Rong Wu, Xuemeng Yang, Jia Xu, Ding Wang, Pinlong Cai, Yong Liu, Licheng Wen, Botian Shi
cs.AI
Resumo
A rápida evolução dos Modelos de Linguagem de Grande Porte Multimodais (MLLMs) tem avançado a automação de fluxos de trabalho; no entanto, as pesquisas existentes focam principalmente nos limites superiores de desempenho em ambientes estáticos, negligenciando a robustez necessária para implantação estocástica no mundo real. Identificamos três desafios principais: escalonamento dinâmico de tarefas, exploração ativa sob incerteza e aprendizagem contínua a partir da experiência. Para preencher esta lacuna, introduzimos o , um ambiente de avaliação dinâmica que simula um agente "estagiário" explorando continuamente um cenário novo. Diferente dos benchmarks tradicionais, o avalia os agentes em três dimensões: (1) escalonamento sensível ao contexto para tarefas em fluxo com prioridades variáveis; (2) aquisição prudente de informação para reduzir alucinações por meio de exploração ativa; e (3) evolução contínua através da destilação de estratégias generalizadas a partir de tarefas baseadas em regras e geradas dinamicamente. Experimentos mostram que os agentes de ponta possuem deficiências significativas em ambientes dinâmicos, especialmente na exploração ativa e na aprendizagem contínua. Nosso trabalho estabelece uma estrutura para avaliar a confiabilidade de agentes, deslocando a avaliação de testes estáticos para cenários realistas e orientados à produção. Nossos códigos estão disponíveis em https://github.com/KnowledgeXLab/EvoEnv.
English
The rapid evolution of Multi-modal Large Language Models (MLLMs) has advanced workflow automation; however, existing research mainly targets performance upper bounds in static environments, overlooking robustness for stochastic real-world deployment. We identify three key challenges: dynamic task scheduling, active exploration under uncertainty, and continuous learning from experience. To bridge this gap, we introduce , a dynamic evaluation environment that simulates a "trainee" agent continuously exploring a novel setting. Unlike traditional benchmarks, evaluates agents along three dimensions: (1) context-aware scheduling for streaming tasks with varying priorities; (2) prudent information acquisition to reduce hallucination via active exploration; and (3) continuous evolution by distilling generalized strategies from rule-based, dynamically generated tasks. Experiments show that cutting-edge agents have significant deficiencies in dynamic environments, especially in active exploration and continual learning. Our work establishes a framework for assessing agent reliability, shifting evaluation from static tests to realistic, production-oriented scenarios. Our codes are available at https://github.com/KnowledgeXLab/EvoEnv