ProactiveBench: Evaluación de la Proactividad en Modelos de Lenguaje Grandes Multimodales
ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models
March 19, 2026
Autores: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini
cs.AI
Resumen
La colaboración efectiva comienza sabiendo cuándo pedir ayuda. Por ejemplo, al intentar identificar un objeto ocluido, un humano le pediría a alguien que retire la obstrucción. ¿Pueden los MLLM exhibir un comportamiento "proactivo" similar solicitando intervenciones simples del usuario? Para investigarlo, presentamos ProactiveBench, un benchmark construido a partir de siete conjuntos de datos reutilizados que evalúa la proactividad en diversas tareas, como reconocer objetos ocultos, mejorar la calidad de imagen e interpretar bocetos toscos. Evaluamos 22 MLLM en ProactiveBench, demostrando que (i) generalmente carecen de proactividad; (ii) la proactividad no se correlaciona con la capacidad del modelo; (iii) "insinuar" la proactividad produce solo mejoras marginales. Sorprendentemente, descubrimos que los historiales de conversación y el aprendizaje en contexto introducen sesgos negativos que perjudican el rendimiento. Finalmente, exploramos una estrategia simple de ajuste fino basada en aprendizaje por refuerzo: sus resultados sugieren que la proactividad puede aprenderse, incluso generalizándose a escenarios no vistos. Publicamos ProactiveBench como un primer paso hacia la construcción de modelos multimodales proactivos.
English
Effective collaboration begins with knowing when to ask for help. For example, when trying to identify an occluded object, a human would ask someone to remove the obstruction. Can MLLMs exhibit a similar "proactive" behavior by requesting simple user interventions? To investigate this, we introduce ProactiveBench, a benchmark built from seven repurposed datasets that tests proactiveness across different tasks such as recognizing occluded objects, enhancing image quality, and interpreting coarse sketches. We evaluate 22 MLLMs on ProactiveBench, showing that (i) they generally lack proactiveness; (ii) proactiveness does not correlate with model capacity; (iii) "hinting" at proactiveness yields only marginal gains. Surprisingly, we found that conversation histories and in-context learning introduce negative biases, hindering performance. Finally, we explore a simple fine-tuning strategy based on reinforcement learning: its results suggest that proactiveness can be learned, even generalizing to unseen scenarios. We publicly release ProactiveBench as a first step toward building proactive multimodal models.