ProactiveBench: Avaliação da Proatividade em Modelos de Linguagem Multimodais de Grande Escala
ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models
March 19, 2026
Autores: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini
cs.AI
Resumo
Uma colaboração eficaz começa com o saber quando pedir ajuda. Por exemplo, ao tentar identificar um objeto ocluído, um ser humano pediria a alguém para remover a obstrução. Os MLLMs podem exibir um comportamento "pró-ativo" semelhante, solicitando intervenções simples do utilizador? Para investigar isto, introduzimos o ProactiveBench, um *benchmark* construído a partir de sete conjuntos de dados reutilizados que testa a proatividade em diferentes tarefas, como reconhecer objetos ocluídos, melhorar a qualidade de imagem e interpretar esboços grosseiros. Avaliámos 22 MLLMs no ProactiveBench, mostrando que (i) geralmente carecem de proatividade; (ii) a proatividade não se correlaciona com a capacidade do modelo; (iii) "sugerir" proatividade produz apenas ganhos marginais. Surpreendentemente, descobrimos que os históricos de conversação e a aprendizagem *in-context* introduzem *biases* negativos, prejudicando o desempenho. Finalmente, exploramos uma simples estratégia de *fine-tuning* baseada em aprendizagem por reforço: os seus resultados sugerem que a proatividade pode ser aprendida, generalizando-se mesmo para cenários não vistos. Disponibilizamos publicamente o ProactiveBench como um primeiro passo para a construção de modelos multimodais proativos.
English
Effective collaboration begins with knowing when to ask for help. For example, when trying to identify an occluded object, a human would ask someone to remove the obstruction. Can MLLMs exhibit a similar "proactive" behavior by requesting simple user interventions? To investigate this, we introduce ProactiveBench, a benchmark built from seven repurposed datasets that tests proactiveness across different tasks such as recognizing occluded objects, enhancing image quality, and interpreting coarse sketches. We evaluate 22 MLLMs on ProactiveBench, showing that (i) they generally lack proactiveness; (ii) proactiveness does not correlate with model capacity; (iii) "hinting" at proactiveness yields only marginal gains. Surprisingly, we found that conversation histories and in-context learning introduce negative biases, hindering performance. Finally, we explore a simple fine-tuning strategy based on reinforcement learning: its results suggest that proactiveness can be learned, even generalizing to unseen scenarios. We publicly release ProactiveBench as a first step toward building proactive multimodal models.