Blind-Spots-Bench: Avaliando Pontos Cegos em Modelos Multimodais

Resumo

Modelos modernos de IA alcançam desempenho robusto em muitos referenciais consolidados, mas ainda falham em tarefas que humanos consideram quase triviais, como manipular uma string ou desenhar um cachorro com cinco patas. Esses exemplos sugerem que os referenciais existentes podem subestimar pontos cegos persistentes nos sistemas atuais. Apresentamos o blind-spots-bench, um referencial projetado para expor tais pontos cegos por meio de tarefas que parecem simples para humanos, mas continuam desafiadoras para a IA moderna. Coletamos perguntas brutas de alunos em um curso de IA, as limpamos e anotamos com soluções de referência estruturadas, e propomos uma taxonomia de tarefas adaptada ao conjunto de dados resultante de 235 amostras. Desenvolvemos ainda um fluxo de trabalho automatizado de avaliação para testar uma ampla gama de modelos, incluindo modelos de linguagem de peso aberto e código fechado, visão-linguagem e geração de imagens. Nossa análise no blind-spots-bench revela que modelos de fronteira de código fechado podem superar substancialmente modelos de peso aberto com uma diferença de até aproximadamente 10%, mesmo quando alcançam desempenho comparável em referenciais existentes. Uma análise mais granular mostra que nenhum modelo domina todos os tipos de tarefa, e que algumas tarefas permanecem desafiadoras para todos os modelos avaliados. Esses resultados destacam o valor do blind-spots-bench como um teste de estresse diagnóstico para identificar fragilidades concretas nos modelos modernos atuais.

English

Modern AI models achieve strong performance on many established benchmarks, yet they still fail on tasks that humans find almost trivial, such as manipulating a string or drawing a dog with five legs. These examples suggest that existing benchmarks may under-measure persistent blind spots in current systems. We introduce blind-spots-bench, a benchmark designed to expose such blind spots through tasks that appear simple for humans but remain challenging for modern AI. We collect raw questions from students in an AI course, clean and annotate them with structured reference solutions, and propose a task taxonomy tailored to the resulting dataset of 235 samples. We further develop an automated grading pipeline to evaluate a wide range of models, including open-weight and closed-source language, vision-language, and image-generation models. Our analysis on blind-spots-bench reveals that closed-source frontier models can substantially outperform open-weight models with even approx10% gap, even when they attain comparable performance on existing benchmarks. A more fine-grained analysis shows that no single model dominates across all task types, and that some tasks remain challenging for all evaluated models. These results highlight the value of blind-spots-bench as a diagnostic stress test for identifying concrete weaknesses in current modern models.