SO-Bench: Una Evaluación Estructural de la Salida de los Modelos de Lenguaje Multimodales

Resumen

Los modelos de lenguaje grandes multimodales (MLLMs) se despliegan cada vez más en entornos del mundo real con capacidad de agencia, donde las salidas no solo deben ser correctas, sino también ajustarse a esquemas de datos predefinidos. A pesar de los recientes avances en la generación estructurada en el dominio textual, aún no existe un punto de referencia que evalúe sistemáticamente la extracción de información y el razonamiento basados en esquemas sobre entradas visuales. En este trabajo, realizamos un estudio exhaustivo de las capacidades de salida estructural visual para MLLMs con nuestro benchmark SO-Bench, cuidadosamente diseñado. Abarcando cuatro dominios visuales, incluyendo pantallas de interfaz de usuario, imágenes naturales, documentos y gráficos, SO-Bench se construye a partir de más de 6.500 esquemas JSON diversos y 1.800 pares imagen-esquema seleccionados con calidad verificada por humanos. Los experimentos de evaluación comparativa en modelos de código abierto y modelos propietarios de vanguardia revelan brechas persistentes en la predicción de salidas precisas y conformes al esquema, destacando la necesidad de un mejor razonamiento estructurado multimodal. Más allá de la evaluación comparativa, realizamos además experimentos de entrenamiento para mejorar sustancialmente la capacidad de salida estructurada del modelo. Planeamos poner el benchmark a disposición de la comunidad.

English

Multimodal large language models (MLLMs) are increasingly deployed in real-world, agentic settings where outputs must not only be correct, but also conform to predefined data schemas. Despite recent progress in structured generation in textual domain, there is still no benchmark that systematically evaluates schema-grounded information extraction and reasoning over visual inputs. In this work, we conduct a comprehensive study of visual structural output capabilities for MLLMs with our carefully designed SO-Bench benchmark. Covering four visual domains, including UI screens, natural images, documents, and charts, SO-Bench is built from over 6.5K diverse JSON schemas and 1.8K curated image-schema pairs with human-verified quality. Benchmarking experiments on open-sourced and frontier proprietary models reveal persistent gaps in predicting accurate, schema compliant outputs, highlighting the need for better multimodal structured reasoning. Beyond benchmarking, we further conduct training experiments to largely improve the model's structured output capability. We plan to make the benchmark available to the community.

SO-Bench: Una Evaluación Estructural de la Salida de los Modelos de Lenguaje Multimodales

SO-Bench: A Structural Output Evaluation of Multimodal LLMs

Resumen

Support