HumaniBench : Un Cadre Centré sur l'Humain pour l'Évaluation des Grands Modèles Multimodaux

HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

May 16, 2025

Auteurs: Shaina Raza, Aravind Narayanan, Vahid Reza Khazaie, Ashmal Vayani, Mukund S. Chettiar, Amandeep Singh, Mubarak Shah, Deval Pandya

cs.AI

Résumé

Les grands modèles multimodaux (LMM) excellent désormais sur de nombreux benchmarks en vision et langage, mais ils peinent encore à répondre à des critères centrés sur l'humain tels que l'équité, l'éthique, l'empathie et l'inclusivité, éléments clés pour s'aligner sur les valeurs humaines. Nous présentons HumaniBench, un benchmark holistique composé de 32 000 paires d'images-questions issues du monde réel, annotées via un pipeline assisté par GPT4o et rigoureusement vérifiées par des experts du domaine. HumaniBench évalue sept principes d'IA centrée sur l'humain (HCAI) : l'équité, l'éthique, la compréhension, le raisonnement, l'inclusivité linguistique, l'empathie et la robustesse, à travers sept tâches variées, incluant des questions-réponses visuelles ouvertes et fermées (VQA), des questions-réponses multilingues, l'ancrage visuel, la génération de légendes empathiques et des tests de robustesse. L'évaluation de 15 LMM de pointe (open source et propriétaires) révèle que les modèles propriétaires dominent généralement, bien que la robustesse et l'ancrage visuel restent des points faibles. Certains modèles open source peinent également à concilier précision et respect des principes alignés sur l'humain. HumaniBench est le premier benchmark conçu spécifiquement autour des principes HCAI. Il offre un cadre rigoureux pour diagnostiquer les écarts d'alignement et guider les LMM vers un comportement à la fois précis et socialement responsable. Le jeu de données, les prompts d'annotation et le code d'évaluation sont disponibles à l'adresse : https://vectorinstitute.github.io/HumaniBench

English

Large multimodal models (LMMs) now excel on many vision language benchmarks, however, they still struggle with human centered criteria such as fairness, ethics, empathy, and inclusivity, key to aligning with human values. We introduce HumaniBench, a holistic benchmark of 32K real-world image question pairs, annotated via a scalable GPT4o assisted pipeline and exhaustively verified by domain experts. HumaniBench evaluates seven Human Centered AI (HCAI) principles: fairness, ethics, understanding, reasoning, language inclusivity, empathy, and robustness, across seven diverse tasks, including open and closed ended visual question answering (VQA), multilingual QA, visual grounding, empathetic captioning, and robustness tests. Benchmarking 15 state of the art LMMs (open and closed source) reveals that proprietary models generally lead, though robustness and visual grounding remain weak points. Some open-source models also struggle to balance accuracy with adherence to human-aligned principles. HumaniBench is the first benchmark purpose built around HCAI principles. It provides a rigorous testbed for diagnosing alignment gaps and guiding LMMs toward behavior that is both accurate and socially responsible. Dataset, annotation prompts, and evaluation code are available at: https://vectorinstitute.github.io/HumaniBench