Evaluación Multimodal de Arquitecturas en Lengua Rusa

Multimodal Evaluation of Russian-language Architectures

November 19, 2025

Autores: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova

cs.AI

Resumen

Los modelos lingüísticos multimodales de gran escala (MLLMs) se encuentran actualmente en el centro de la atención investigadora, mostrando un progreso rápido en escala y capacidades, aunque su inteligencia, limitaciones y riesgos siguen sin comprenderse suficientemente. Para abordar estas cuestiones, particularmente en el contexto de la lengua rusa, donde actualmente no existen puntos de referencia multimodales, presentamos Mera Multi, un marco de evaluación multimodal abierto para arquitecturas de habla rusa. El benchmark está basado en instrucciones y abarca las modalidades predeterminadas de texto, imagen, audio y video, comprendiendo 18 tareas de evaluación recién construidas tanto para modelos de propósito general como para arquitecturas específicas por modalidad (imagen-a-texto, video-a-texto y audio-a-texto). Nuestras contribuciones incluyen: (i) una taxonomía universal de habilidades multimodales; (ii) 18 conjuntos de datos creados desde cero con atención a la especificidad cultural y lingüística rusa, prompts unificados y métricas; (iii) resultados de línea base para modelos tanto de código cerrado como de código abierto; (iv) una metodología para prevenir la filtración del benchmark, incluyendo marcas de agua y licencias para conjuntos privados. Aunque nuestro enfoque actual está en el ruso, el benchmark propuesto proporciona una metodología replicable para construir puntos de referencia multimodales en lenguas tipológicamente diversas, particularmente dentro de la familia de lenguas eslavas.

English

Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.