Multimodale Evaluierung russischsprachiger Architekturen
Multimodal Evaluation of Russian-language Architectures
November 19, 2025
papers.authors: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova
cs.AI
papers.abstract
Multimodale große Sprachmodelle (MLLMs) stehen derzeit im Mittelpunkt der Forschung und zeigen rasante Fortschritte in Bezug auf Umfang und Fähigkeiten, dennoch sind ihre Intelligenz, Grenzen und Risiken nach wie vor unzureichend verstanden. Um diese Probleme anzugehen, insbesondere im Kontext der russischen Sprache, für die derzeit keine multimodalen Benchmarks existieren, stellen wir Mera Multi vor, ein offenes multimodales Evaluierungsframework für russischsprachige Architekturen. Der Benchmark ist instruktionsbasiert und umfasst die Standardmodalitäten Text, Bild, Audio und Video. Er besteht aus 18 neu konstruierten Evaluierungsaufgaben für sowohl allgemeine Modelle als auch modalspezifische Architekturen (Bild-zu-Text, Video-zu-Text und Audio-zu-Text). Unsere Beiträge umfassen: (i) eine universelle Taxonomie multimodaler Fähigkeiten; (ii) 18 von Grund auf neu erstellte Datensätze mit besonderer Berücksichtigung der russischen kulturellen und sprachlichen Spezifika, vereinheitlichten Prompts und Metriken; (iii) Baseline-Ergebnisse für sowohl proprietäre als auch Open-Source-Modelle; (iv) eine Methodik zur Verhinderung von Benchmark-Leaks, einschließlich Wasserzeichen und Lizenzen für private Datensätze. Obwohl unser derzeitiger Fokus auf Russisch liegt, bietet der vorgeschlagene Benchmark eine replizierbare Methodik zur Konstruktion multimodaler Benchmarks für typologisch diverse Sprachen, insbesondere innerhalb der slawischen Sprachfamilie.
English
Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.