Multimodale evaluatie van Russischtalige architectuurmodellen

Multimodal Evaluation of Russian-language Architectures

November 19, 2025

Auteurs: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova

cs.AI

Samenvatting

Meertalige grote taalmodellen (MLLM's) bevinden zich momenteel in de schijnwerpers van het onderzoek en tonen een snelle vooruitgang in schaal en capaciteiten. Desalniettemin wordt hun intelligentie, beperkingen en risico's nog onvoldoende begrepen. Om deze kwesties aan te pakken, in het bijzonder voor de Russische taal waar momenteel geen meertalige benchmarks bestaan, introduceren wij Mera Multi, een open meertalig evaluatieraamwerk voor Russischtalige architecturen. De benchmark is instructiegebaseerd en omvat de standaard modaliteiten tekst, beeld, audio en video, bestaande uit 18 nieuw geconstrueerde evaluatietaken voor zowel algemene modellen als modale specifieke architecturen (beeld-naar-tekst, video-naar-tekst en audio-naar-tekst). Onze bijdragen omvatten: (i) een universele taxonomie van meertalige vermogens; (ii) 18 geheel vanaf nul gecreëerde datasets met aandacht voor Russische culturele en linguïstische specificiteit, gestandaardiseerde prompts en metrieken; (iii) basislijnresultaten voor zowel gesloten als opensource-modellen; (iv) een methodologie om benchmark-lekken te voorkomen, inclusief watermerken en licenties voor privéverzamelingen. Hoewel onze huidige focus op het Russisch ligt, biedt de voorgestelde benchmark een reproduceerbare methodologie voor het construeren van meertalige benchmarks in typologisch diverse talen, in het bijzonder binnen de斯拉夫ische taalfamilie.

English

Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.