Valutazione multimodale delle architetture linguistiche russe

Multimodal Evaluation of Russian-language Architectures

November 19, 2025

Autori: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) si trovano attualmente al centro dell'attenzione della ricerca, mostrando rapidi progressi in termini di scala e capacità, ma la loro intelligenza, limitazioni e rischi rimangono insufficientemente compresi. Per affrontare queste problematiche, in particolare nel contesto della lingua russa, dove attualmente non esistono benchmark multimodali, presentiamo Mera Multi, un framework di valutazione multimodale open per architetture di lingua russa. Il benchmark è basato su istruzioni e comprende le modalità predefinite di testo, immagine, audio e video, includendo 18 nuovi task di valutazione costruiti sia per modelli general-purpose che per architetture specifiche per modalità (da immagine a testo, da video a testo e da audio a testo). I nostri contributi includono: (i) una tassonomia universale delle abilità multimodali; (ii) 18 dataset creati completamente da zero con attenzione alla specificità culturale e linguistica russa, prompt unificati e metriche; (iii) risultati baseline sia per modelli closed-source che open-source; (iv) una metodologia per prevenire la fuoriuscita dei dati del benchmark, inclusi watermark e licenze per gli insiemi privati. Sebbene il nostro focus attuale sia sul russo, il benchmark proposto fornisce una metodologia replicabile per la costruzione di benchmark multimodali in lingue tipologicamente diverse, in particolare all'interno della famiglia delle lingue slave.

English

Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.