러시아어 아키텍처의 다중모드 평가

Multimodal Evaluation of Russian-language Architectures

November 19, 2025

저자: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev, Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova

cs.AI

초록

멀티모달 대규모 언어 모델(MLLM)은 현재 연구의 중심에 있으며 규모와 능력에서 빠른 발전을 보여주고 있지만, 그 지능, 한계 및 위험은 여전히 충분히 이해되지 않고 있습니다. 이러한 문제를 해결하기 위해, 특히 현재 멀티모달 벤치마크가 존재하지 않는 러시아어 환경에서, 우리는 러시아어 구조를 위한 오픈 멀티모달 평가 프레임워크인 Mera Multi를 소개합니다. 이 벤치마크는 지시 기반이며 기본 텍스트, 이미지, 오디오, 비디오 양식을 포괄하며, 범용 모델과 양식 특화 구조(이미지-텍스트, 비디오-텍스트, 오디오-텍스트)를 위한 18개의 새로 구축된 평가 과제로 구성됩니다. 우리의 기여는 다음과 같습니다: (i) 멀티모달 능력의 보편적 분류 체계; (ii) 러시아 문화 및 언어적 특수성, 통합 프롬프트, 메트릭에 주의를 기울여 완전히 새롭게 생성된 18개의 데이터셋; (iii) 독점 및 오픈소스 모델에 대한 기준 결과; (iv) 워터마킹 및 비공개 세트 라이선스를 포함한 벤치마크 유출 방지 방법론. 현재 초점은 러시아어에 맞춰져 있지만, 제안된 벤치마크는 유형론적으로 다양한 언어, 특히 슬라브어군 내에서 멀티모달 벤치마크를 구축하기 위한 재현 가능한 방법론을 제공합니다.

English

Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.