MARS2 2025 Challenge zum multimodalen Denken: Datensätze, Methoden, Ergebnisse, Diskussion und Ausblick

MARS2 2025 Challenge on Multimodal Reasoning: Datasets, Methods, Results, Discussion, and Outlook

September 17, 2025

papers.authors: Peng Xu, Shengwu Xiong, Jiajun Zhang, Yaxiong Chen, Bowen Zhou, Chen Change Loy, David A. Clifton, Kyoung Mu Lee, Luc Van Gool, Ruiming He, Ruilin Yao, Xinwei Long, Jirui Huang, Kai Tian, Sa Yang, Yihua Shao, Jin Feng, Yue Zhong, Jiakai Zhou, Cheng Tang, Tianyu Zou, Yifang Zhang, Junming Liang, Guoyou Li, Zhaoxiang Wang, Qiang Zhou, Yichen Zhao, Shili Xiong, Hyeongjin Nam, Jaerin Lee, Jaeyoung Chung, JoonKyu Park, Junghun Oh, Kanggeon Lee, Wooseok Lee, Juneyoung Ro, Turghun Osman, Can Hu, Chaoyang Liao, Cheng Chen, Chengcheng Han, Chenhao Qiu, Chong Peng, Cong Xu, Dailin Li, Feiyu Wang, Feng Gao, Guibo Zhu, Guopeng Tang, Haibo Lu, Han Fang, Han Qi, Hanxiao Wu, Haobo Cheng, Hongbo Sun, Hongyao Chen, Huayong Hu, Hui Li, Jiaheng Ma, Jiang Yu, Jianing Wang, Jie Yang, Jing He, Jinglin Zhou, Jingxuan Li, Josef Kittler, Lihao Zheng, Linnan Zhao, Mengxi Jia, Muyang Yan, Nguyen Thanh Thien, Pu Luo, Qi Li, Shien Song, Shijie Dong, Shuai Shao, Shutao Li, Taofeng Xue, Tianyang Xu, Tianyi Gao, Tingting Li, Wei Zhang, Weiyang Su, Xiaodong Dong, Xiao-Jun Wu, Xiaopeng Zhou, Xin Chen, Xin Wei, Xinyi You, Xudong Kang, Xujie Zhou, Xusheng Liu, Yanan Wang, Yanbin Huang, Yang Liu, Yang Yang, Yanglin Deng, Yashu Kang, Ye Yuan, Yi Wen, Yicen Tian, Yilin Tao, Yin Tang, Yipeng Lin, Yiqing Wang, Yiting Xi, Yongkang Yu, Yumei Li, Yuxin Qin, Yuying Chen, Yuzhe Cen, Zhaofan Zou, Zhaohong Liu, Zhehao Shen, Zhenglin Du, Zhengyang Li, Zhenni Huang, Zhenwei Shao, Zhilong Song, Zhiyong Feng, Zhiyu Wang, Zhou Yu, Ziang Li, Zihan Zhai, Zijian Zhang, Ziyang Peng, Ziyun Xiao, Zongshu Li

cs.AI

papers.abstract

Dieses Papier gibt einen Überblick über die MARS2 2025 Challenge zum Thema Multimodales Reasoning. Unser Ziel ist es, verschiedene Ansätze im Bereich des multimodalen maschinellen Lernens und der großen Sprachmodelle (LLMs) durch einen umfangreichen Benchmark zusammenzuführen. Wir hoffen, dass dies Forschern besser ermöglicht, den Stand der Technik in diesem sehr dynamischen Bereich zu verfolgen. Gleichzeitig hat eine wachsende Anzahl von Testumgebungen die Entwicklung von allgemeinen großen Sprachmodellen vorangetrieben. Daher konzentriert sich MARS2 in diesem Jahr auf reale und spezialisierte Szenarien, um die Anwendungen des multimodalen Reasonings von MLLMs zu erweitern. Unser Organisationsteam hat zwei maßgeschneiderte Datensätze, Lens und AdsQA, als Testsets veröffentlicht, die allgemeines Reasoning in 12 alltäglichen Szenarien bzw. domänenspezifisches Reasoning in Werbevideos unterstützen. Wir haben über 40 Baseline-Modelle evaluiert, die sowohl allgemeine MLLMs als auch aufgabenspezifische Modelle umfassen, und drei Wettbewerbskategorien eröffnet: Visual Grounding in Real-world Scenarios (VG-RS), Visual Question Answering with Spatial Awareness (VQA-SA) und Visual Reasoning in Creative Advertisement Videos (VR-Ads). Schließlich haben sich 76 Teams aus renommierten akademischen und industriellen Institutionen registriert, und über 40 gültige Einreichungen (von mehr als 1200) wurden in unsere Ranglisten aufgenommen. Unsere Datensätze, Codesätze (über 40 Baselines und mehr als 15 Methoden der Teilnehmer) und Ranglisten sind öffentlich auf der MARS2-Workshop-Website und unserer GitHub-Organisationsseite https://github.com/mars2workshop/ verfügbar, wo unsere Updates und Ankündigungen zu kommenden Veranstaltungen kontinuierlich bereitgestellt werden.

English

This paper reviews the MARS2 2025 Challenge on Multimodal Reasoning. We aim to bring together different approaches in multimodal machine learning and LLMs via a large benchmark. We hope it better allows researchers to follow the state-of-the-art in this very dynamic area. Meanwhile, a growing number of testbeds have boosted the evolution of general-purpose large language models. Thus, this year's MARS2 focuses on real-world and specialized scenarios to broaden the multimodal reasoning applications of MLLMs. Our organizing team released two tailored datasets Lens and AdsQA as test sets, which support general reasoning in 12 daily scenarios and domain-specific reasoning in advertisement videos, respectively. We evaluated 40+ baselines that include both generalist MLLMs and task-specific models, and opened up three competition tracks, i.e., Visual Grounding in Real-world Scenarios (VG-RS), Visual Question Answering with Spatial Awareness (VQA-SA), and Visual Reasoning in Creative Advertisement Videos (VR-Ads). Finally, 76 teams from the renowned academic and industrial institutions have registered and 40+ valid submissions (out of 1200+) have been included in our ranking lists. Our datasets, code sets (40+ baselines and 15+ participants' methods), and rankings are publicly available on the MARS2 workshop website and our GitHub organization page https://github.com/mars2workshop/, where our updates and announcements of upcoming events will be continuously provided.