CLBench-V: 그라운딩에서 지식 습득까지의 멀티모달 맥락 학습 평가

초록

실제 작업에서는 모델이 사전 학습된 지식에만 의존하지 않고 작업별 맥락으로부터 학습해야 하는 경우가 많다. 최근 연구에서는 이러한 능력을 맥락 학습(context learning)으로 강조하고 있지만, 기존 평가는 주로 텍스트 맥락에 초점을 맞추고 있다. 그러나 많은 실용적 상황에서 학습해야 할 맥락은 멀티모달(multimodal)이다. 과학적 발견은 그림과 표를 통해 전달되고, 금융 지표는 변환된 보고서에 흩어져 있으며, 공간적 결정은 지도, 장면 또는 웹 페이지에 의존한다. 본 논문에서는 맥락 학습이 무너지는 지점을 파악하기 어려운 문제를 해결하기 위해, 맥락 기반 이해(context grounding), 새 정보 적용(new information application), 새 지식 학습(new knowledge learning)이라는 세 가지 차원으로 작업을 구성한 멀티모달 맥락 학습 벤치마크인 CLBench-V를 소개한다. CLBench-V는 변환된 공개 벤치마크와 과학, 금융, 장문 문서 이해, 공간 추론, 웹 기반 시각 질의응답 등 다양한 도메인을 포괄하는 새로 구축된 데이터셋을 결합한다. 또한 도메인 특화 맥락 학습 작업 구축 비용을 줄이기 위해, 새로 구축한 데이터셋에 대해 자동 생성 및 필터링 절차를 사용한다. 총 3,443개의 인스턴스와 6개의 최신 멀티모달 모델을 대상으로 한 평가에서 최고 종합 점수는 0.2847에 불과하여, 멀티모달 맥락 학습이 아직 포화 상태에 크게 미치지 못했음을 보여준다. 또한 InternVL3.5-30B-A3B는 맥락 기반 이해와 새 지식 학습에서 최고 성능을 보였고, Qwen3.5-Plus는 새 정보 적용에서 최고 성능을 기록했다. 추가로 평가자 신뢰도, 맥락 길이, 이미지 개수, 대표적인 실패 사례를 분석한다. 코드는 https://github.com/IamLihua/CLBench-V 에서 확인할 수 있다.

English

Real-world tasks often require models to learn from task-specific context rather than relying only on pre-trained knowledge. While recent work has highlighted this capability as context learning, existing evaluations mainly focus on textual contexts. In many practical settings, however, the context to be learned from is multimodal: scientific findings are conveyed through figures and tables, financial indicators are scattered across converted reports, and spatial decisions depend on maps, scenes, or web pages. We introduce CLBench-V, a benchmark for multimodal context learning that addresses the difficulty of localizing where context use breaks down by organizing tasks around three dimensions: context grounding, new information application, and new knowledge learning. CLBench-V combines converted public benchmarks with newly constructed datasets spanning domains such as science, finance, long-document understanding, spatial reasoning, and web-based visual question answering. To reduce the cost of constructing domain-specific context-learning tasks, we further use automated construction and filtering procedures for our newly built datasets. Across 3,443 instances and six recent multimodal models, the best overall score is only 0.2847, indicating that multimodal context learning remains far from saturated. Moreover, InternVL3.5-30B-A3B performs best on context grounding and new knowledge learning, while Qwen3.5-Plus performs best on new information application. We further analyze judge reliability, context length, image count, and representative failure cases. Code is available at https://github.com/IamLihua/CLBench-V.