자기 지도 교차 표현 학습을 위한 일관성 기반 공동 진화

초록

차트 이미지, 표 데이터, 시각화 코드가 다양한 분야에서 점점 더 중요한 역할을 수행함에 따라, 이러한 모달리티 간 교차 표현 이해는 AI 시스템에 근본적인 도전 과제를 제기한다. 표현 간 관계는 본질적으로 일대다(one-to-many)이며, 지도(supervision)는 모호하고 비용이 많이 들며, 모델 최적화에는 방향 적응적(direction-adaptive)이면서도 작업별 목표를 넘어 표현에 일반화 가능한(representation-generalizable) 원리 있는 신호가 부족하다. 우리는 차트, 표, 코드 표현 간 일관성을 개선하기 위해 CoCoEvolve를 도입한다. 교차 표현 매핑을 일대다 문제로 취급하는 대신, 명시적인 일대일 대응을 정의하고 추가 주석 없이 표현 간 일치(agreement)를 활용하여 모델을 최적화한다. 훈련 중에는 CoCoEvolve@Train이 차트-표-코드 순환 전반에 걸쳐 공진화(co-evolution)를 수행하며, CoCoEvolve@Test는 추론 시 동일한 일관성 목표를 적용하여 테스트 시 공동 최적화를 수행한다. 또한 6가지 교차 표현 작업을 모두 포괄하는 평가 스위트(suite)인 CoCoEvolve@Eval을 제시한다. 네 가지 벤치마크에서 CoCoEvolve는 훈련 시 및 테스트 시 설정 모두에서 성능을 향상시킨다. 프로젝트 페이지: https://xhguo7.github.io/CoCoEvolve/.

English

As chart images, tabular data, and visualization code play increasingly important roles across diverse domains, cross-representation understanding across these modalities poses fundamental challenges for AI systems: the relationships across representations are inherently one-to-many, supervision is ambiguous and costly, and model optimization lacks a principled signal that is both direction-adaptive and representation-generalizable beyond task-specific objectives. We introduce CoCoEvolve to improve consistency across chart, table, and code representations. Instead of treating cross-representation mapping as a one-to-many problem, we define explicit one-to-one correspondences and optimize models using agreement between representations, without additional annotations. During training, CoCoEvolve@Train performs co-evolution across the chart-table-code cycle, while CoCoEvolve@Test applies the same consistency objective at inference time for test-time co-optimization. We also present CoCoEvolve@Eval, an evaluation suite covering all six cross-representation tasks. Across four benchmarks, CoCoEvolve improves performance in both training-time and test-time settings. Our project page: https://xhguo7.github.io/CoCoEvolve/.