自己教師ありクロス表現学習のための整合性駆動型共進化

要旨

チャート画像、テーブルデータ、可視化コードが多様な領域でますます重要な役割を果たすにつれ、これらモダリティ間の表現横断的理解はAIシステムにとって根本的な課題を提起している。すなわち、表現間の関係は本質的に一対多であり、教師信号は曖昧でコストがかかり、モデル最適化にはタスク固有の目的を超えた、方向適応的かつ表現汎化可能な原理的な信号が欠けている。本稿では、チャート・テーブル・コード表現間の整合性を向上させるCoCoEvolveを紹介する。表現横断マッピングを一対多問題として扱うのではなく、明示的な一対一対応を定義し、追加のアノテーションなしに表現間の一致を用いてモデルを最適化する。訓練中はCoCoEvolve@Trainがチャート・テーブル・コードのサイクルにわたって共進化を行い、CoCoEvolve@Testは推論時に同じ整合性目的を適用してテスト時共同最適化を行う。また、6つの表現横断タスクすべてをカバーする評価スイートCoCoEvolve@Evalも提示する。4つのベンチマークを通じて、CoCoEvolveは訓練時およびテスト時の両方の設定で性能を向上させる。プロジェクトページ: https://xhguo7.github.io/CoCoEvolve/

English

As chart images, tabular data, and visualization code play increasingly important roles across diverse domains, cross-representation understanding across these modalities poses fundamental challenges for AI systems: the relationships across representations are inherently one-to-many, supervision is ambiguous and costly, and model optimization lacks a principled signal that is both direction-adaptive and representation-generalizable beyond task-specific objectives. We introduce CoCoEvolve to improve consistency across chart, table, and code representations. Instead of treating cross-representation mapping as a one-to-many problem, we define explicit one-to-one correspondences and optimize models using agreement between representations, without additional annotations. During training, CoCoEvolve@Train performs co-evolution across the chart-table-code cycle, while CoCoEvolve@Test applies the same consistency objective at inference time for test-time co-optimization. We also present CoCoEvolve@Eval, an evaluation suite covering all six cross-representation tasks. Across four benchmarks, CoCoEvolve improves performance in both training-time and test-time settings. Our project page: https://xhguo7.github.io/CoCoEvolve/.