DICS：視覚的指示選択のためのデータ固有の一貫性の探求

要旨

視覚指示チューニングは、視覚言語モデル（VLM）の視覚言語アライメントと指示追従能力を向上させるために極めて重要である。しかし、急速に拡大するデータセットから固定比率制約の下で最適なサブセットを特定することは、依然として大きなボトルネックとなっている。既存手法は主に分布多様性やヒューリスティックなフィルタリングに依存しているが、個々のサンプル内部の一貫性を見落とすことが多い。このギャップを埋めるために、我々はデータ固有一貫性（DIC）を提案する。これは、サンプルレベルのコンポーネント間一貫性を定量化するように設計された自己評価指標である。DICは2つのモジュールから構成される：視覚情報一貫性（VIC）は視覚コンテンツと指示の間の整合性を評価し、応答情報一貫性（RIC）は指示に対する応答の一貫性を評価する。DICに基づき、我々はデータ固有一貫性選択（DICS）を導入する。これは、様々なデータ予算の下で高いサンプル内一貫性と全体的な分布多様性の間のトレードオフを最適化する適応的データ選択手法である。広範な実験により、DICSは多様なデータセット規模とモデルアーキテクチャにわたって最先端手法を一貫して上回り、LLaVA-1.5-665Kデータのわずか25%を使用しながら、全データセットでのファインチューニングをも上回ることが実証された。さらに、我々はDICS-6Mを構築した。これは、これまでで最大規模の視覚指示選択研究を可能にする6Mサンプルのマルチモーダル指示コーパスである。注目すべきことに、DICSは報告されたトレーニングデータの25%未満を使用して、公式のInternVL3-8B-Instruct性能の94.52%に達する。コードは https://github.com/cqu-student/DICS で公開されている。

English

Visual instruction tuning is crucial for advancing the vision-language alignment and instruction-following capabilities of Vision-Language Models (VLMs). However, identifying optimal subsets under a fixed ratio constraint from rapidly expanding datasets remains a significant bottleneck. While existing methods largely depend on distribution diversity or heuristic filtering, they often overlook the internal coherence within individual samples. To bridge this gap, we propose Data Intrinsic Consistency (DIC), a self-scoring metric designed to quantify the sample-level inter-component consistency. DIC consists of two modules: Visual Information Consistency (VIC), evaluating the alignment between visual content and instructions, and Response Information Consistency (RIC), assessing response coherence relative to the instruction. Building upon DIC, we introduce Data Intrinsic Consistency Selection (DICS), an adaptive data selection method that optimizes the trade-off between high intra-sample consistency and global distributional diversity under varying data budgets. Extensive experiments demonstrate that DICS consistently outperforms state-of-the-art methods across diverse dataset scales and model architectures, surpassing full-dataset fine-tuning while using only 25% of the LLaVA-1.5-665K data. We further curate DICS-6M, a 6M-sample multi-modal instruction corpus that enables the largest-scale visual instruction selection study to date; remarkably, DICS reaches 94.52\% of the official InternVL3-8B-Instruct performance using less than 25\% of its reported training data. Code can be seen at https://github.com/cqu-student/DICS