DICS: 시각 명령 선택을 위한 데이터 내재적 일관성 탐구

초록

시각 지시 튜닝은 비전-언어 모델(VLM)의 비전-언어 정렬 및 지시 수행 능력을 향상시키는 데 중요하다. 그러나 빠르게 확장되는 데이터셋에서 고정 비율 제약 하에 최적의 부분집합을 식별하는 것은 여전히 중요한 병목으로 남아 있다. 기존 방법들은 대부분 분포 다양성이나 휴리스틱 필터링에 의존하는 반면, 개별 샘플 내부의 일관성은 자주 간과된다. 이러한 격차를 해소하기 위해, 우리는 샘플 수준의 구성 요소 간 일관성을 정량화하도록 설계된 자가 평가 지표인 데이터 고유 일관성(DIC)을 제안한다. DIC는 두 가지 모듈로 구성된다: 시각 콘텐츠와 지시 사이의 정렬을 평가하는 시각 정보 일관성(VIC), 그리고 지시에 대한 응답의 일관성을 평가하는 응답 정보 일관성(RIC). DIC를 기반으로, 우리는 다양한 데이터 예산 하에서 높은 샘플 내부 일관성과 전역 분포 다양성 사이의 절충을 최적화하는 적응형 데이터 선택 방법인 데이터 고유 일관성 선택(DICS)을 소개한다. 광범위한 실험은 DICS가 다양한 데이터셋 규모와 모델 아키텍처에서 최신 방법들을 일관되게 능가하며, LLaVA-1.5-665K 데이터의 25%만 사용하면서도 전체 데이터셋 미세 조정을 능가함을 보여준다. 또한 우리는 6백만 개 샘플로 구성된 다중 모달 지시 코퍼스인 DICS-6M을 구축하여, 현재까지 가장 큰 규모의 시각 지시 선택 연구를 가능하게 한다. 놀랍게도 DICS는 보고된 훈련 데이터의 25% 미만만을 사용하여 공식 InternVL3-8B-Instruct 성능의 94.52%에 도달한다. 코드는 https://github.com/cqu-student/DICS에서 확인할 수 있다.

English

Visual instruction tuning is crucial for advancing the vision-language alignment and instruction-following capabilities of Vision-Language Models (VLMs). However, identifying optimal subsets under a fixed ratio constraint from rapidly expanding datasets remains a significant bottleneck. While existing methods largely depend on distribution diversity or heuristic filtering, they often overlook the internal coherence within individual samples. To bridge this gap, we propose Data Intrinsic Consistency (DIC), a self-scoring metric designed to quantify the sample-level inter-component consistency. DIC consists of two modules: Visual Information Consistency (VIC), evaluating the alignment between visual content and instructions, and Response Information Consistency (RIC), assessing response coherence relative to the instruction. Building upon DIC, we introduce Data Intrinsic Consistency Selection (DICS), an adaptive data selection method that optimizes the trade-off between high intra-sample consistency and global distributional diversity under varying data budgets. Extensive experiments demonstrate that DICS consistently outperforms state-of-the-art methods across diverse dataset scales and model architectures, surpassing full-dataset fine-tuning while using only 25% of the LLaVA-1.5-665K data. We further curate DICS-6M, a 6M-sample multi-modal instruction corpus that enables the largest-scale visual instruction selection study to date; remarkably, DICS reaches 94.52\% of the official InternVL3-8B-Instruct performance using less than 25\% of its reported training data. Code can be seen at https://github.com/cqu-student/DICS