Valeur Pour : Une Évaluation de Données Efficace et Unidirectionnelle pour le Fine-Tuning des LLM et VLM

Résumé

L'évaluation des données est essentielle pour améliorer la transparence et la responsabilité des grands modèles de langage (LLM) et des modèles vision-langage (VLM). Cependant, les méthodes existantes reposent généralement sur des calculs de gradient, ce qui les rend informatiquement prohibitives pour les modèles à milliards de paramètres et empêche toute parallélisation par lots. Dans ce travail, nous présentons For-Value, un cadre d'évaluation des données nécessitant uniquement une passe avant (forward-only), qui permet une estimation efficace et évolutive de la valeur par lots tout en maintenant son efficacité. En exploitant la puissance expressive des LLM/VLM pré-entraînés, nous démontrons théoriquement que l'évaluation des données peut être capturée par l'alignement entre les représentations cachées finales et les erreurs de prédiction au niveau de la dernière couche. Forts de cette intuition, For-Value calcule la valeur des données à l'aide d'une simple expression de forme fermée nécessitant une seule passe avant, éliminant ainsi le besoin de rétropropagation coûteuse et permettant un calcul efficace par lots à grande échelle. Des expériences approfondies montrent que For-Value égal ou surpasse les méthodes de référence basées sur le gradient pour détecter les données influentes et les données mal étiquetées, tout en réalisant des gains d'efficacité significatifs.

English

Data valuation is essential for enhancing the transparency and accountability of large language models (LLMs) and vision-language models (VLMs). However, existing methods typically rely on gradient computations, making them computationally prohibitive for billion-parameter models and precluding batch parallelization. In this work, we introduce For-Value, a forward-only data valuation framework that enables efficient batch-scalable value estimation while maintaining effectiveness. Leveraging the expressive power of pretrained LLMs/VLMs, we theoretically demonstrate that data valuation can be captured by the alignment between the final hidden representations and prediction errors at the last layer. In light of this insight, For-Value computes data value using a simple closed-form expression with a single forward pass, eliminating the need for costly backpropagation and enabling efficient batch calculating at scale. Extensive experiments show that For-Value matches or outperforms gradient-based baselines in detecting influential data and mislabeled data, while achieving significant efficiency improvements.