Het verbeteren van cognitie en uitlegbaarheid van multimodale foundation-modellen met zelf-gegenereerde data

Enhancing Cognition and Explainability of Multimodal Foundation Models with Self-Synthesized Data

February 19, 2025

Auteurs: Yucheng Shi, Quanzheng Li, Jin Sun, Xiang Li, Ninghao Liu

cs.AI

Samenvatting

Grote multimodale modellen (LMMs) hebben indrukwekkende capaciteiten getoond in een breed scala aan visuele taken. Ze hebben echter vaak moeite met fijnmazige visuele redenering, waarbij ze domeinspecifieke doelstellingen niet kunnen identificeren en geen rechtvaardigbare verklaringen kunnen geven voor hun voorspellingen. Om dit aan te pakken, stellen we een nieuw visueel afwijzingssteekproefkader voor om de cognitie en uitlegbaarheid van LMMs te verbeteren met behulp van zelf gesynthetiseerde data. Specifiek vereist visuele fine-tuning afbeeldingen, vragen en doelantwoorden. Onze aanpak begint met het synthetiseren van interpreteerbare antwoorden die menselijk verifieerbare visuele kenmerken bevatten. Deze kenmerken zijn gebaseerd op door experts gedefinieerde concepten, zorgvuldig geselecteerd op basis van hun overeenstemming met de beeldinhoud. Na elke ronde van fine-tuning passen we een beloningsmodelvrij filtermechanisme toe om de hoogste kwaliteit interpreteerbare antwoorden te selecteren voor de volgende ronde van afstemming. Dit iteratieve proces van datasynthese en fine-tuning verbetert geleidelijk het vermogen van het model om accurate en redelijke verklaringen te genereren. Experimentele resultaten tonen de effectiviteit van onze methode aan in het verbeteren van zowel de nauwkeurigheid als de uitlegbaarheid van gespecialiseerde visuele classificatietaken.

English

Large multimodal models (LMMs) have shown impressive capabilities in a wide range of visual tasks. However, they often struggle with fine-grained visual reasoning, failing to identify domain-specific objectives and provide justifiable explanations for their predictions. To address this, we propose a novel visual rejection sampling framework to improve the cognition and explainability of LMMs using self-synthesized data. Specifically, visual fine-tuning requires images, queries, and target answers. Our approach begins by synthesizing interpretable answers that include human-verifiable visual features. These features are based on expert-defined concepts, carefully selected based on their alignment with the image content. After each round of fine-tuning, we apply a reward model-free filtering mechanism to select the highest-quality interpretable answers for the next round of tuning. This iterative process of data synthesis and fine-tuning progressively improves the model's ability to generate accurate and reasonable explanations. Experimental results demonstrate the effectiveness of our method in improving both the accuracy and explainability of specialized visual classification tasks.