Modeling Collaborator: Het mogelijk maken van subjectieve visuele classificatie met minimale menselijke inspanning via LLM-gereedschapsgebruik

Samenvatting

Van contentmoderatie tot natuurbescherming groeit het aantal toepassingen dat modellen vereist om genuanceerde of subjectieve visuele concepten te herkennen. Traditioneel vereist het ontwikkelen van classificatoren voor dergelijke concepten aanzienlijke handmatige inspanning, gemeten in uren, dagen of zelfs maanden, om de benodigde gegevens voor training te identificeren en te annoteren. Zelfs met recent voorgestelde Agile Modeling-technieken, die een snelle opstart van beeldclassificatoren mogelijk maken, moeten gebruikers nog steeds 30 minuten of meer besteden aan monotoon, repetitief labelen van gegevens om slechts één classificator te trainen. Gebaseerd op Fiske's Cognitive Miser-theorie stellen we een nieuw raamwerk voor dat de handmatige inspanning vermindert door menselijk labelen te vervangen door natuurlijke taalinteracties, waardoor de totale inspanning die nodig is om een concept te definiëren met een orde van grootte wordt verminderd: van het labelen van 2.000 afbeeldingen naar slechts 100 plus enkele natuurlijke taalinteracties. Ons raamwerk maakt gebruik van recente vooruitgang in foundation modellen, zowel grote taalmodellen als visie-taalmodellen, om de conceptruimte af te bakenen door middel van conversatie en door automatisch trainingsgegevens te labelen. Het belangrijkste is dat ons raamwerk de noodzaak voor crowd-sourced annotaties elimineert. Bovendien produceert ons raamwerk uiteindelijk lichtgewicht classificatiemodellen die in kostenbewuste scenario's kunnen worden ingezet. Over 15 subjectieve concepten en over 2 openbare beeldclassificatiedatasets presteren onze getrainde modellen beter dan traditionele Agile Modeling en state-of-the-art zero-shot classificatiemodellen zoals ALIGN, CLIP, CuPL, en grote visuele vraag-antwoordmodellen zoals PaLI-X.

English

From content moderation to wildlife conservation, the number of applications that require models to recognize nuanced or subjective visual concepts is growing. Traditionally, developing classifiers for such concepts requires substantial manual effort measured in hours, days, or even months to identify and annotate data needed for training. Even with recently proposed Agile Modeling techniques, which enable rapid bootstrapping of image classifiers, users are still required to spend 30 minutes or more of monotonous, repetitive data labeling just to train a single classifier. Drawing on Fiske's Cognitive Miser theory, we propose a new framework that alleviates manual effort by replacing human labeling with natural language interactions, reducing the total effort required to define a concept by an order of magnitude: from labeling 2,000 images to only 100 plus some natural language interactions. Our framework leverages recent advances in foundation models, both large language models and vision-language models, to carve out the concept space through conversation and by automatically labeling training data points. Most importantly, our framework eliminates the need for crowd-sourced annotations. Moreover, our framework ultimately produces lightweight classification models that are deployable in cost-sensitive scenarios. Across 15 subjective concepts and across 2 public image classification datasets, our trained models outperform traditional Agile Modeling as well as state-of-the-art zero-shot classification models like ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.

Modeling Collaborator: Het mogelijk maken van subjectieve visuele classificatie met minimale menselijke inspanning via LLM-gereedschapsgebruik

Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use

Samenvatting

Support