Modellierungskollaborator: Ermöglichen der subjektiven Bildklassifizierung mit minimalem menschlichem Aufwand über die Verwendung des LLM-Tools

Zusammenfassung

Von der Inhaltsmoderation bis zum Naturschutz nimmt die Anzahl der Anwendungen zu, die Modelle erfordern, um nuancierte oder subjektive visuelle Konzepte zu erkennen. Traditionell erfordert die Entwicklung von Klassifizierern für solche Konzepte einen erheblichen manuellen Aufwand, der in Stunden, Tagen oder sogar Monaten gemessen wird, um die für das Training benötigten Daten zu identifizieren und zu annotieren. Selbst mit kürzlich vorgeschlagenen Agilen Modellierungstechniken, die ein schnelles Bootstrapping von Bildklassifizierern ermöglichen, müssen Benutzer immer noch 30 Minuten oder mehr monotones, wiederholtes Datenlabeling aufwenden, um einen einzelnen Klassifizierer zu trainieren. Unter Bezugnahme auf Fiskes Theorie des kognitiven Geiz schlagen wir ein neues Rahmenwerk vor, das den manuellen Aufwand durch den Ersatz menschlicher Kennzeichnung durch Interaktionen in natürlicher Sprache verringert und den Gesamtaufwand zur Definition eines Konzepts um eine Größenordnung reduziert: von der Kennzeichnung von 2.000 Bildern auf nur 100 plus einige Interaktionen in natürlicher Sprache. Unser Rahmenwerk nutzt die jüngsten Fortschritte bei Grundlagenmodellen, sowohl großen Sprachmodellen als auch Bild-Sprach-Modellen, um den Konzeptraum durch Gespräche zu erschließen und die Trainingsdatenpunkte automatisch zu kennzeichnen. Am wichtigsten ist, dass unser Rahmenwerk den Bedarf an Crowdsourcing-Annotationen beseitigt. Darüber hinaus produziert unser Rahmenwerk letztendlich leichtgewichtige Klassifizierungsmodelle, die in kostensensiblen Szenarien einsetzbar sind. Über 15 subjektive Konzepte und über 2 öffentliche Bildklassifikationsdatensätze hinweg übertreffen unsere trainierten Modelle traditionelle Agile Modellierung sowie modernste Null-Schuss-Klassifikationsmodelle wie ALIGN, CLIP, CuPL und große visuelle Frage-Antwort-Modelle wie PaLI-X.

English

From content moderation to wildlife conservation, the number of applications that require models to recognize nuanced or subjective visual concepts is growing. Traditionally, developing classifiers for such concepts requires substantial manual effort measured in hours, days, or even months to identify and annotate data needed for training. Even with recently proposed Agile Modeling techniques, which enable rapid bootstrapping of image classifiers, users are still required to spend 30 minutes or more of monotonous, repetitive data labeling just to train a single classifier. Drawing on Fiske's Cognitive Miser theory, we propose a new framework that alleviates manual effort by replacing human labeling with natural language interactions, reducing the total effort required to define a concept by an order of magnitude: from labeling 2,000 images to only 100 plus some natural language interactions. Our framework leverages recent advances in foundation models, both large language models and vision-language models, to carve out the concept space through conversation and by automatically labeling training data points. Most importantly, our framework eliminates the need for crowd-sourced annotations. Moreover, our framework ultimately produces lightweight classification models that are deployable in cost-sensitive scenarios. Across 15 subjective concepts and across 2 public image classification datasets, our trained models outperform traditional Agile Modeling as well as state-of-the-art zero-shot classification models like ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.

Modellierungskollaborator: Ermöglichen der subjektiven Bildklassifizierung mit minimalem menschlichem Aufwand über die Verwendung des LLM-Tools

Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use

Zusammenfassung

Support