Modellazione Collaborativa: Abilitare la Classificazione Visionaria Soggettiva con Sforzo Umano Minimizzato tramite Uso di Strumenti LLM

Abstract

Dalla moderazione dei contenuti alla conservazione della fauna selvatica, il numero di applicazioni che richiedono modelli in grado di riconoscere concetti visivi sfumati o soggettivi è in crescita. Tradizionalmente, lo sviluppo di classificatori per tali concetti richiede uno sforzo manuale sostanziale, misurato in ore, giorni o persino mesi, per identificare e annotare i dati necessari per l'addestramento. Anche con le tecniche di Agile Modeling proposte di recente, che consentono un rapido bootstrap dei classificatori di immagini, gli utenti devono comunque dedicare 30 minuti o più a un'etichettatura monotona e ripetitiva dei dati solo per addestrare un singolo classificatore. Basandoci sulla teoria del Cognitive Miser di Fiske, proponiamo un nuovo framework che allevia lo sforzo manuale sostituendo l'etichettatura umana con interazioni in linguaggio naturale, riducendo lo sforzo totale necessario per definire un concetto di un ordine di grandezza: dall'etichettatura di 2.000 immagini a sole 100 più alcune interazioni in linguaggio naturale. Il nostro framework sfrutta i recenti progressi nei modelli di base, sia i grandi modelli linguistici che i modelli visione-linguaggio, per delineare lo spazio dei concetti attraverso la conversazione e per etichettare automaticamente i punti di dati di addestramento. Soprattutto, il nostro framework elimina la necessità di annotazioni crowdsourced. Inoltre, il nostro framework produce alla fine modelli di classificazione leggeri che possono essere implementati in scenari sensibili ai costi. Su 15 concetti soggettivi e su 2 dataset pubblici di classificazione di immagini, i nostri modelli addestrati superano sia l'Agile Modeling tradizionale che i modelli di classificazione zero-shot all'avanguardia come ALIGN, CLIP, CuPL, e i grandi modelli di risposta alle domande visive come PaLI-X.

English

From content moderation to wildlife conservation, the number of applications that require models to recognize nuanced or subjective visual concepts is growing. Traditionally, developing classifiers for such concepts requires substantial manual effort measured in hours, days, or even months to identify and annotate data needed for training. Even with recently proposed Agile Modeling techniques, which enable rapid bootstrapping of image classifiers, users are still required to spend 30 minutes or more of monotonous, repetitive data labeling just to train a single classifier. Drawing on Fiske's Cognitive Miser theory, we propose a new framework that alleviates manual effort by replacing human labeling with natural language interactions, reducing the total effort required to define a concept by an order of magnitude: from labeling 2,000 images to only 100 plus some natural language interactions. Our framework leverages recent advances in foundation models, both large language models and vision-language models, to carve out the concept space through conversation and by automatically labeling training data points. Most importantly, our framework eliminates the need for crowd-sourced annotations. Moreover, our framework ultimately produces lightweight classification models that are deployable in cost-sensitive scenarios. Across 15 subjective concepts and across 2 public image classification datasets, our trained models outperform traditional Agile Modeling as well as state-of-the-art zero-shot classification models like ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.

Modellazione Collaborativa: Abilitare la Classificazione Visionaria Soggettiva con Sforzo Umano Minimizzato tramite Uso di Strumenti LLM

Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use

Abstract

Support