Modelagem de Colaborador: Habilitando Classificação de Visão Subjetiva com Mínimo Esforço Humano por meio de Uso de Ferramentas de LLM

Resumo

Da moderação de conteúdo à conservação da vida selvagem, o número de aplicações que exigem que os modelos reconheçam conceitos visuais sutis ou subjetivos está crescendo. Tradicionalmente, o desenvolvimento de classificadores para tais conceitos requer um esforço manual substancial, medido em horas, dias ou até meses, para identificar e anotar os dados necessários para o treinamento. Mesmo com as técnicas recentemente propostas de Modelagem Ágil, que permitem a inicialização rápida de classificadores de imagens, os usuários ainda precisam gastar 30 minutos ou mais em rotinas monótonas e repetitivas de rotulagem de dados apenas para treinar um único classificador. Baseando-se na teoria do Misericórdia Cognitiva de Fiske, propomos um novo framework que reduz o esforço manual ao substituir a rotulagem humana por interações em linguagem natural, diminuindo o esforço total necessário para definir um conceito em uma ordem de grandeza: de rotular 2.000 imagens para apenas 100, além de algumas interações em linguagem natural. Nosso framework aproveita os avanços recentes em modelos de base, tanto grandes modelos de linguagem quanto modelos de visão e linguagem, para delimitar o espaço conceitual por meio de conversas e rotulagem automática dos pontos de dados de treinamento. Mais importante, nosso framework elimina a necessidade de anotações crowdsourced. Além disso, nosso framework produz, em última análise, modelos de classificação leves que podem ser implantados em cenários sensíveis a custos. Em 15 conceitos subjetivos e em dois conjuntos de dados públicos de classificação de imagens, nossos modelos treinados superam a Modelagem Ágil tradicional, bem como modelos de classificação zero-shot de última geração, como ALIGN, CLIP, CuPL, e grandes modelos de resposta a perguntas visuais, como PaLI-X.

English

From content moderation to wildlife conservation, the number of applications that require models to recognize nuanced or subjective visual concepts is growing. Traditionally, developing classifiers for such concepts requires substantial manual effort measured in hours, days, or even months to identify and annotate data needed for training. Even with recently proposed Agile Modeling techniques, which enable rapid bootstrapping of image classifiers, users are still required to spend 30 minutes or more of monotonous, repetitive data labeling just to train a single classifier. Drawing on Fiske's Cognitive Miser theory, we propose a new framework that alleviates manual effort by replacing human labeling with natural language interactions, reducing the total effort required to define a concept by an order of magnitude: from labeling 2,000 images to only 100 plus some natural language interactions. Our framework leverages recent advances in foundation models, both large language models and vision-language models, to carve out the concept space through conversation and by automatically labeling training data points. Most importantly, our framework eliminates the need for crowd-sourced annotations. Moreover, our framework ultimately produces lightweight classification models that are deployable in cost-sensitive scenarios. Across 15 subjective concepts and across 2 public image classification datasets, our trained models outperform traditional Agile Modeling as well as state-of-the-art zero-shot classification models like ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.

Modelagem de Colaborador: Habilitando Classificação de Visão Subjetiva com Mínimo Esforço Humano por meio de Uso de Ferramentas de LLM

Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use

Resumo

Support