Моделирование совместного сотрудничества: обеспечение классификации субъективного зрения с минимальными усилиями человека с помощью инструмента использования LLM.
Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use
March 5, 2024
Авторы: Imad Eddine Toubal, Aditya Avinash, Neil Gordon Alldrin, Jan Dlabal, Wenlei Zhou, Enming Luo, Otilia Stretcu, Hao Xiong, Chun-Ta Lu, Howard Zhou, Ranjay Krishna, Ariel Fuxman, Tom Duerig
cs.AI
Аннотация
От модерации контента до охраны дикой природы, количество приложений, требующих моделей для распознавания тонких или субъективных визуальных концепций, растет. Традиционно разработка классификаторов для таких концепций требует значительных ручных усилий, измеряемых в часах, днях или даже месяцах для идентификации и аннотации данных, необходимых для обучения. Даже с недавно предложенными методиками Agile Modeling, которые позволяют быстро создавать классификаторы изображений, пользователям все равно требуется потратить 30 минут или более на однообразную, повторяющуюся разметку данных только для обучения одного классификатора. Основываясь на когнитивной теории Fiske, мы предлагаем новую концепцию, которая снижает ручные усилия, заменяя человеческую разметку взаимодействиями на естественном языке, уменьшая общие усилия, необходимые для определения концепции на порядок: от разметки 2 000 изображений до всего лишь 100 плюс некоторые взаимодействия на естественном языке. Наша концепция использует последние достижения в области фундаментальных моделей, как большие языковые модели, так и модели видения-языка, для выделения пространства концепций через разговор и автоматическую разметку обучающих данных. Прежде всего, наша концепция устраняет необходимость в аннотациях, полученных от массовых источников. Более того, наша концепция в конечном итоге создает легкие модели классификации, которые могут быть задействованы в сценариях с ограниченными затратами. На 15 субъективных концепциях и на 2 общедоступных наборах данных по классификации изображений наши обученные модели превосходят традиционное Agile Modeling, а также передовые модели классификации с нулевым обучением, такие как ALIGN, CLIP, CuPL, и большие модели визуального вопросно-ответного взаимодействия, такие как PaLI-X.
English
From content moderation to wildlife conservation, the number of applications
that require models to recognize nuanced or subjective visual concepts is
growing. Traditionally, developing classifiers for such concepts requires
substantial manual effort measured in hours, days, or even months to identify
and annotate data needed for training. Even with recently proposed Agile
Modeling techniques, which enable rapid bootstrapping of image classifiers,
users are still required to spend 30 minutes or more of monotonous, repetitive
data labeling just to train a single classifier. Drawing on Fiske's Cognitive
Miser theory, we propose a new framework that alleviates manual effort by
replacing human labeling with natural language interactions, reducing the total
effort required to define a concept by an order of magnitude: from labeling
2,000 images to only 100 plus some natural language interactions. Our framework
leverages recent advances in foundation models, both large language models and
vision-language models, to carve out the concept space through conversation and
by automatically labeling training data points. Most importantly, our framework
eliminates the need for crowd-sourced annotations. Moreover, our framework
ultimately produces lightweight classification models that are deployable in
cost-sensitive scenarios. Across 15 subjective concepts and across 2 public
image classification datasets, our trained models outperform traditional Agile
Modeling as well as state-of-the-art zero-shot classification models like
ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.