モデリングコラボレーター：LLMツール使用による最小限の人的労力での主観的視覚分類の実現

要旨

コンテンツモデレーションから野生動物保護まで、ニュアンスのある主観的な視覚概念を認識するモデルを必要とするアプリケーションの数が増えています。伝統的に、そのような概念の分類器を開発するには、トレーニングに必要なデータを特定し注釈付けるために、数時間、数日、あるいは数か月に及ぶ多大な手作業が必要でした。最近提案されたアジャイルモデリング技術でさえ、画像分類器を迅速にブートストラップできるものの、単一の分類器をトレーニングするために、ユーザーは30分以上もの単調で反復的なデータラベリングを依然として行わなければなりません。Fiskeの認知節約理論に基づき、私たちは新しいフレームワークを提案します。このフレームワークは、人間によるラベリングを自然言語インタラクションに置き換えることで手作業を軽減し、概念を定義するために必要な総作業量を桁違いに削減します：2,000枚の画像をラベリングする代わりに、100枚の画像と自然言語インタラクションのみで済みます。私たちのフレームワークは、大規模言語モデルや視覚言語モデルといった基盤モデルの最近の進歩を活用し、会話を通じて概念空間を切り出し、トレーニングデータポイントを自動的にラベリングします。最も重要なのは、私たちのフレームワークがクラウドソーシングによる注釈を不要にすることです。さらに、私たちのフレームワークは最終的に、コストに敏感なシナリオでも展開可能な軽量な分類モデルを生成します。15の主観的概念と2つの公開画像分類データセットにわたって、私たちのトレーニングされたモデルは、従来のアジャイルモデリングだけでなく、ALIGN、CLIP、CuPLといった最先端のゼロショット分類モデルや、PaLI-Xのような大規模視覚質問応答モデルを上回る性能を示しました。

English

From content moderation to wildlife conservation, the number of applications that require models to recognize nuanced or subjective visual concepts is growing. Traditionally, developing classifiers for such concepts requires substantial manual effort measured in hours, days, or even months to identify and annotate data needed for training. Even with recently proposed Agile Modeling techniques, which enable rapid bootstrapping of image classifiers, users are still required to spend 30 minutes or more of monotonous, repetitive data labeling just to train a single classifier. Drawing on Fiske's Cognitive Miser theory, we propose a new framework that alleviates manual effort by replacing human labeling with natural language interactions, reducing the total effort required to define a concept by an order of magnitude: from labeling 2,000 images to only 100 plus some natural language interactions. Our framework leverages recent advances in foundation models, both large language models and vision-language models, to carve out the concept space through conversation and by automatically labeling training data points. Most importantly, our framework eliminates the need for crowd-sourced annotations. Moreover, our framework ultimately produces lightweight classification models that are deployable in cost-sensitive scenarios. Across 15 subjective concepts and across 2 public image classification datasets, our trained models outperform traditional Agile Modeling as well as state-of-the-art zero-shot classification models like ALIGN, CLIP, CuPL, and large visual question-answering models like PaLI-X.

モデリングコラボレーター：LLMツール使用による最小限の人的労力での主観的視覚分類の実現

Modeling Collaborator: Enabling Subjective Vision Classification With Minimal Human Effort via LLM Tool-Use

要旨

Support