Jenseits von Objekten: Kontextuelle Synthese von Daten für die Feinklassifizierung

Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification

October 28, 2025

papers.authors: William Yang, Xindi Wu, Zhiwei Deng, Esin Tureci, Olga Russakovsky

cs.AI

papers.abstract

Text-to-Image (T2I)-Modelle werden zunehmend zur Erzeugung synthetischer Datensätze eingesetzt, doch die Generierung effektiver synthetischer Trainingsdaten für Klassifikationsaufgaben bleibt eine Herausforderung. Das Feinabstimmen (Fine-Tuning) eines T2I-Modells mit wenigen realen Beispielen kann die Qualität der synthetischen Trainingsdaten verbessern; dies kann jedoch auch zu Overfitting führen und die Vielfalt der generierten Stichproben verringern. Wir schlagen eine Feinabstimmungsstrategie namens BOB (BeyondOBjects) vor, um diese Probleme bei der Feinabstimmungsklassifikation (Fine-Grained Classification) zu mildern. Ausgehend von einer kleinen Menge realer Beispiele extrahieren wir zunächst klassenagnostische Attribute wie den Szenenhintergrund und die Objektpose. Anschließend berücksichtigen wir diese Attribute explizit während des Feinabstimmens des T2I-Modells und marginalisieren sie während der Generierung wieder aus. Dieser Ansatz reduziert Overfitting, bewahrt die generative A-priori-Verteilung des T2I-Modells, verringert Schätzfehler und minimiert unbeabsichtigte Interklassen-Assoziationen weiter. Umfangreiche Experimente mit mehreren T2I-Modellen, Backbones und Datensätzen zeigen, dass unsere Methode bei Verstärkung mit synthetischen Daten state-of-the-art Leistung in der Few-Shot Feinabstimmungsklassifikation erreicht. Konkret übertrifft BOB DataDream um 7,4 % auf dem Aircraft-Datensatz (von 50,0 % auf 57,4 %, wenn ein CLIP-Klassifikator mit fünf realen Bildern, verstärkt durch 100 synthetische Bilder, feinabgestimmt wird). In drei von vier Benchmarks erzielt das Feinabstimmen von Downstream-Modellen mit 5 realen Bildern, die mit BOB verstärkt wurden, eine bessere Leistung als das Feinabstimmen mit 10 realen Bildern. Insgesamt übertrifft BOB den bisherigen Stand der Technik in 18 von 24 experimentellen Settings, mit Genauigkeitsverbesserungen von über 2 % in 14 dieser Settings.

English

Text-to-image (T2I) models are increasingly used for synthetic dataset generation, but generating effective synthetic training data for classification remains challenging. Fine-tuning a T2I model with a few real examples can help improve the quality of synthetic training data; however, it may also cause overfitting and reduce diversity in the generated samples. We propose a fine-tuning strategy BOB (BeyondOBjects) to mitigate these concerns for fine-grained classification. Given a small set of real examples, we first extract class-agnostic attributes such as scene background and object pose. We then explicitly condition on these attributes during fine-tuning of the T2I model and marginalize them out during generation. This design mitigates overfitting, preserves the T2I model's generative prior, reduces estimation errors, and further minimizes unintended inter-class associations. Extensive experiments across multiple T2I models, backbones, and datasets show that our method achieves state-of-the-art performance in low-shot fine-grained classification when augmented with synthetic data. Concretely, BOB outperforms DataDream by 7.4% on the Aircraft dataset (from 50.0% to 57.4% when fine-tuning a CLIP classifier with five real images augmented with 100 synthetic images). In three of the four benchmarks, fine-tuning downstream models with 5 real images augmented with BOB achieves better performance than fine-tuning with 10 real images. Collectively, BOB outperforms prior art in 18 of 24 experimental settings, with 2+% accuracy improvements in 14 of these settings.