Más allá de los objetos: Generación contextual de datos sintéticos para la clasificación de grano fino

Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification

October 28, 2025

Autores: William Yang, Xindi Wu, Zhiwei Deng, Esin Tureci, Olga Russakovsky

cs.AI

Resumen

Los modelos de texto a imagen (T2I) se utilizan cada vez más para la generación de conjuntos de datos sintéticos, pero generar datos de entrenamiento sintéticos efectivos para clasificación sigue siendo un desafío. El ajuste fino de un modelo T2I con unos pocos ejemplos reales puede ayudar a mejorar la calidad de los datos de entrenamiento sintéticos; sin embargo, también puede causar sobreajuste y reducir la diversidad en las muestras generadas. Proponemos una estrategia de ajuste fino, BOB (BeyondOBjects), para mitigar estos problemas en la clasificación de grano fino. Dado un pequeño conjunto de ejemplos reales, primero extraemos atributos independientes de la clase, como el fondo de la escena y la pose del objeto. Luego, condicionamos explícitamente en estos atributos durante el ajuste fino del modelo T2I y los marginalizamos durante la generación. Este diseño mitiga el sobreajuste, preserva el prior generativo del modelo T2I, reduce los errores de estimación y minimiza aún más las asociaciones interclase no deseadas. Experimentos exhaustivos en múltiples modelos T2I, arquitecturas base y conjuntos de datos muestran que nuestro método logra un rendimiento de vanguardia en clasificación de grano fino con pocos ejemplos cuando se aumenta con datos sintéticos. Concretamente, BOB supera a DataDream en un 7.4% en el conjunto de datos Aircraft (de 50.0% a 57.4% al ajustar un clasificador CLIP con cinco imágenes reales aumentadas con 100 imágenes sintéticas). En tres de los cuatro puntos de referencia, el ajuste fino de modelos posteriores con 5 imágenes reales aumentadas con BOB logra un mejor rendimiento que el ajuste fino con 10 imágenes reales. En conjunto, BOB supera a los métodos anteriores en 18 de 24 configuraciones experimentales, con mejoras de precisión de más del 2% en 14 de estas configuraciones.

English

Text-to-image (T2I) models are increasingly used for synthetic dataset generation, but generating effective synthetic training data for classification remains challenging. Fine-tuning a T2I model with a few real examples can help improve the quality of synthetic training data; however, it may also cause overfitting and reduce diversity in the generated samples. We propose a fine-tuning strategy BOB (BeyondOBjects) to mitigate these concerns for fine-grained classification. Given a small set of real examples, we first extract class-agnostic attributes such as scene background and object pose. We then explicitly condition on these attributes during fine-tuning of the T2I model and marginalize them out during generation. This design mitigates overfitting, preserves the T2I model's generative prior, reduces estimation errors, and further minimizes unintended inter-class associations. Extensive experiments across multiple T2I models, backbones, and datasets show that our method achieves state-of-the-art performance in low-shot fine-grained classification when augmented with synthetic data. Concretely, BOB outperforms DataDream by 7.4% on the Aircraft dataset (from 50.0% to 57.4% when fine-tuning a CLIP classifier with five real images augmented with 100 synthetic images). In three of the four benchmarks, fine-tuning downstream models with 5 real images augmented with BOB achieves better performance than fine-tuning with 10 real images. Collectively, BOB outperforms prior art in 18 of 24 experimental settings, with 2+% accuracy improvements in 14 of these settings.