Além dos Objetos: Geração Contextual de Dados Sintéticos para Classificação de Alta Granularidade

Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification

October 28, 2025

Autores: William Yang, Xindi Wu, Zhiwei Deng, Esin Tureci, Olga Russakovsky

cs.AI

Resumo

Os modelos de texto para imagem (T2I) são cada vez mais utilizados para a geração de conjuntos de dados sintéticos, mas a criação de dados de treino sintéticos eficazes para classificação continua a ser um desafio. O ajuste fino de um modelo T2I com alguns exemplos reais pode ajudar a melhorar a qualidade dos dados de treino sintéticos; no entanto, também pode causar sobreajuste e reduzir a diversidade nas amostras geradas. Propomos uma estratégia de ajuste fino, BOB (BeyondOBjects), para mitigar estas preocupações na classificação de granularidade fina. Dado um pequeno conjunto de exemplos reais, começamos por extrair atributos agnósticos de classe, como o cenário de fundo e a pose do objeto. Em seguida, condicionamos explicitamente o ajuste fino do modelo T2I a estes atributos e marginalizamo-los durante a geração. Este projeto mitiga o sobreajuste, preserva o prior generativo do modelo T2I, reduz erros de estimativa e minimiza ainda mais associações interclasse não intencionais. Experiências extensas em vários modelos T2I, arquiteturas base e conjuntos de dados mostram que o nosso método alcança um desempenho de ponta na classificação de granularidade fina com poucos exemplos quando aumentado com dados sintéticos. Concretamente, o BOB supera o DataDream em 7,4% no conjunto de dados Aircraft (de 50,0% para 57,4% ao ajustar um classificador CLIP com cinco imagens reais aumentadas com 100 imagens sintéticas). Em três dos quatro benchmarks, o ajuste fino de modelos *downstream* com 5 imagens reais aumentadas com o BOB alcança um desempenho superior ao ajuste fino com 10 imagens reais. Coletivamente, o BOB supera o estado da arte em 18 de 24 configurações experimentais, com melhorias de precisão superiores a 2% em 14 dessas configurações.

English

Text-to-image (T2I) models are increasingly used for synthetic dataset generation, but generating effective synthetic training data for classification remains challenging. Fine-tuning a T2I model with a few real examples can help improve the quality of synthetic training data; however, it may also cause overfitting and reduce diversity in the generated samples. We propose a fine-tuning strategy BOB (BeyondOBjects) to mitigate these concerns for fine-grained classification. Given a small set of real examples, we first extract class-agnostic attributes such as scene background and object pose. We then explicitly condition on these attributes during fine-tuning of the T2I model and marginalize them out during generation. This design mitigates overfitting, preserves the T2I model's generative prior, reduces estimation errors, and further minimizes unintended inter-class associations. Extensive experiments across multiple T2I models, backbones, and datasets show that our method achieves state-of-the-art performance in low-shot fine-grained classification when augmented with synthetic data. Concretely, BOB outperforms DataDream by 7.4% on the Aircraft dataset (from 50.0% to 57.4% when fine-tuning a CLIP classifier with five real images augmented with 100 synthetic images). In three of the four benchmarks, fine-tuning downstream models with 5 real images augmented with BOB achieves better performance than fine-tuning with 10 real images. Collectively, BOB outperforms prior art in 18 of 24 experimental settings, with 2+% accuracy improvements in 14 of these settings.