De Planos a Pixels: Aprendendo a Planejar e Orquestrar para Edição de Imagens Aberta

Resumo

Modelos modernos de edição de imagens produzem resultados realistas, mas enfrentam dificuldades com instruções abstratas e de múltiplas etapas (por exemplo, "torne este anúncio mais vegetariano"). Abordagens anteriores baseadas em agentes decompõem tais tarefas, mas dependem de pipelines artesanais ou imitação de professor, limitando a flexibilidade e desacoplando o aprendizado dos resultados reais da edição. Propomos uma estrutura experiencial para edição de imagens de longo horizonte, na qual um planejador gera decomposições atômicas estruturadas e um orquestrador seleciona ferramentas e regiões para executar cada etapa. Um juiz de linguagem visual fornece recompensas baseadas nos resultados quanto à adesão às instruções e à qualidade visual. O orquestrador é treinado para maximizar essas recompensas, e trajetórias bem-sucedidas são utilizadas para refinar o planejador. Ao acoplar estreitamente o planejamento à execução orientada por recompensas, nossa abordagem produz edições mais coerentes e confiáveis do que as linhas de base de etapa única ou de múltiplas etapas baseadas em regras.

English

Modern image editing models produce realistic results but struggle with abstract, multi step instructions (e.g., ``make this advertisement more vegetarian-friendly''). Prior agent based methods decompose such tasks but rely on handcrafted pipelines or teacher imitation, limiting flexibility and decoupling learning from actual editing outcomes. We propose an experiential framework for long-horizon image editing, where a planner generates structured atomic decompositions and an orchestrator selects tools and regions to execute each step. A vision language judge provides outcome-based rewards for instruction adherence and visual quality. The orchestrator is trained to maximize these rewards, and successful trajectories are used to refine the planner. By tightly coupling planning with reward driven execution, our approach yields more coherent and reliable edits than single-step or rule-based multistep baselines.