Van plannen naar pixels: Leren plannen en orkestreren voor open-eindige beeldbewerking

Samenvatting

Moderne beeldbewerkingsmodellen produceren realistische resultaten, maar hebben moeite met abstracte, meerstapsinstructies (bijv. "maak deze advertentie vegetarischer"). Eerdere agentgebaseerde methoden decomponeren dergelijke taken, maar zijn afhankelijk van handgemaakte pijplijnen of leraarimitatie, wat de flexibiliteit beperkt en het leren loskoppelt van daadwerkelijke bewerkingsresultaten. Wij stellen een ervaringsgericht framework voor voor beeldbewerking over lange horizon, waarbij een planner gestructureerde atomaire decomposities genereert en een orkestrator gereedschappen en regio's selecteert om elke stap uit te voeren. Een visueel-taalkundige rechter verschaft resultaatgerichte beloningen voor instructienaleving en visuele kwaliteit. De orkestrator wordt getraind om deze beloningen te maximaliseren, en succesvolle trajecten worden gebruikt om de planner te verfijnen. Door planning nauw te koppelen aan beloningsgestuurde uitvoering, levert onze aanpak coherentere en betrouwbaardere bewerkingen op dan eenstaps- of regelgebaseerde meerstapsbaselines.

English

Modern image editing models produce realistic results but struggle with abstract, multi step instructions (e.g., ``make this advertisement more vegetarian-friendly''). Prior agent based methods decompose such tasks but rely on handcrafted pipelines or teacher imitation, limiting flexibility and decoupling learning from actual editing outcomes. We propose an experiential framework for long-horizon image editing, where a planner generates structured atomic decompositions and an orchestrator selects tools and regions to execute each step. A vision language judge provides outcome-based rewards for instruction adherence and visual quality. The orchestrator is trained to maximize these rewards, and successful trajectories are used to refine the planner. By tightly coupling planning with reward driven execution, our approach yields more coherent and reliable edits than single-step or rule-based multistep baselines.