Auto-destilação de Modelos do Mundo: Treinando Modelos do Mundo para Resolver Tarefas Gerais

Resumo

Geradores de vídeo pré-treinados são modelos visuais do mundo promissores que exibem habilidades emergentes de resolução de tarefas; no entanto, sua dependência de descrições textuais detalhadas limita seu uso direto para planejamento e tomada de decisão. As abordagens existentes ou terceirizam esse raciocínio para modelos de linguagem ou visão-linguagem, ou dependem de ajuste fino supervisionado com vídeos pareados de execução de tarefas, que são caros de coletar e difíceis de escalar. Propomos uma estrutura escalável que extrai a habilidade de resolução de tarefas nesses modelos combinando autodestilação com aprendizado por reforço. Dada uma imagem de cena não rotulada, um modelo visão-linguagem gera uma tarefa candidata e uma solução detalhada passo a passo. A solução condiciona um modelo de difusão de vídeo pré-treinado, o Demonstrador; destilamos seu comportamento em um Executor condicionado apenas à imagem e a um breve prompt de tarefa. Isso transfere o conhecimento de execução da geração guiada por legenda para a resolução de tarefas condicionada por instruções, sem supervisão curada de tarefa-vídeo. Melhoramos ainda mais o Executor com aprendizado por reforço a partir de feedback do VLM, explorando a assimetria entre julgar se um vídeo amostrado satisfaz uma tarefa e gerar a solução. Experimentações em nosso WorldTasks-Benchmark proposto e no benchmark robótico DreamGen mostram que o Executor supera o Demonstrador sob nosso protocolo de avaliação baseado em VLM e transfere-se de forma competitiva para tarefas robóticas.

English

Pretrained video generators are promising visual world models that exhibit emergent task-solving abilities; however, their reliance on detailed textual descriptions limits their direct use for planning and decision-making. Existing approaches either outsource this reasoning to language or vision-language models, or rely on supervised fine-tuning with paired task-execution videos, which are costly to collect and difficult to scale. We propose a scalable framework that elicits task-solving ability in such models by combining self-distillation with reinforcement learning. Given an unlabeled scene image, a vision-language model generates a candidate task and a detailed step-by-step solution. The solution conditions a pretrained video diffusion model, the Demonstrator; we distill its behavior into an Executor conditioned only on the image and a short task prompt. This transfers execution knowledge from caption-guided generation to instruction-conditioned task solving without curated task-video supervision. We further improve the Executor with reinforcement learning from VLM feedback, exploiting the asymmetry between judging whether a sampled video satisfies a task and generating the solution. Experiments on our proposed WorldTasks-Benchmark and the DreamGen robotics benchmark show that the Executor surpasses the Demonstrator under our VLM-based evaluation protocol and transfers competitively to robotic tasks.