Papers Diários

Apresentamos o Orca, uma instanciação inicial de um modelo de fundação mundial geral. O Orca aprende um espaço latente mundial unificado a partir de sinais multimodais do mundo e o expõe por meio de interfaces de leitura multimodais. Em vez de otimizar previsões isoladas de próximo token, próximo quadro ou próxima ação, centramo-nos na modelagem de Predição do Próximo Estado, oferecendo uma abordagem unificada de modelagem de transição de estados para compreender, prever e agir sobre o mundo. O Orca aprende por meio de dois paradigmas complementares: a aprendizagem inconsciente captura transições densas de estados naturais a partir de vídeos contínuos, e a aprendizagem consciente modela transições esparsas e significativas de estados por meio de eventos descritos por linguagem e supervisão de VQA. Para o pré-treinamento, construímos um inventário de dados de aprendizagem mundial em larga escala, incluindo 125 mil horas de dados de vídeo e 160 milhões de anotações de eventos. Após o pré-treinamento, o Orca aprende um espaço latente mundial unificado. Para examinar se o latente aprendido suporta tarefas downstream, avaliamo-lo por meio de três leituras downstream representativas: geração de texto, predição de imagem e geração de ações incorporadas. O backbone do Orca é congelado, e apenas os decodificadores leves específicos de modalidade são treináveis. Experimentos mostram a escalabilidade do paradigma proposto e verificam que um latente mundial mais forte permite leituras downstream mais robustas. O Orca supera baselines especializados de tamanho similar. Esses resultados mostram que o Orca, como um modelo de fundação mundial geral, apresenta uma abordagem promissora para compreender, prever e agir sobre o mundo. Por fim, discutimos as limitações atuais, com o objetivo de fornecer insights e inspirações úteis para a comunidade.

Verificadores de programa desempenham um papel central no treinamento de agentes de codificação, incluindo a seleção de trajetórias para ajuste fino supervisionado (SFT) e o fornecimento de recompensas para aprendizado por reforço (RL). A verificação padrão baseada em execução requer a execução de testes unitários em ambientes específicos de cada repositório, como imagens Docker, incorrendo em custos substanciais de configuração de ambiente. Propomos o Dockerless, um verificador de patches agentivo sem ambiente que avalia patches de código gerados sem executá-los. Em vez de simplesmente comparar patches candidatos com referências, o Dockerless julga a correção dos patches usando evidências coletadas por meio de exploração agentiva do repositório. Em um benchmark de avaliação de verificadores, o Dockerless supera o verificador de código aberto mais forte em 14,3 pontos de AUC. Utilizando o Dockerless tanto como filtro de trajetórias para SFT quanto como recompensa para RL, é possível obter um pipeline de pós-treinamento completamente livre de ambiente. O modelo resultante atinge taxas de resolução de 62,0%, 50,0% e 35,2% no SWE-bench Verified, Multilingual e Pro, respectivamente. Ele supera a linha de base Qwen3.5-9B em 2,4, 8,7 e 2,9 pontos, equiparando-se ao pós-treinamento baseado em ambiente.

A destilação on-policy (OPD) oferece transferência superior de capacidade ao supervisionar trajetórias amostradas pelo aluno com sinais densos em nível de token. Para fornecer fontes de supervisão de alta qualidade e, assim, elevar a fronteira de desempenho da destilação, uma direção intuitiva é infundir informações privilegiadas ao professor ou ao próprio aluno. No entanto, essa entrada adicional induz um modo de falha potencial que denominamos ilusão de privilégio: um padrão que confunde a lacuna de capacidade transferível que os alunos devem fechar e a lacuna de assimetria de informação que só pode ser imitada, nunca replicada. Essa questão é ainda amplificada pela não uniformidade inerente da supervisão em nível de token, onde apenas um pequeno subconjunto de tokens carrega sinais cruciais de capacidade. Para isso, propomos DOPD, um paradigma de destilação dupla ciente de vantagem que roteia dinamicamente a supervisão em nível de token entre políticas de professor privilegiado e aluno privilegiado com base em sua lacuna de vantagem e probabilidades relativas. Cada token recebe supervisão de diferentes intensidades, objetivos e estratégias, seja do professor ou do próprio aluno, o que transfere capacidade confiável enquanto simultaneamente recebe sinais auxiliares, para aliviar a ilusão de privilégio. Experimentos extensivos em configurações de modelo de linguagem de grande porte (LLM) e modelo visão-linguagem (VLM) demonstram que DOPD supera consistentemente a OPD vanilla e outras contrapartes. Resultados adicionais em estabilidade, robustez, aprendizado contínuo e tarefas fora da distribuição validam sua superioridade.

A decodificação especulativa acelera a inferência ao utilizar um modelo rascunho leve para gerar tokens candidatos em paralelo, que são então verificados pelo modelo alvo, possibilitando uma aceleração sem perdas. Recentemente, a decodificação especulativa baseada em difusão aprimora ainda mais o paralelismo ao gerar múltiplos tokens por passagem direta por meio de difusão em nível de bloco, alcançando desempenho de ponta (SOTA). No entanto, os métodos existentes adotam um tamanho de bloco de inferência fixo e assumem uma estratégia de decodificação ótima uniforme para todas as entradas. Neste artigo, mostramos que essa suposição é subótima, pois o tamanho de bloco ótimo varia entre as amostras e desempenha um papel crítico no desempenho da decodificação especulativa. Além disso, esses valores exibem uma estrutura local clara, concentrando-se em torno do tamanho de bloco de treinamento, o que reduz o problema a um espaço de decisão de baixa dimensão e estruturado. Com base nessas percepções, propomos o BlockPilot, uma política adaptativa por amostra que prevê o tamanho de bloco ótimo a partir da representação de pré-preenchimento. Especificamente, formulamos a seleção do tamanho de bloco como um problema de aprendizado de política leve e propomos um mecanismo de decisão adaptativo por instância que prevê o tamanho de bloco ótimo com base na representação do estágio de pré-preenchimento. A previsão é realizada apenas uma vez após o pré-preenchimento, permitindo integração contínua. Experimentos extensos demonstram que nosso método é plug-and-play, introduz uma sobrecarga mínima e melhora consistentemente a eficiência, alcançando um comprimento de aceitação de 5,92 e uma aceleração de 4,20 vezes no Qwen3-4B sob temperatura T=1.

Modelos Visão-Linguagem-Ação (VLA) incorporados são normalmente obtidos por meio do ajuste fino de VLMs poderosos pré-treinados em dados de robótica, mas não está claro quanto conhecimento de senso comum e factual eles retêm após a adaptação. Falhas em tarefas sensíveis ao conhecimento são ambíguas, confundindo conhecimento ausente com generalização deficiente do controle de baixo nível. Apresentamos o Act2Answer, um protocolo leve que adapta benchmarks de conhecimento de VLM para avaliação de VLA, exigindo que os agentes respondam por meio da ação. Cada pergunta se torna um breve episódio de mesa onde o agente realiza uma única ação de posicionamento de objeto para selecionar entre respostas candidatas, resultando em uma taxa de sucesso fundamentada na ação com fatores de confusão de controle reduzidos. Curamos um conjunto de teste desses ambientes em diversas categorias de senso comum e conhecimento de mundo e introduzimos a sondagem de intenção por camada para localizar informações relevantes para a resposta no backbone do VLM e na cabeça de ação. Em um estudo em larga escala com 7 modelos VLA e 9 baselines VLM, classificamos sistematicamente os modelos entre categorias, descobrindo que os VLAs apresentam desempenho sólido em conceitos simples, mas exibem lacunas maiores em categorias semânticas mais ricas em relação aos seus VLMs de origem, que o co-treinamento VQA está associado a uma melhor retenção de conhecimento e que os sinais relevantes para a resposta atingem o pico nas camadas médias dos VLAs, mas atenuam nas camadas superiores. O Act2Answer está disponível em https://tttonyalpha.github.io/act2answer/.

Uma cena 3D é compreendida por meio de seus objetos, e não pelas primitivas que os compõem. No entanto, métodos de reconstrução feed-forward geram conjuntos densos e não estruturados de pontos ou gaussianas, deixando a estrutura ao nível de objeto para ser recuperada posteriormente. Propomos uma arquitetura feed-forward que decompõe uma cena em grupos de tokens 3D estruturados por instância diretamente a partir de imagens multivista não posicionadas — unidades compactas centradas em objetos a partir das quais reconstrução, segmentação e manipulação decorrem. Cada grupo de tokens combina um token de instância que captura a identidade ao nível da entidade com tokens âncora que codificam geometria e aparência locais, os quais são decodificados em um conjunto de gaussianas 3D. Essa fatoração em dois níveis desacopla a identidade do objeto da aparência local, tornando as instâncias de objeto uma interface nativa da representação, e não um produto derivado. Os grupos de tokens são aprendidos por meio de renderização diferenciável com supervisão conjunta de reconstrução e segmentação, sem exigir anotações 3D. Nosso modelo feed-forward supera as linhas de base de otimização por cena em segmentação de instância agnóstica a classes, mantendo-se competitivo em síntese de novas vistas. Além dessas métricas, os mesmos grupos de tokens habilitam diretamente a edição de cenas ao nível de instância — removendo, transladando ou inserindo objetos ao operar sobre seus grupos — bem como a recuperação eficiente de instâncias 3D com vocabulário aberto, onde a complexidade da recuperação escala com o número de instâncias, e não com o de primitivas.

Modelos generativos visuais são tipicamente treinados em dois estágios. Primeiro, um tokenizador é treinado para reconstrução e então congelado, após o que um gerador é treinado em seus índices discretos ou latentes contínuos. Esse desacoplamento faz com que o tokenizador ignore o que o gerador considera fácil de modelar. Apresentamos o GEAR (Autoregressão Guiada de Ponta a Ponta), que treina um tokenizador quantizado vetorialmente (VQ) e um gerador autoregressivo (AR) de forma conjunta e de ponta a ponta, guiada por alinhamento de representações. O principal obstáculo é que o índice VQ alimentado no modelo AR é não diferenciável, portanto gradientes não alcançam o tokenizador, e um estimador straight-through colapsa. O GEAR resolve isso com uma leitura dupla da atribuição do codebook. Um ramo rígido (hard) e one-hot treina a AR com predição do próximo token, enquanto um ramo soft diferenciável carrega uma perda de alinhamento de representações que flui de volta para guiar apenas o tokenizador. Com isso, o modelo AR orienta seu tokenizador para uma distribuição de índices que ele consegue prever mais facilmente. Isso desloca o ônus do alinhamento do tokenizador para a AR: as características próprias do tokenizador tornam-se menos semelhantes ao DINOv2, enquanto as da AR tornam-se mais, o oposto das receitas do lado da difusão que tornam o próprio latente semântico. O GEAR acelera a convergência do ImageNet gFID em até 10x em relação à forte baseline LlamaGen-REPA, aprende características de nível de patch e espacialmente coerentes notavelmente melhores, e generaliza entre quantizadores (VQVAE, LFQ, IBQ) e para geração de texto para imagem.

A experiência em projetar kernels de GPU mais rápidos poderia também ajudar a resolver uma conjectura matemática aberta de longa data? Modelos de Linguagem de Grande Escala (LLMs) integrados à busca evolucionária geraram, recentemente, soluções de última geração em tarefas de otimização, incluindo conjecturas matemáticas em aberto, projeto de kernels de GPU, descoberta de leis científicas e quebra-cabeças combinatórios. Para alcançar isso, trabalhos anteriores aplicaram arcabouços de busca a uma única tarefa alvo por vez, de modo que cada novo problema é abordado do zero e a experiência acumulada durante a busca é descartada assim que o modelo conclui sua tentativa. Isso faz com que a capacidade de evoluir iterativamente uma solução (por exemplo, saber qual parte mutar e como, decidir quando retroceder) resida inteiramente no arcabouço, e não no próprio modelo. A possibilidade de o modelo em si adquirir essa capacidade e reutilizá-la em diferentes tarefas permanece, em grande parte, inexplorada. Para abordar essa questão, introduzimos o Evolution Fine-Tuning (EFT), um paradigma de treinamento intermediário que ensina LLMs a evoluir soluções entre tarefas, convertendo trajetórias de busca evolucionária em supervisão. Construímos o Finch Collection, um conjunto de dados com 156 mil trajetórias abrangendo 10 domínios e 371 tarefas de otimização, e ajustamos finamente LLMs de código aberto com parâmetros de 2B a 9B. Empiricamente, o EFT confere generalização entre tarefas: em 22 tarefas retidas para teste, nossos modelos superam suas contrapartes base em média 10,22%. Além disso, quando combinado com aprendizado por reforço em tempo de teste, nosso modelo iguala o desempenho de última geração em duas tarefas de empacotamento de círculos e supera sua contraparte base no problema de mínima sobreposição de Erdős. Assim, o EFT serve como uma "fase de prática" para agentes de descoberta de propósito geral que não resolvem novos problemas do zero.

Modelos de Linguagem de Difusão por Blocos (BD-LMs) melhoram a geração de texto baseada em difusão com cache de pares chave-valor e geração de comprimento flexível. Um passo natural é estendê-los da Difusão de Bloco Único (SingleBD) para a Difusão de Blocos Múltiplos (MultiBD), onde um conjunto dinâmico de blocos consecutivos é decodificado simultaneamente para paralelismo entre blocos. No entanto, os BD-LMs existentes são majoritariamente treinados sob forçamento do professor, onde o modelo observa apenas um bloco ruidoso condicionado a um prefixo limpo. Embora a estratégia recente de forçamento de difusão introduza visibilidade entre múltiplos blocos ruidosos, seus estados de treinamento ainda diferem da inferência MultiBD, onde a decodificação opera em um conjunto dinâmico limitado com padrões de ruído heterogêneos por posição. Para preencher essa lacuna, propomos os Modelos de Linguagem de Difusão por Blocos Múltiplos (MBD-LMs), obtidos por pós-treinamento de BD-LMs com Forçamento do Professor para Múltiplos Blocos (MultiTF). O MultiTF integra o forçamento do professor e o forçamento de difusão ao treinar em grupos de ruído limitados condicionados a prefixos limpos, com agendadores de ruído aleatorizados que melhor correspondem aos estados de inferência MultiBD. Para tornar a MultiBD praticamente executável, introduzimos ainda um algoritmo de decodificação otimizado baseado no mecanismo de Buffer de Blocos, que preserva o reuso do cache de prefixo, mantém as formas de entrada estáticas e traduz o aumento do paralelismo de decodificação em aceleração de tempo real. Empiricamente, o MBD-LLaDA2-Mini aumenta a média de Tokens por Forward (TPF) de 3,47 para 6,19 e melhora a acurácia média de 79,95% para 81,03%; quando combinado com DMax, o MBD-LLaDA2-Mini-DMax atinge um TPF médio de 9,34 com uma queda de apenas 1,02% na acurácia em benchmarks de matemática e código.

As habilidades de agente estendem agentes de modelo de linguagem com procedimentos, scripts e referências específicos de tarefa, mas as tarefas e os ambientes que eles visam mudam continuamente. Métodos existentes melhoram habilidades em execuções limitadas e retêm apenas o artefato final, descartando o histórico de decisões que agentes posteriores precisam para interpretar revisões anteriores, avaliações e alternativas rejeitadas. Apresentamos SkillHone, uma estrutura para evolução contínua de habilidades de agente baseada em histórico persistente de decisões. SkillHone associa revisões de habilidade a evidências do lado da avaliação que fornecem feedback prático, registrando históricos estruturados de diagnósticos, revisões, evidências e resultados. Subagentes com papéis separados executam habilidades candidatas em sondas práticas com relatórios editados e propõem revisões informadas por decisões anteriores, possibilitando refinamento entre sessões sem redescobrir raciocínios passados. Em benchmarks de pesquisa aprofundada, SkillHone opera sem uma pilha de busca pré-integrada e supera o agente de pesquisa aprofundada com suporte comercial em 15,8 pontos no GAIA e 3,2 pontos no WebWalkerQA-EN, além de exceder métodos anteriores de evolução de habilidades. Adicionalmente, implantamos SkillHone em cenários internos de análise mediada por ferramentas, onde melhora a precisão em média 18,8 pontos em sete configurações.

Modelos de Mundo de Vídeo são modelos de geração de vídeo interativos que preveem estados futuros do mundo com base nas ações do usuário e em quadros históricos de vídeo. Um desafio crítico em modelos de mundo de vídeo é a falta de memória, o que causa inconsistência nas cenas geradas ao longo de longas durações. Métodos anteriores exploraram a recuperação de quadros de contexto baseada em regras como memória, mas falham em generalizar em cenários com oclusões de cena e objetos dinâmicos. Propomos o MemLearner, um método adaptativo de consulta de contexto baseado em aprendizado que utiliza tokens de consulta para conectar tokens de contexto e previstos. Ao aproveitar o próprio modelo de geração de vídeo para a consulta de contexto, o MemLearner explora priores visuais pré-treinados sem treinar módulos adicionais do zero e incorpora estratégias eficientes para treinamento e inferência. Coletamos um conjunto de dados de vídeos longos com oclusões de cena e objetos dinâmicos, pareados com anotações de pose de câmera, e propomos uma estratégia de treinamento multi-conjunto de dados que aproveita tanto vídeos renderizados anotados quanto vídeos do mundo real não anotados. Experimentos extensivos demonstram que o MemLearner supera significativamente os modelos de mundo de vídeo anteriores em termos de consistência de cena e memória, particularmente em cenários desafiadores com oclusões e dinâmicas.

A geração de imagens ricas em texto é um dos cenários mais desafiadores na geração de imagens, pois os modelos devem simultaneamente produzir imagens visualmente realistas e renderizar texto legível, semanticamente alinhado e consistente com o layout. Os pipelines de dados existentes geralmente seguem um paradigma estático de rastreamento-filtragem-congelamento. Eles coletam amostras candidatas, filtram-nas uma vez e congelam os dados aceitos para treinamento. No entanto, as amostras rejeitadas são geralmente descartadas, embora frequentemente contenham sinais de falha úteis, como erros de OCR e incompatibilidades semânticas. Como resultado, rodadas posteriores de construção podem repetir os mesmos modos de falha. Para solucionar essas limitações, propomos o DataEvolver, uma estrutura multiagente autoevolutiva para construção de dados de imagens ricas em texto. O DataEvolver trata a construção de dados como uma evolução da política de construção orientada por feedback. Um Recuperador coleta amostras candidatas, um Verificador atribui pontuações de qualidade e causas de rejeição, um Crítico resume o feedback em nível de rodada em feedback semântico, e um Gerador completa regiões subcobertas por meio de síntese direcionada. A memória de feedback atualizada então orienta a próxima rodada de construção. Experimentos em benchmarks de geração de imagens ricas em texto mostram que o DataEvolver produz dados de treinamento mais úteis do que as linhas de base com conjuntos de dados fixos, sob orçamentos de dados equivalentes. Na escala de 0,75M no PixArt-alpha, o DataEvolver melhora o OCR-F1 em relação à linha de base mais forte em 85,3% no TextScenesHQ e 35,3% no LongTextBench. As melhorias são consistentes em ambos os benchmarks avaliados e também se transferem para o Show-o2, indicando que o benefício do DataEvolver não está vinculado a um único gerador downstream. Esses resultados sugerem que amostras rejeitadas podem fornecer feedback acionável para melhorar a construção de dados de imagens ricas em texto.

A metacognição é um componente crítico da inteligência que descreve a capacidade de monitorar e regular os próprios processos cognitivos. No entanto, os LLMs apresentam deficiências sistêmicas em faculdades metacognitivas essenciais: alucinam com alta confiança, falham em reconhecer os limites do conhecimento e representam incorretamente sua própria incerteza interna — comprometendo a confiabilidade e a segurança. Uma vez que monitorar o desempenho em tarefas e adaptar o comportamento de acordo é central para a metacognição, postulamos que modelos capazes de julgar com precisão seu próprio desempenho estão em melhor posição para melhorá-lo. Operacionalizamos essa ideia por meio de dois mecanismos inovadores: aprendizado por reforço com feedback metacognitivo (ARFM), um paradigma para refinar ranqueamentos de completude durante a otimização de preferências com base na qualidade dos autojulgamentos de desempenho do modelo; e seleção de dados metacognitivos, que utiliza autojulgamentos semelhantes para identificar exemplos de treinamento de alto valor, superando a aprendizagem ativa ingênua. Aplicamos essas inovações ao problema da calibração fiel (CF), uma tarefa que é, em si, fundamentalmente metacognitiva: o objetivo é alinhar a incerteza expressa com a incerteza intrínseca, algo difícil mesmo para LLMs de ponta. Adotamos uma abordagem em dois estágios e desacoplada, primeiro usando esses métodos para calibrar a fidelidade das pontuações de confiança autorrelatadas pelos modelos, e depois mapeando para incerteza linguística natural e adaptável ao contexto por meio de edição direcionada da saída. Experimentos extensivos mostram que o ARFM alcança CF generalizável e de estado da arte em diversas tarefas, preservando a precisão. Além disso, o ARFM supera o RL padrão em até 63%, enquanto melhora a capacidade dos modelos de avaliar e expressar seus próprios limites de capacidade. Isso posiciona o ARFM como um paradigma promissor para aprimorar a metacognição dos LLMs em direção a melhores habilidades e alinhamento, e sugere que o desempenho metacognitivo é um sinal eficaz de RL para superar limitações de métodos anteriores de feedback intrínseco.

A memória procedural é cada vez mais utilizada para aprimorar agentes LLM em tarefas recorrentes no ambiente de trabalho, mas sua capacidade de gerar habilidades reutilizáveis ainda é pouco compreendida. Apresentamos o AFTER, um benchmark composto por 382 tarefas empresariais realistas, abrangendo seis funções profissionais e 22 habilidades processuais, projetado para avaliar como as habilidades são transferidas entre tarefas, funções e modelos base. O benchmark inclui ambientes de avaliação controlada para melhoria local, transferência entre tarefas, transferência entre funções e generalização entre modelos. Experimentos mostram que a memória procedural proporciona ganhos consistentes em fluxos de trabalho industriais: uma única rodada de refinamento melhora o desempenho agregado em 3,7 a 6,7 pontos, enquanto habilidades evoluídas a partir de traços de execução multimodelo diversos alcançam 73,1% de precisão em testes entre modelos, superando todas as fontes de traços de modelo único. Constatamos ainda que algumas habilidades generalizam amplamente entre tarefas e modelos, enquanto outras se especializam em fluxos de trabalho específicos de função e perdem eficácia sob transferência. Esses resultados fornecem orientações práticas para construir, avaliar e implantar sistemas de memória procedural em plataformas de agentes em produção.

A diversidade no raciocínio matemático de LLMs é crítica para a exploração, mas métricas comuns de diversidade capturam majoritariamente variações superficiais, e não diferenças na forma como um problema é resolvido. Abordamos essa lacuna introduzindo a diversidade em nível de abordagem: variação nas estratégias entre soluções corretas para um mesmo problema. Utilizando uma estrutura de avaliador LLM calibrada por humanos, demonstramos que medidas anteriores de diversidade são proxies não confiáveis para a diversidade em nível de abordagem, e essa incompatibilidade se estende ao RLVR consciente de diversidade, onde as métricas-alvo são preservadas enquanto a diversidade em nível de abordagem diminui. Investigando quando a diversidade em nível de abordagem é benéfica e se pode ser induzida diretamente, descobrimos que conjuntos de candidatos com diversidade de abordagem melhoram o escalonamento em tempo de teste. No entanto, otimizar uma recompensa de diversidade do avaliador LLM durante o treinamento faz com que a política explore preferências específicas do avaliador em vez de ampliar suas abordagens, deixando a otimização direta da diversidade em nível de abordagem como um problema em aberto. Em conjunto, nosso trabalho introduz o conceito de diversidade em nível de abordagem e revela uma divergência sistemática entre sinais de superfície e de abordagem, representando um passo em direção a LLMs que raciocinam de formas genuinamente diversas e semelhantes às humanas.

Fotomosaicos são imagens grandes cujas regiões locais são vistas como tiles independentes, enquanto sua disposição geral forma uma cena coerente. Gerá-los em alta resolução, com cada tile convincente por si só, é computacionalmente caro, pois a tela deve conter muitos tiles detalhados simultaneamente. Apresentamos o PhotoQuilt, uma estrutura livre de treinamento que gera fotomosaicos em resolução arbitrária. Modelos de difusão têm dificuldade em atender ambas as escalas ao mesmo tempo, pois a geração direta em alta resolução é custosa e tende a uma imagem suave em vez de um mosaico, enquanto o tileamento por patches mantém detalhes locais, mas perde a estrutura global. O PhotoQuilt resolve isso com um procedimento bootstrap de remoção de ruído em tiles. Primeiro, produzimos uma composição global em baixa resolução para fixar o layout, depois a ampliamos no espaço latente e reinjetamos ruído para restaurar a capacidade generativa. A remoção de ruído ocorre dentro de tiles fixos, de modo que cada um forma sua própria imagem enquanto a estrutura global compartilhada os mantém em um único layout. Como a geração dos tiles é tratada separadamente, o PhotoQuilt escala para telas grandes sem custo quadrático de atenção. Experimentos mostram que o PhotoQuilt supera as linhas de base atuais tanto em estrutura global quanto em realismo local.

Modelos com capacidade de fala estão cada vez mais sendo implantados em aplicações do mundo real em vários idiomas. No entanto, sua segurança e equidade em contextos não ingleses e sob condições naturalísticas ainda são pouco estudadas. Realizamos um levantamento das práticas de divulgação de segurança em lançamentos de modelos de fala de última geração, constatando que apenas 8% documentam qualquer análise multilíngue. Para suprir essa lacuna, apresentamos o RedVox, um benchmark multilíngue de segurança e equidade para áudio e fala construído com vozes reais, abrangendo solicitações estereotipadas inseguras e injustas em cinco idiomas (inglês, francês, italiano, espanhol e alemão). Ao avaliar oito modelos de última geração, descobrimos que vulnerabilidades persistem mesmo sob condições não adversariais, pioram em idiomas diferentes do inglês e são amplificadas quando a solicitação provém de entrada falada. Por fim, ao entrevistar os participantes que contribuíram para o RedVox, documentamos os desafios únicos de privacidade e pessoais envolvidos na coleta de dados de fala com participantes humanos, apontando para desafios sociotécnicos mais amplos na pesquisa naturalística de segurança da fala.

À medida que os corpora de vídeo continuam a se expandir tanto em escala quanto em complexidade de tarefas, há uma demanda crescente por abordagens que recuperem vídeos relevantes de corpora de grande escala (raciocínio entre vídeos) e, subsequentemente, realizem tarefas refinadas e condicionadas à consulta (raciocínio intra-vídeo) dentro do conteúdo recuperado, como a fundamentação temporal. No entanto, abordagens existentes tipicamente tratam a recuperação como uma etapa de pré-processamento e, consequentemente, quando a recuperação inicial falha, não há mecanismo para refinar a busca, levando ao fracasso do raciocínio intra-vídeo refinado subsequente. Além disso, embora arcabouços agentivos recentes tenham avançado na compreensão de vídeos, eles geralmente assumem que o vídeo relevante à consulta já está dado, focando exclusivamente em tarefas de raciocínio intra-vídeo. Para lidar com essas limitações, propomos o VideoSearch-R1, um arcabouço agentivo para recuperação e raciocínio iterativos de vídeos por meio de interação em múltiplas etapas com um motor de busca de vídeos. Especificamente, introduzimos o Soft Query Refinement (SQR) para refinar os tokens de consulta de busca em um espaço latente contínuo, em vez de reescrever consultas no espaço textual discreto, permitindo ajustes mais eficientes e refinados. O SQR e seu processo de raciocínio são treinados usando Otimização de Política Relativa em Grupo (GRPO), guiados por sinais de recompensa ao nível da tarefa derivados da recuperação e das tarefas subsequentes. Com base nisso, o VideoSearch-R1 alcança desempenho de ponta em três conjuntos de dados na tarefa de Recuperação de Momento em Corpus de Vídeo (VCMR), recuperando iterativamente vídeos de corpora de grande escala, refinando consultas de busca e realizando fundamentação temporal precisa e condicionada à consulta dentro do conteúdo recuperado. Nossas análises mostram que o SQR refina efetivamente a consulta original, exigindo significativamente menos tokens gerados do que o refinamento explícito de consulta em nível textual. O código e os checkpoints do modelo estão disponíveis publicamente em mlvlab.github.io/VideoSearch-R1.

Agentes de interface gráfica do usuário (GUI) baseiam-se em modelos de visão-linguagem para concluir tarefas do usuário de ponta a ponta em aplicações reais por meio de ações de interface, como toques, deslizes, entrada de texto e navegação. No entanto, os agentes GUI existentes são amplamente treinados e avaliados em trajetórias offline, ambientes simulados e benchmarks padronizados. Esses diferem substancialmente das aplicações reais em layout de interface, lógica de interação e distribuição de estados anormais, e não conseguem caracterizar fielmente a estabilidade de execução no uso real, onde estados de conta, diálogos de permissão, autenticação de pagamento e controle de risco remodelam continuamente a distribuição de estados e abrem uma lacuna persistente entre as pontuações de benchmark e a usabilidade real. Para fechar essa lacuna, propomos o Xiaomi-GUI-0, um agente GUI multimodal nativo para ambientes móveis reais, treinado e avaliado dentro de um ciclo fechado em dispositivos reais. Seu núcleo é uma infraestrutura híbrida dominada por dispositivos reais, na qual os dispositivos físicos são o ambiente de execução primário e os sandboxes fornecem suporte auxiliar, de modo que coleta de dados, treinamento, implantação e avaliação compartilham uma distribuição de execução próxima à implantação real. Construímos dados de treinamento de múltiplas fontes abrangendo tarefas principais de alta frequência, dados de alta generalização para intenções de cauda longa e dados de aprimoramento de capacidade para reflexão e memória, e introduzimos um volante de dados orientado a erros que transforma trajetórias de falha em ações corrigidas, explicações reflexivas e demonstrações de recuperação. O modelo é treinado por meio de um pipeline progressivo de três estágios: ajuste fino supervisionado, aprendizado por reforço em nível de etapa e aprendizado por reforço agentivo. Avaliado em benchmarks públicos e em nosso RealMobile interno, o Xiaomi-GUI-0 alcança 72,0% de sucesso no RealMobile e 78,9% no AndroidWorld, ao mesmo tempo que melhora substancialmente a estabilidade de execução e o reconhecimento de estados anormais em tarefas do mundo real.

Robôs multifingados prometem a velocidade e destreza das mãos humanas, porém problemas desafiadores, como montagem de precisão, ainda permanecem inatingíveis. Essas tarefas são ricas em contato, dificultando a coleta de dados para aprendizagem por imitação, e possuem recompensas esparsas, tornando a exploração direta com aprendizado por reforço (AR) intratável. Consequentemente, trabalhos anteriores avançaram ao estruturar o problema com garras especializadas, acessórios de ferramentas e fixações ambientais. Neste trabalho, argumentamos que, antes de um robô aperfeiçoar a montagem de precisão, ele deve primeiro aprender a brincar. Ainda perguntamos: quais fatores no processo de aprender a brincar são importantes para a montagem de precisão? Propomos Play2Perfect, uma estrutura de AR para pré-treinamento agnóstico à tarefa por meio de brincadeiras com diversos objetos e objetivos, que é então aperfeiçoado para montagem de precisão. O objetivo da brincadeira é adquirir prévias de manipulação reutilizáveis, como agarrar, reorientação na mão e alcance de pose. O ajuste fino adapta então essa prévia geral à montagem, concentrando a exploração nas interações finais ricas em contato e de alta precisão necessárias para o sucesso. Estudamos sistematicamente escolhas-chave de projeto no pré-treinamento com brincadeiras, incluindo diversidade de objetos, objetivo de treinamento, diversidade de trajetórias e precisão de objetivo. Mostramos que nossa prévia é 33 vezes mais eficiente em amostras do que o treinamento de AR do zero, mesmo quando fornecido com recompensas densas e de múltiplos estágios. Demonstramos transferência sim-para-real zero-shot, alcançando 60% de sucesso em inserções apertadas com apenas 0,5 mm de folga de contato, e mais de 50% de sucesso em montagem de múltiplas peças de longo horizonte e aparafusamento.

Embora os modelos de linguagem de grande escala tenham dominado recentemente o panorama da pesquisa, os modelos de linguagem pequenos continuam altamente relevantes em diversos domínios; no entanto, recebem muito menos atenção. Neste estudo, investigamos o desempenho de modelos de linguagem menores durante a fase de geração em um sistema de Geração Aumentada por Recuperação (RAG). Para avaliar esses modelos de forma eficaz, utilizamos conjuntos de dados de código aberto e proprietários, abrangendo diversas áreas temáticas e tipos de perguntas. Nossos resultados demonstram que um sistema RAG com modelos de linguagem pequenos pode ser executado diretamente no dispositivo, sem exigir qualquer hardware de GPU, em um tempo razoável. O código experimental e os links para os materiais complementares podem ser acessados através do repositório GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

Os agentes de LLM atuam cada vez mais em horizontes longos, onde uma única trajetória pode conter centenas ou milhares de ações. Nesses cenários, recompensas apenas de resultado fornecem orientação muito esparsa, não informando o modelo sobre a qualidade das ações intermediárias. Métodos de supervisão densa visam resolver esse problema pontuando as etapas intermediárias, desde confiança intrínseca até autodestilação e similaridades de embeddings. No entanto, é prática comum avaliá-los medindo o desempenho downstream de um pipeline de treinamento que os integra. Isso é caro, confunde a qualidade da supervisão com fatores de confusão de engenharia de treinamento e torna diferentes famílias metodológicas, que exigem configurações de treinamento distintas, incomparáveis. Como resultado, métodos de supervisão densa raramente são avaliados comparativamente em um terreno comum. Apresentamos o QVal, um ambiente de teste livre de treinamento para avaliar diretamente sinais de supervisão densa. Dado um par estado-ação, o QVal mede o quão bem a pontuação de um método está alinhada com Q: se ordena as ações de acordo com os valores Q de uma política de referência forte. Isso permite comparar sinais antes de qualquer execução de treinamento e separar a qualidade do sinal de outras escolhas de engenharia. Implementamos o QVal como QVal-v1.0, avaliando comparativamente 21 métodos de supervisão densa em quatro ambientes diversos e sete famílias metodológicas, com mais de 1.2 mil experimentos de avaliação em seis backbones de modelo de pesos abertos. Constatamos que linhas de base simples de prompting superam consistentemente métodos recentes de supervisão densa da literatura, e que o desempenho se agrupa fortemente por família. Essas descobertas se mantêm em todos os tamanhos de modelo, ambientes e modalidades de observação. O QVal foi projetado para ser facilmente extensível a novos ambientes e métodos, permitindo que pesquisadores iterem sobre métodos de supervisão densa antes de qualquer execução de treinamento.

Os Transformers autorregressivos dominam a geração de malhas de alta qualidade ao produzir topologias dignas de artistas, porém sua decodificação sequencial inerente induz uma sobrecarga computacional substancial, sendo ordens de magnitude mais lentos do que os modelos generativos paralelos. Por outro lado, embora os métodos contínuos de difusão e flow-matching suportem síntese paralela eficiente em uma variedade de domínios, eles não podem ser aplicados diretamente a malhas: a conectividade da malha é inerentemente discreta e incompatível com operações padrão de injeção de ruído e remoção de ruído contínuas. Para resolver essa incompatibilidade fundamental, introduzimos um incorporador de topologia compacto que projeta posições e normais de vértices discretos da malha em incorporações contínuas por vértice, onde a informação de adjacência discreta original pode ser fielmente recuperada via limiar de distância espaço-tempo. Após o pré-treinamento e congelamento deste incorporador, qualquer malha bruta pode ser completamente convertida em um espaço de estados contínuo por vértice, unificando posição, normal e atributos topológicos implícitos. Construída sobre esta nova representação contínua de malha, apresentamos o PolyFlow, uma estrutura de flow-matching baseada em Transformer que alcança remoção de ruído totalmente paralela do estado dos vértices, condicionada a características extraídas de nuvens de pontos. Durante a inferência, nosso modelo completa a geração rapidamente por meio de um solucionador de EDO, e suporta controle explícito e preciso sobre a resolução da malha de saída, especificando diretamente o número alvo de vértices. Avaliações extensivas no benchmark Toys4K demonstram que o PolyFlow supera as linhas de base autorregressivas do estado da arte tanto na Distância de Chamfer quanto na Distância de Hausdorff.

A literatura de ciência dos materiais codifica décadas de conhecimento experimental em figuras, mas esse registro visual permanece inacessível para a IA em larga escala. A dificuldade central é estrutural: a maioria das figuras científicas é composta, com uma única legenda descrevendo vários subpainéis simultaneamente, tornando o pareamento direto imagem-texto não confiável. Apresentamos o MatMMExtract, um pipeline de código aberto de ponta a ponta que resolve esse problema decompondo figuras compostas em subpainéis individuais e gerando anotações estruturadas e fundamentadas usando um modelo de linguagem grande guiado por uma taxonomia de ciência dos materiais selecionada. Aplicado a 14.810 artigos de acesso aberto, o MatMMExtract produz o MatSciFig; 391.606 pares imagem-texto em nível de painel a partir de 180.571 figuras, cada um anotado com uma sublegenda, uma categoria de visualização de dois níveis abrangendo 19 classes e mais de 100 subtipos, e um resumo científico. Para permitir a localização precisa de painéis, introduzimos o MaterialScope, um conjunto de dados de detecção específico do domínio com 2.811 figuras de ciência dos materiais anotadas manualmente, no qual um detector YOLO12-m ajustado atinge mAP_50 de 0,9227. Entre seis modelos de linguagem avaliados, o Gemini 3.1 Flash Lite oferece o melhor equilíbrio custo-qualidade para geração de anotações, com 82% das saídas consideradas boas e uma taxa de alucinação de 4,8%. Uma linha de base de recuperação com codificador duplo no MatSciFig alcança uma melhoria de 4,4 vezes no R@1 em relação ao CLIP zero-shot, demonstrando a utilidade imediata do conjunto de dados para aprendizado visão-linguagem. Todos os recursos são disponibilizados abertamente para a comunidade.

Aprendizagem por reforço agentiva requer atribuir crédito a ações voltadas ao ambiente, como buscas, cliques, edições, comandos de navegação e interações com objetos. O GRPO padrão utiliza o resultado final do verificador como uma vantagem uniforme sobre todos os tokens de ação. Esse sinal de resultado é útil, mas estruturalmente incompleto: ele penaliza a exploração útil em rollouts fracassados e reforça ações redundantes ou regressivas em rollouts bem-sucedidos. Propomos TRIAGE, um framework de atribuição de crédito com tipagem de papéis que adiciona um eixo de papéis semânticos ao crédito baseado em resultado. Um juiz estruturado classifica cada segmento como progresso decisivo, exploração útil, infraestrutura sem progresso ou regressão, e uma regra fixa condicionada ao papel mapeia esses rótulos para recompensas processuais limitadas no nível do segmento. Isso mantém os resultados do verificador como fonte de direção de otimização, enquanto corrige os dois principais pontos cegos do crédito baseado apenas em resultado. Mostramos ainda que o crédito condicionado ao papel é a correção ótima no nível do segmento expressável apenas a partir dos rótulos de papel — uma projeção do resíduo da vantagem por segmento na variável de papel —, de modo que as constantes de papel fixas reduzem o erro de estimativa da vantagem sempre que o juiz é confiável, e conectamos isso a gradientes de política de menor variância. Em ALFWorld, Search-QA e WebShop, o TRIAGE melhora as taxas de sucesso em relação ao GRPO para dois modelos de política e supera tanto uma recompensa processual derivada de juiz escalar quanto uma linha de base de valor compartilhado supervisionada por resultado. Ablações mostram que o ganho provém da tipagem de papéis, e não apenas da adição de recompensas densas: a detecção confiável de regressão dentro de trajetórias bem-sucedidas é o contribuidor dominante, enquanto o crédito de exploração fornece um ganho secundário consistente; em rollouts completos do ALFWorld e WebShop, o TRIAGE também reduz os turnos voltados ao ambiente em 10,4% e 14,8% adicionais em relação ao GRPO.

Modelar a correspondência bidirecional entre estímulos sensoriais externos e a atividade neural interna emergiu como uma fronteira crítica na neurociência. Contudo, as abordagens existentes tratam predominantemente a codificação e decodificação cerebrais como tarefas isoladas, dependendo fortemente de alinhamento unimodal e de priores externos, enquanto negligenciam a natureza intrínseca do cérebro como um sistema de integração multimodal. Para superar essas limitações, propomos o BrainJanus, o primeiro modelo cerebral unificado que integra cérebro, visão e linguagem em uma única estrutura. Especificamente, introduzimos um Tokenizador Cerebral Unificado para quantizar a dinâmica neural contínua em tokens discretos alinhados com representações visuais e linguísticas em um espaço Omni compartilhado. Com base nisso, utilizamos uma arquitetura autoregressiva All-in-One que aproveita a predição do próximo token para viabilizar geração any-to-any sem emendas, abrangendo codificação de imagem para cérebro e de texto para cérebro, e decodificação de cérebro para imagem e de cérebro para texto. Experimentos extensos demonstram que o BrainJanus alcança desempenho superior em diversos benchmarks. Além disso, nossa estrutura exibe generalização zero-shot e preserva a topografia biológica interpretável, destacando seu potencial como um paradigma de modelagem cerebral de uso geral. O código está disponível em https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Modelos modernos de linguagem de grande escala (LLMs) dependem de aprendizado por reforço durante o pós-treinamento para impulsionar capacidades específicas, mas integrar múltiplas capacidades em um único modelo ainda é difícil. Métodos existentes, como Ajuste Fino Fora da Política (Off-Policy Finetune) e Mistura-RL (Mix-RL), são ineficientes ou perdem desempenho. Neste trabalho, propomos a Destilação On-Policy com Múltiplos Professores (Multi-teacher On-Policy Distillation, MOPD), um paradigma de pós-treinamento para combinar as capacidades de múltiplos professores de RL especializados em domínios: primeiro, executamos RL especializado por domínio para obter um conjunto de professores de domínio e, em seguida, destilamos esses professores no estudante usando suas próprias trajetórias geradas (rollouts). Isso elimina o viés de exposição e fornece um sinal de otimização denso. No Qwen3-30B-A3B, o MOPD supera as linhas de base de Mistura-RL, RL em Cascata (Cascade RL), Ajuste Fino Fora da Política e Fusão de Parâmetros (Param-Merge), herdando quase toda a capacidade de cada professor. O MOPD também permite o desenvolvimento paralelo e independente de professores de domínio, eliminando o acoplamento entre domínios típico do pós-treinamento multi-domínio. O MOPD foi implantado no pós-treinamento do MiMo-V2-Flash, um modelo de fronteira em escala industrial, demonstrando seu valor prático para a integração de capacidades em LLMs de fronteira.

A geração de áudio-vídeo recentemente ganhou atenção de pesquisa sem precedentes, visando sintetizar conteúdo de vídeo com som de alta qualidade, com sincronização refinada e alinhamento semântico entre os componentes auditivo e visual. Os métodos anteriores adotam predominantemente um design de dois ramos, com módulos separados de tokenização e geração por modalidade, negligenciando a lacuna de representação enquanto exigem intensivos recursos computacionais para treinamento adequado. Inspirados pelos avanços recentes em tokenização visual unidimensional, apresentamos o AVTok, um novo tokenizador unificado designado para geração holística de áudio-vídeo. O AVTok apresenta uma arquitetura baseada em transformador de fluxo duplo, com codificador-decodificador compartilhado e consultas aprendíveis específicas por modalidade, para codificar de forma eficiente e eficaz um par áudio-vídeo em uma representação latente unidimensional compacta com um codebook unificado. Para lidar com o desequilíbrio de informações heterogêneas que impede o AVTok de explorar informações audiovisuais alinhadas, concebemos uma estratégia de treinamento hierárquico para realizar progressivamente capacidades de reconstrução para cada modalidade. Experimentos extensivos demonstram que o AVTok se destaca tanto na reconstrução de áudio-vídeo quanto quando integrado em pipelines downstream para geração de áudio para vídeo, vídeo para áudio e geração conjunta de áudio-vídeo condicionada a classes. O AVTok abre caminho para o desafio da tokenização conjunta de áudio-vídeo e fornece uma direção potencial para construir grandes modelos multimodais unificados para geração de áudio-vídeo.

Modelos generativos alcançaram progressos notáveis, porém sua aplicação em imagens de satélite permanece desafiadora. Diferentemente de imagens naturais, cenas de satélite são estruturadas por geometrias espacialmente complexas e semanticamente distintas. Trabalhos anteriores abordam essa complexidade adaptando arcabouços de imagem natural por meio de rasters densos ou prompts esparsos, trocando custo de anotação e fidelidade ao mesmo tempo em que perdem compatibilidade com primitivas vetoriais comumente usadas para representar informações geográficas. Apresentamos o TerraDiT-Ω, um arcabouço unificado de controle espacial que gera imagens de satélite diretamente a partir de qualquer primitiva geoespacial nativa. Ao combinar anotações precisas (polígonos, polilinhas) e anotações mais grosseiras (caixas delimitadoras, pontos), o modelo suporta layouts controláveis em diferentes orçamentos de anotação, ampliando a aplicabilidade para tarefas de design como planejamento urbano, mantendo-se naturalmente compatível com fluxos de trabalho GeoAI de ponta a ponta. Para aproveitar efetivamente essas primitivas durante a geração, propomos a Atenção Local Ciente de Geometria, um mecanismo de condicionamento que injeta pistas geométricas explícitas no espaço de atenção. Em todos os formatos de condicionamento, nossa abordagem supera consistentemente tanto as linhas de base de controle denso quanto as de controle esparso. Além disso, essa flexibilidade possibilita o aumento controlável de dados sintéticos usando um único modelo generativo, melhorando o desempenho downstream em segmentação de cobertura do solo, detecção de objetos, extração de grafo viário e classificação de cenas. Código, dados e pesos estão disponíveis em https://github.com/mvrl/TerraDiT.

Modelos fundamentais transformaram o processamento de visão e linguagem ao fornecer representações ricas e reutilizáveis que são transferidas entre diversas tarefas. A partitura musical, como uma codificação visual da linguagem musical, carece de um backbone específico do domínio tão robusto. Apresentamos o MuSViT (Music Score Vision Transformer): o primeiro modelo de visão fundamental para representação de partituras — um codificador ViT pré-treinado via Autoencoders Mascarados em 9,7 milhões de páginas do IMSLP. Para lidar com a complexidade de partituras do mundo real, adotamos um currículo de dois estágios: um aquecimento sintético em partituras tipográficas, seguido por treinamento em larga escala no corpus completo do IMSLP. Avaliamos o MuSViT em quatro tarefas downstream — reconhecimento de partitura em página inteira e em nível de pauta, detecção de símbolos musicais e classificação de dificuldade da partitura — sob dois cenários: sonda linear (codificador congelado) e ajuste fino. Sob sonda linear, o MuSViT supera consistentemente codificadores de visão modernos, revelando que representações de propósito geral, independentemente da escala, ficam sistematicamente aquém das propriedades simbólicas estruturadas da notação musical. Sob ajuste fino, o MuSViT geralmente melhora os métodos de estado da arte específicos da tarefa. Uma análise adicional de consistência entre incorporação e transcrição revela que o MuSViT codifica diretamente a estrutura musical simbólica em seu espaço de representação — ao contrário de outros codificadores, cujas incorporações não se correlacionam com o conteúdo da notação musical. Esses resultados estabelecem o MuSViT como um backbone fundamental para a compreensão de partituras.

Os sistemas operacionais atuais expõem interfaces otimizadas para usuários humanos, mas não para agentes de IA. Humanos se beneficiam de pixels, ícones, janelas, agrupamento visual, movimento do mouse e atalhos de teclado; agentes de IA, por sua vez, necessitam de estado semântico compacto, ações ancoradas e feedback confiável. Como resultado, muitos agentes de uso de computador são forçados a interpretar capturas de tela, saída de OCR e recortes visuais, introduzindo altos custos de token, ambiguidade visual, latência e incerteza de coordenadas. Este artigo apresenta o LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), uma camada de interação semântica entre agentes de IA e sistemas operacionais. O LUMOS converte metadados nativos de acessibilidade e estruturas de IU de navegadores em planos semânticos legíveis por máquina, com identificadores estáveis, funções, nomes, valores, limites e affordances de ação. Ele também suporta ancoragem semântica do ponteiro em tempo real, consultando o elemento de IU sob ou próximo ao cursor por meio de APIs de automação do sistema operacional. Um LLM então age por meio de um ciclo de observação-ação ancorado em acessibilidade, utilizando primitivas de IU visível restritas, em vez de scripts específicos de aplicativo. O LUMOS não afirma substituir agentes visuais; em vez disso, reduz a dependência de capturas de tela quando os sistemas operacionais já fornecem estrutura semântica. Esses resultados sugerem um caminho para sistemas operacionais nativos de IA e camadas de interação legíveis por máquina.

Apresentamos o SWE-Interact, um novo ambiente de teste para avaliar agentes de codificação em tarefas de engenharia de software interativas, conduzidas pelo usuário e que envolvem múltiplas interações. Os benchmarks de SWE de fronteira existentes geralmente fornecem requisitos completos de antemão e avaliam os agentes quanto à implementação autônoma. Em contraste, o SWE-Interact insere os agentes em um fluxo de trabalho realista de desenvolvimento: um simulador de usuário cuidadosamente projetado começa com instruções vagas ou incompletas, revela progressivamente os requisitos, inspeciona o espaço de trabalho do agente e fornece feedback direcionado, revisões e novas restrições até que o objetivo completo da tarefa tenha sido transmitido. Fundamentado em estudos em larga escala de interações reais entre agentes de codificação, essa configuração testa se os agentes conseguem descobrir a intenção do usuário, adaptar-se a requisitos em evolução e construir sobre seu próprio trabalho anterior. Em um conjunto de modelos de fronteira e de peso aberto, constatamos que um bom desempenho em tarefas de SWE de interação única não se transfere de forma confiável para fluxos de trabalho com múltiplas interações conduzidos pelo usuário: os modelos com melhor desempenho resolvem aproximadamente 50% das tarefas de linha de base de interação única, mas apenas 25% das tarefas correspondentes do SWE-Interact. Os modelos mais fortes em nossa avaliação, incluindo Opus 4.8 e GPT 5.5, começam bem mesmo diante de instruções iniciais vagas, persistem até que todos os requisitos sejam revelados pelo usuário, integram-nos melhor e escrevem código limpo. No entanto, ainda sofrem com codificação excessivamente autônoma, esquecimento de requisitos e erros técnicos. Modelos mais fracos começam mal sob ambiguidade, desistem cedo, esquecem ou ignoram instruções e refazem mais seu código. No geral, o SWE-Interact mede um eixo de capacidade ortogonal e do mundo real para o desenvolvimento de modelos de fronteira: descoberta interativa de objetivos e refinamento iterativo com o usuário no loop.

Bibliotecas e ferramentas de código aberto são amplamente reutilizadas, mas a manutenção de compatibilidade é cara. Quando mantenedores deixam os projetos, repositórios úteis podem parar de funcionar à medida que ambientes de execução e dependências evoluem. Estudamos se agentes de LLM podem adaptar repositórios antigos a ambientes modernos, uma tarefa que chamamos de resgate de compatibilidade. Diferente da correção de bugs, o resgate de compatibilidade parte de um repositório que funcionava em seu ambiente original, mas falha após a deriva do ecossistema. RepoRescue fornece aos agentes apenas o repositório e seu ambiente moderno com falha; o agente deve diagnosticar a falha, localizar o código afetado e produzir um resgate no código-fonte que restaure a suíte de testes histórica. Construímos o RepoRescue a partir de 193 repositórios Python e 122 Java, cada um verificado para passar historicamente e falhar após modernização. Avaliamos cinco sistemas de agentes implantados em Python e três em Java. Além da taxa de aprovação total de patches, reexecutamos os patches removendo edições em arquivos de teste para medir a correção apenas no código-fonte, adicionamos um regime de restrição de tempo de execução que bloqueia edições em testes e validamos o uso prático para repositórios cujas suítes passam após o resgate. Descobrimos que sistemas Claude Code às vezes editam testes com falha mesmo quando instruídos a não fazê-lo; com bloqueio em tempo de execução, Kimi ainda resgata 41,5% dos repositórios. Os sistemas são complementares: sua união atinge 62,7%, superando o melhor sistema individual em 10,9 pontos percentuais. A dificuldade se concentra na coordenação entre arquivos: em 14 repositórios que exigem alterações coordenadas em todo o código-base, o GPT-5.2 via Codex passa em todos os 14, enquanto cada sistema Claude Code passa no máximo dois. Finalmente, uma suíte de testes aprovada é apenas um sinal inicial: entre 34 candidatos Python não mantidos cujas suítes passam após o resgate, 22 funcionam em cenários realistas e 12 passam na caça a bugs, com patches que resolvem a falha de compatibilidade. RepoRescue estabelece um benchmark para resgate de compatibilidade com auditoria apenas no código-fonte, restrição de tempo de execução, validação prática e rótulos de raciocínio.

Modelos de linguagem de grande porte (LLMs) são cada vez mais utilizados para tomar ações no mundo real e apoiar a tomada de decisão humana, mas a maioria dos agentes depende de conhecimento paramétrico, dados fixos pós-treinamento, recuperação ou busca. Esse paradigma se rompe em domínios novos e para consultas sofisticadas que não podem ser respondidas apenas a partir de conhecimento prévio. Saber as leis da física, por exemplo, não permite por si só que LLMs respondam a consultas ou completem tarefas de longo horizonte em um sistema físico complexo. Para lidar com isso, apresentamos os Agentes Experimentalistas Hierárquicos (HExA), uma estrutura de autoaperfeiçoamento em contexto para aprender por meio de experimentação ativa. O HExA projeta e refina iterativamente experimentos relevantes para a consulta, aprende uma biblioteca reutilizável de habilidades combináveis a partir da experiência e integra evidências experimentais para responder a consultas ou tomar ações. O HExA não requer treinamento, é compatível com qualquer modelo de caixa-preta e não necessita de supervisão externa, oráculos ou dados offline. Para avaliar a experimentação ativa, apresentamos o Interphyre, um benchmark de chamada de ferramentas construído sobre o ambiente de física procedural 2D PHYRE, onde os agentes propõem intervenções e testam hipóteses por meio de APIs de simulação. Experimentos mostram que os atuais agentes LLM têm dificuldades nesses cenários, especialmente nos níveis mais difíceis do Interphyre. O Claude Sonnet 4.6 atinge apenas 2% de sucesso, enquanto o HExA melhora o mesmo modelo para até 77% de sucesso. O HExA também melhora modelos de pesos abertos e supera linhas de base agentivas como ReAct e Reflexion. Além disso, usando apenas habilidades aprendidas em níveis mais fáceis e transferidas sem experimentação ativa, o HExA alcança 44% de sucesso, demonstrando a reutilização e generalização de suas habilidades aprendidas. No geral, o HExA mostra que aprender por meio de experimentação ativa pode ajudar agentes a descobrir conhecimento útil, adquirir habilidades reutilizáveis e progredir de forma eficiente em novas tarefas de longo horizonte.

Apresentamos uma estrutura zero-shot, livre de treinamento e livre de otimização para a geração de imagens e vídeos panorâmicos 360°, injetando diretamente priores esféricos em transformadores de difusão pré-treinados. Métodos existentes ou dependem de ajustes finos custosos em dados panorâmicos escassos, o que limita a generalização, ou utilizam otimização de múltiplas etapas, que incorre em latência de inferência proibitiva. Observamos que modelos generativos contemporâneos já exibem, de forma nativa, alguns priores panorâmicos provenientes de treinamento em larga escala. No entanto, essas capacidades emergentes são insuficientes, pois os modelos fundamentalmente falham em satisfazer as restrições topológicas rigorosas impostas pela projeção equirretangular (ERP). Introduzimos uma abordagem zero-shot e livre de otimização que resolve essas restrições no momento da inferência. O Spherical RoPE substitui os embeddings posicionais rotativos padrão: canais de baixa frequência são reparametrizados como coordenadas cartesianas 3D para codificar nativamente a variedade esférica, enquanto canais de alta frequência são quantizados harmonicamente para impor periodicidade exata. Em conjunto com a Orientação Livre de Classificador (CFG) de Distorção Semântica complementar, que direciona explicitamente a geometria, evitamos o retreinamento e herdamos toda a amplitude criativa dos modelos de última geração. Nossa abordagem generaliza-se por diversos backbones e modalidades de geração 360°. Demonstramos isso em texto para panorama utilizando os backbones Flux.1, Flux.2 e LTX-Video, alcançando desempenho competitivo em relação às referências, tudo isso sem necessidade de treinamento. Página do projeto: https://orhir.github.io/SpheRoPE

Sistemas de inteligência artificial são comumente avaliados por meio do desempenho em tarefas e imitação comportamental, mas tais avaliações deixam em aberto se um agente artificial pode adquirir, estabilizar e usar novos significados lexicais a partir da experiência fundamentada. Este artigo apresenta o Consenso Lexical, uma estrutura experimental para estudar a aprendizagem de palavras fundamentada em um substrato perceptual estruturado. Utilizando embeddings visuais congelados do DINOv2, palavras inventadas no estilo Carroll e aprendizes lexicais interpretáveis com baselines lineares, testamos se agentes podem adquirir rótulos artificiais para conceitos visuais, generalizá-los bidirecionalmente e estabilizá-los em ambientes controlados. O principal resultado é um gradiente robusto de coerência perceptual: categorias nativas são as mais fáceis de aprender, superextensões coerentes permanecem aprendíveis, conceitos disjuntivos intermediários se degradam e conceitos altamente disjuntivos se aproximam do acaso. Um experimento de dissociação pré-registrado com CIFAR-100 confirma que esse gradiente é governado pela distância perceptual, e não pela relação semântica: a distância perceptual prediz a precisão da aquisição (R² parcial = 0,245, p < 1e-7), enquanto a distância semântica não adiciona poder explicativo significativo (R² parcial = 0,002, p = 0,660). A avaliação bidirecional mostra que nomeação e recuperação são distintas: mecanismos baseados em exemplares superam protótipos de centróide na recuperação imagem-rótulo, revelando uma dimensão de fidelidade de memória separada da precisão da nomeação. Controles de falseamento, avaliações com conjuntos candidatos homogêneos e resultados nulos em reestruturação representacional indicam que a geometria perceptual congelada tanto viabiliza a fundamentação lexical quanto limita o que pode ser adquirido sem adaptação representacional.

Conjuntos de dados existentes de edição de vídeo baseada em instruções geralmente se concentram em edição de aparência de tarefa única, não atendendo às demandas criativas complexas de cenários do mundo real. Para preencher essa lacuna, apresentamos o Goku, um conjunto de dados em larga escala com 2 milhões de pares de edição de vídeo de alta qualidade e alinhados a instruções, sendo o primeiro a expandir os limites das tarefas, da edição básica de aparência para manipulações multi-tarefa e estruturais (por exemplo, controle preciso do movimento do sujeito). Para enfrentar os desafios de síntese de dados inerentes a essas tarefas complexas, projetamos um pipeline eficiente de síntese de dados que decompõe edições complexas em subproblemas controláveis e introduzimos um sistema de filtragem progressiva para garantir a confiabilidade dos dados ao longo de todo o processo. Além disso, exploramos as estruturas de rede ideais no Goku e propomos o Goku-Edit. Para compreender profundamente instruções de edição complexas, o Goku-Edit utiliza um MLLM como seu codificador de texto e adota um design de ramo duplo desacoplado: um ramo de máscara dedicado lida com o controle estrutural, liberando o ramo principal para a renderização de aparência. Um benchmark abrangente de edição de vídeo, Goku-Bench, também é proposto, com 1.000 casos de teste verificados por humanos e 7 novas métricas específicas de edição. Avaliado no Goku-Bench, o Goku-Edit obtém uma melhoria de até +8% em relação a outros modelos de código aberto no quesito de seguir instruções.

Modelos de linguagem falada (SLMs) estendem LLMs para entrada e saída de fala. SLMs existentes representam a fala em taxas de quadros fixas (por exemplo, 25 ou 12,5 Hz), ignorando a densidade de informação variável no tempo da fala e não oferecendo flexibilidade para equilibrar qualidade e velocidade no momento da inferência. Pesquisas recentes sobre tokenizadores de áudio propuseram codificação de fala com taxa de quadros dinâmica, que explora essa não uniformidade e viabiliza duas novas capacidades: taxas de quadros médias muito baixas e controlabilidade da taxa de quadros. No entanto, essa técnica ainda não foi aplicada a SLMs. Apresentamos o Modelo de Linguagem Falada Flexível (FlexiSLM), o primeiro SLM que suporta taxas de quadros dinâmicas e controláveis tanto na entrada quanto na saída de fala. Usando representações de taxa de quadros dinâmica, o FlexiSLM supera modelos de 7B com taxas de quadros fixas, incluindo Qwen2.5-Omni e Kimi-Audio, em seus pontos operacionais de alta qualidade. Verificamos ainda que o FlexiSLM pode ser direcionado com precisão para até 4,0 Hz; a 6,25 Hz, ele reduz aproximadamente pela metade o tempo de inferência em relação a 12,5 Hz, mantendo uma forte qualidade de fala para fala. Amostras de áudio estão disponíveis em https://flexislm.github.io .