Artigos de pesquisa em IA selecionados diariamente com traduções
Um modelo de mundo prevê a dinâmica do ambiente com base em observações e ações atuais, servindo como um mecanismo cognitivo central para raciocínio e planejamento. Neste trabalho, investigamos como a modelagem de mundo baseada em modelos de linguagem pode expandir ainda mais os limites de agentes gerais. (i) Primeiramente, focamos na construção de modelos fundacionais para simulação de ambientes agentivos. Apresentamos o Qwen-AgentWorld-35B-A3B e o Qwen-AgentWorld-397B-A17B, os primeiros modelos de mundo de linguagem capazes de simular ambientes agentivos abrangendo 7 domínios por meio de raciocínio de cadeia de pensamento longa. Utilizando mais de 10 milhões de trajetórias de interação com ambientes reais em 7 domínios, desenvolvemos o Qwen-AgentWorld por meio de um pipeline de treinamento em três estágios: o CPT injeta capacidades gerais de modelagem de mundo a partir da dinâmica de transição de estados e de corpora profissionais aumentados; o SFT ativa o raciocínio de predição do próximo estado; e o RL aprimora a fidelidade da simulação por meio de uma estrutura personalizada com recompensas híbridas baseadas em rubricas e regras. Para avaliar modelos de mundo de linguagem, apresentamos o AgentWorldBench, um benchmark abrangente construído a partir de interações reais de 5 modelos de fronteira em 9 benchmarks estabelecidos. Resultados empíricos demonstram que o Qwen-AgentWorld supera significativamente os modelos de fronteira existentes. (ii) Além dos modelos fundacionais, investigamos ainda dois paradigmas complementares por meio dos quais a modelagem de mundo aprimora agentes gerais. Primeiro, como um simulador de ambiente desacoplado, o Qwen-AgentWorld suporta a simulação escalável e controlável de milhares de ambientes reais para RL agentivo, gerando ganhos que superam o treinamento apenas em ambiente real. Segundo, como um modelo fundacional de agente unificado, o treinamento do modelo de mundo atua como um aquecimento altamente eficaz que melhora o desempenho downstream em 7 benchmarks agentivos. Código: https://github.com/QwenLM/Qwen-AgentWorld
Apresentamos o NatureBench, um benchmark interdisciplinar composto por 90 tarefas destiladas de publicações revisadas por pares da família Nature, projetado para avaliar se agentes de codificação de IA podem avançar além da reprodução em direção à descoberta em problemas científicos reais. O NatureBench é construído sobre o NatureGym, um pipeline automatizado que cria um ambiente containerizado padronizado e específico para cada tarefa a partir de um artigo fonte, abordando o problema de fragmentação de ambientes que limitou a credibilidade de benchmarks anteriores focados em agentes para pesquisa. Ao avaliar dez configurações de agentes de fronteira sob um protocolo rigoroso com busca na web desabilitada, constatamos que o modelo mais forte supera o estado da arte em apenas 17,8% das tarefas, considerando o critério g > 0,1. A análise dos caminhos metodológicos revela que os agentes obtêm sucesso principalmente por meio de tradução metodológica, convertendo tarefas científicas em problemas familiares de predição supervisionada, em vez de invenção científica genuína. As falhas são dominadas por escolha inadequada de método e orçamento computacional insuficiente, e não por mal-entendido da tarefa. Disponibilizamos o benchmark, o pipeline NatureGym e um leaderboard público com reprodução pelo lado do mantenedor. Código: https://github.com/FrontisAI/NatureBench
Agentes de GUI móvel baseados em MLLM fizeram progressos substanciais na compreensão de IU e execução de ações, mas adaptá-los a aplicativos reais continua caro, pois os aplicativos móveis são numerosos, frequentemente atualizados e difíceis de cobrir com tarefas escritas por humanos, demonstrações ou rótulos de recompensa. A aprendizagem de GUI sem anotação existente reduz a supervisão manual, mas carece de um substrato unificado conectando exploração de aplicativos-alvo, mineração de currículo, execução de rollouts e feedback, enquanto a otimização de políticas frequentemente depende de rollouts isolados e recompensas grosseiras difíceis de converter em sinais de melhoria confiáveis. Apresentamos o MobileForge, um sistema de adaptação sem anotação para agentes de GUI móvel. O MobileForge consiste no MobileGym, que fundamenta a geração de tarefas e a avaliação de rollouts na interação real com aplicativos móveis, e na Otimização de Política Guiada por Feedback Hierárquico (HiFPO), que transforma resultados de trajetórias, feedback de processo no nível de passo e dicas corretivas em atualizações GRPO no nível de passo contextualizadas por dicas. Usando apenas dados de adaptação sem anotação gerados automaticamente, o MobileForge adapta o Qwen3-VL-8B para 67,2% Pass@3 no AndroidWorld, próximo ao modelo base GUI-Owl-1.5-8B especializado em GUI com dados fechados, que atinge 69,0%. O ForgeOwl-8B adaptado pelo MobileForge alcança ainda 77,6% Pass@3 no AndroidWorld e 41,0% de sucesso na divisão GUI-only do MobileWorld fora do domínio, estabelecendo o agente de GUI móvel com dados abertos mais forte em nossa avaliação. Código, dados e modelos treinados serão disponibilizados em https://mobile-forge.github.io/.
Agentes GUI móveis baseados em MLLM alcançaram progressos substanciais em tarefas de horizonte curto, mas continuam pouco confiáveis em tarefas de horizonte longo que exigem reter fatos intermediários ao longo de muitas etapas e transições entre aplicativos. Atribuímos essa limitação ao prompting estilo ReAct, que acumula passivamente registros de cada etapa, levando à explosão do prompt e à diluição de fatos críticos entre aplicativos. Para abordar isso, apresentamos o MemGUI-Agent, um agente GUI móvel de horizonte longo com gerenciamento proativo de contexto, operado de ponta a ponta. O MemGUI-Agent é construído sobre Context-as-Action (ConAct), que trata o gerenciamento de contexto como ações de primeira classe emitidas pela mesma política que seleciona ações de UI. Em vez de anexar passivamente o histórico, o ConAct mantém três campos de contexto estruturados: histórico de ações condensado, estado de UI condensado e registro da etapa recente, preservando fatos críticos da UI enquanto mantém o contexto compacto. Para tornar o gerenciamento proativo de contexto aprendível em diferentes escalas de modelo, construímos o MemGUI-3K, um conjunto de dados com 2.956 trajetórias e anotações completas do ConAct para treinamento supervisionado e análise offline. O treinamento de um modelo de 8B no MemGUI-3K produz o MemGUI-8B-SFT, um MemGUI-Agent de 8B que alcança o melhor desempenho entre modelos de 8B com dados abertos no MemGUI-Bench e generaliza para o benchmark MobileWorld, que está fora da distribuição. O código, os dados e os modelos treinados serão disponibilizados em https://memgui-agent.github.io/.
Os modelos de linguagem agentivos expandem dramaticamente as aplicações da IA, mas pouco se sabe publicamente sobre como curar dados de treinamento para agentes com capacidades amplas. Esforços abertos existentes, como SWE-Smith, SERA e Nemotron-Terminal, geralmente visam um único benchmark, deixando em aberto a questão de como treinar modelos que generalizem para diversas tarefas agentivas. O projeto OpenThoughts-Agent (OT-Agent) aborda essa lacuna com um pipeline de curadoria de dados totalmente aberto para treinar modelos agentivos. Realizamos mais de 100 experimentos controlados de ablação para investigar sistematicamente cada etapa do pipeline, obtendo insights sobre a importância das fontes de tarefas e da diversidade. Em seguida, montamos um conjunto de treinamento de 100 mil exemplos a partir do nosso pipeline e ajustamos finamente o Qwen3-32B nesse conjunto de dados, o que resulta em uma precisão média de 44,8% em sete benchmarks agentivos e uma melhoria de 3,9 pontos percentuais em relação ao modelo agente de dados abertos existente mais forte (Nemotron-Terminal-32B, 40,9%). Além disso, nossos dados de treinamento apresentam fortes propriedades de escalabilidade, superando conjuntos de dados abertos alternativos em todos os tamanhos de conjunto de treinamento em comparações controladas por computação. Disponibilizamos publicamente nossos conjuntos de treinamento, pipeline de dados, dados experimentais e modelos em openthoughts.ai para apoiar futuras pesquisas abertas sobre treinamento de modelos agentivos.
Os agentes de IA estão impulsionando um novo paradigma de software, com a capacidade de chamar ferramentas de forma autônoma, extrair informações, gerenciar memória e concluir tarefas que abrangem aplicativos e fontes de dados. No entanto, a maioria dos sistemas operacionais para usuário final existentes é projetada para fluxos de trabalho centrados em aplicativos e oferece pouco suporte nativo a agentes de IA. Essa incompatibilidade limita a adoção mais ampla de agentes e gera sobrecarga de execução e riscos de segurança quando estes são executados em sistemas convencionais. Embora o conceito de sistemas operacionais nativos para agentes esteja emergindo, a comunidade de pesquisa carece de uma bancada de testes aberta para explorar os primitivos arquiteturais desejados para a interação mediada por agentes. Apresentamos o AOHP (Android Open Harness Project), um arnês de agente em nível de SO construído sobre o Android Open Source Project (AOSP). O princípio central de design do AOHP é tratar agentes como atores de primeira classe do SO, possibilitando interfaces de usuário adaptativas e ambientes de execução amigáveis a agentes. O AOHP preserva o ecossistema maduro de software e hardware do Android, ao mesmo tempo que introduz três mecanismos sistêmicos orientados a agentes: composição personalizada de serviços, interfaces eficientes para agentes e fluxo seguro de informações. Com base em experimentos preliminares em tarefas desafiadoras que abrangem capacidades essenciais de agentes de SO, o AOHP demonstra vantagens claras na conclusão de tarefas (+21,12% de taxa de conclusão), no custo de execução (-51,55% de custo de tokens) e na conformidade com políticas de segurança.
Os transtornos mentais são altamente prevalentes em todo o mundo, mas a escassez de psiquiatras e a subjetividade inerente ao diagnóstico baseado em entrevistas criam barreiras substanciais para uma avaliação de saúde mental oportuna e consistente. O progresso no diagnóstico psiquiátrico assistido por IA é limitado pela ausência de benchmarks que simultaneamente forneçam simulação realista de pacientes, rótulos diagnósticos verificados por clínicos e suporte para consultas dinâmicas de múltiplas rodadas. Apresentamos o LingxiDiagBench, um benchmark multiagente em larga escala que avalia LLMs tanto em inferência diagnóstica estática quanto em consulta psiquiátrica dinâmica de múltiplas rodadas em chinês. Em seu núcleo está o LingxiDiag-16K, um conjunto de dados de 16.000 diálogos de consulta sintéticos alinhados a RME, projetados para reproduzir distribuições demográficas e diagnósticas clínicas reais em 12 categorias psiquiátricas da CID-10. Por meio de experimentos extensivos com LLMs de última geração, estabelecemos descobertas-chave: (1) embora os LLMs alcancem alta precisão na classificação binária depressão–ansiedade (até 92,3%), o desempenho deteriora-se substancialmente para o reconhecimento de comorbidade depressão–ansiedade (43,0%) e para o diagnóstico diferencial de 12 vias (28,5%); (2) a consulta dinâmica frequentemente tem desempenho inferior à avaliação estática, indicando que estratégias ineficazes de coleta de informações prejudicam significativamente o raciocínio diagnóstico subsequente; (3) a qualidade da consulta avaliada pelo LLM como Juiz mostra apenas correlação moderada com a precisão diagnóstica, sugerindo que apenas perguntas bem estruturadas não garantem decisões diagnósticas corretas. Disponibilizamos o LingxiDiag-16K e o framework completo de avaliação para apoiar pesquisas reproduzíveis em https://github.com/Lingxi-mental-health/LingxiDiagBench.
Gerar cenas 3D exploráveis a partir de uma única imagem requer fortes priors generativos e representações geométricas precisas, adequadas para uso posterior. Os modelos atuais de difusão de vídeo oferecem geração de alta qualidade e codificam implicitamente a estrutura geométrica multivista no espaço latente. No entanto, os decodificadores feedforward existentes de cenas latentes tipicamente produzem Gaussianas 3D volumétricas que carecem de uma superfície bem definida, limitando seu uso em simulação ou pipelines gráficos padrão. Isso motiva a decodificação de primitivos alinhados à superfície, que não são apenas renderizáveis, mas também mais próximos de ativos geométricos explícitos. Investigamos se latentes de difusão de vídeo comprimidos podem ser mapeados diretamente para primitivos de superfície explícitos em uma única passagem. Para esse fim, introduzimos o FLAT e, pela primeira vez, mostramos que splats de triângulos podem ser decodificados diretamente de latentes de difusão de vídeo. Comparado à decodificação de Gaussianas 3D, prever primitivos planos é notoriamente mais desafiador devido à alta sensibilidade às orientações dos primitivos, muitas vezes levando a um fluxo de gradiente pobre. O FLAT resolve isso com dois ingredientes-chave: uma parametrização de rotação centrada nos raios para regressão de triângulos e uma nova função de janela de produto que melhora o fluxo de gradiente durante a renderização diferenciável de triângulos. Em benchmarks padrão, o FLAT alcança uma precisão geométrica significativamente melhor, mantendo qualidade visual competitiva em comparação com as linhas de base feedforward de última geração. Mostramos ainda que uma etapa leve de refinamento em tempo de teste converte a sopa de triângulos prevista em uma representação totalmente opaca e pronta para mecanismos de jogos, suportando renderização em tempo real. Ao avaliar variantes de 3DGS, 2DGS e splatting de triângulos sob uma configuração de treinamento idêntica, fornecemos a primeira análise sistemática das trocas de representação na geração feedforward de cenas. A página do projeto está disponível em https://flat-splat.github.io.
Os modelos modernos de texto para imagem se destacam na fidelidade visual e na aderência às instruções. No entanto, essa aderência estrita ocorre às custas da diversidade: as amostras geradas tendem a convergir para uma única interpretação visual. Os métodos existentes para melhorar a diversidade produzem resultados impulsionados por variações incidentais, em vez de escolhas de design significativas. Isso motiva uma nova variante da tarefa de diversidade, na qual a estrutura é imposta às amostras geradas. Apresentamos um método para diversidade controlada que possibilita a Navegação Semântica, permitindo que os usuários explorem galerias de imagens estruturadas e vivenciem uma exploração criativa por meio de uma travessia sistemática de eixos de variação significativos e interpretáveis. Alcançar esse nível de controle semântico exige uma compreensão profunda da cena. Exploramos o fato de que modelos recentes de texto para imagem são treinados em legendas elaboradas, efetivamente separando a tomada de decisão semântica da geração de pixels. Isso possibilita uma mudança de paradigma: em vez de depender da variação estocástica dentro do modelo de texto para imagem, induzimos diversidade diretamente no nível do texto. Ao aproveitar representações textuais ricas, permitimos que um Modelo de Linguagem Visual (VLM) opere no contexto completo da cena. Para superar os resultados genéricos típicos de VLMs padrão, empregamos um fluxo de trabalho baseado em agentes que impõe explicitamente uma variação estruturada sintonizada com a instrução original. Demonstramos que nosso método produz espaços de design diversos e navegáveis, onde cada variação corresponde a uma decisão semântica específica e compreensível pelo usuário.
O que é um agente? O que constitui a agência? Com o surgimento de sistemas baseados em Modelos de Linguagem de Grande Escala (LLM) comercializados como "agentes de codificação", "cocientistas de IA" e outras ferramentas "agênticas" que prometem aumentar a produtividade, e ao mesmo tempo, preocupações "existenciais", como a fuga da IA ao controle humano com poder destrutivo sob uma especulativa "agência mecânica" contra os humanos, tornou-se essencial esclarecer onde termina a automação e começa a agência, tanto para construir sistemas capazes quanto para compreender se e o que temer. Baseando-nos na fundamentação da agência por Descartes no pensamento independente e em representações de seres autônomos na ficção científica, examinamos o panorama atual dos agentes de IA e analisamos arquiteturas de agentes ao longo de cinco dimensões: objetivo, identidade, tomada de decisão, autorregulação e aprendizagem. Especificamente, argumentamos que a agência genuína exige que essas estruturas sejam internalizadas no próprio sistema, em vez de montadas por meio de estruturação externa. Essa distinção entre sistemas agentivos, cuja competência reside em fluxos de trabalho de engenharia, e sistemas agentivos, cujas capacidades (incluindo interação social) surgem endogenamente, define o limite entre sistemas projetados para tarefas prescritas e aqueles capazes de operar no mundo aberto com verdadeira autonomia. Com base nessa análise, propomos a arquitetura Goal-Identity-Configurator (GIC) para um modelo de agente de uso geral, combinando decomposição hierárquica de objetivos, evolução de identidade, raciocínio simulativo fundamentado em um modelo de mundo treinado separadamente, autorregulação aprendida e aprendizagem autodirigida a partir de experiências reais e simuladas. Além disso, compartilhamos percepções sobre a auditabilidade, controlabilidade e segurança de sistemas agentivos que possuem maior autonomia e "agência", mas permanecem sob supervisão humana.
Treinar Modelos de Difusão Latente (LDMs) no contexto do Aprendizado Federado (FL) tem atraído crescente atenção devido à capacidade de combinar o poderoso potencial generativo dos LDMs com as propriedades de preservação de privacidade do FL. No entanto, o FL exige o compartilhamento do modelo global com múltiplos participantes, o que arrisca a distribuição ou revenda não autorizada do modelo por clientes maliciosos. Embora uma abordagem intuitiva seja adotar técnicas de marca d'água baseadas em VAE existentes para LDMs no FL, essa estratégia é insuficiente para lidar com tais ameaças devido a dois desafios fundamentais: (1) Os métodos existentes suportam a verificação de propriedade, mas não conseguem rastrear o vazamento do modelo até um cliente malicioso específico; (2) Marcas d'água baseadas em VAE são vulneráveis, pois podem ser removidas simplesmente substituindo o decodificador por um equivalente limpo. Neste artigo, propomos o FedOT, a primeira estrutura para verificação de propriedade e rastreamento de vazamento em LDMs federados. Especificamente, para enfrentar o primeiro desafio, projetamos uma marca d'água em partes, onde a primeira parte é para verificação de propriedade e a segunda parte é utilizada para identificação do cliente. Além disso, para superar o segundo desafio e proteger o modelo contra o ataque de substituição do VAE, introduzimos a Transformação de Vetor Latente (LVT), que fortalece a conexão entre os espaços latentes do VAE e da U-Net ao modificar a distribuição latente original do VAE. Consequentemente, qualquer tentativa de substituir o VAE para remover a marca d'água resulta em degradação significativa da qualidade da imagem, tornando o modelo LDM inutilizável. Experimentos extensivos demonstram que o FedOT alcança desempenho superior tanto na verificação de propriedade quanto na rastreabilidade. Página do projeto: https://spyzixuan.github.io/FedOT/.
A auto-evolução orientada pela experiência é crucial para que agentes de grandes modelos de linguagem (LLMs) melhorem por meio da interação em mundo aberto. No entanto, os métodos existentes de aprendizado por experiência dependem majoritariamente de loops de agente único, onde o mesmo agente executa tarefas, resume resultados e determina o conteúdo da memória. Essa configuração torna os agentes vulneráveis à Armadilha da Autoconfirmação: trajetórias incorretas, mas autoconsistentes, são erroneamente identificadas como experiências bem-sucedidas, levando a erros cumulativos durante a recuperação e reutilização. Para lidar com esse problema, propomos o EDV, uma estrutura Executar-Destilar-Verificar para aprendizado confiável de experiência. Na fase Executar, múltiplos agentes heterogêneos exploram o mesmo espaço de tarefas em paralelo para gerar diversas trajetórias candidatas. Na fase Destilar, um agente terceirizado dedicado analisa comparativamente essas trajetórias para produzir experiências candidatas, reduzindo o viés de sumarização centrado no executor. Na fase Verificar, o grupo de execução valida os candidatos por meio de um mecanismo de consenso, e apenas as experiências aprovadas são gravadas na memória compartilhada ou privada. Ao desacoplar as três fases, o EDV transforma o aprendizado por experiência de uma autorreflexão isolada em uma construção colaborativa, filtrando conteúdo errôneo e ruidoso antes da inserção na memória. Avaliamos o EDV em três benchmarks desafiadores de horizonte longo: tau2-bench, Mind2Web e MMTB. Os resultados mostram que o EDV supera consistentemente baselines robustos, validando que a construção confiável de experiência é essencial para a auto-evolução robusta de agentes. Nosso código está disponível em https://github.com/shidingz/EDV.
Os modelos de geração de texto para imagem (T2I) alcançaram progresso notável na produção de imagens visualmente realistas a partir de instruções em linguagem natural. No entanto, ainda não está claro se esse sucesso reflete uma genuína compreensão causal ou um sofisticado reconhecimento de padrões sobre correlações visuais e textuais. Inspirados pelo peru indutivista de Russell, introduzimos o Mundo Contrafactual (CF-World, do inglês *Counterfactual-World*), um benchmark contrafactual projetado para investigar se modelos de texto para imagem podem gerar imagens sob regras que contradizem sistematicamente os conhecimentos prévios do mundo real. O CF-World organiza cada cenário em três níveis progressivos: geração factual baseada no conhecimento comum do mundo, geração contrafactual explícita com instruções visuais diretas e geração contrafactual implícita que exige dedução causal a partir de regras alteradas. Avaliamos modelos T2I de código aberto e fechado utilizando um avaliador baseado em Modelo de Linguagem Visual (VLM, do inglês *Vision Language Model*), denominado CF-Eval. Além disso, introduzimos duas métricas: a Taxa de Resistência a Prioridades (PRR, do inglês *Prior Resistance Rate*), que mede a capacidade do modelo de superar prioridades arraigadas do mundo real, e a Taxa de Retenção de Raciocínio (RRR, do inglês *Reasoning Retention Rate*), que avalia se os modelos conseguem manter a geração contrafactual dependente de raciocínio sem pistas visuais explícitas. Experimentos mostram que todos os modelos apresentam degradação acentuada ao passar de configurações factuais para contrafactuais. Análises adicionais sugerem que essas falhas ocorrem porque os modelos T2I atuais codificam o conhecimento do mundo e as aparências visuais como padrões fortemente acoplados. Consequentemente, sua forte dependência de coocorrências visuais frequentes nos dados de treinamento os força a recorrer a prioridades de senso comum familiares quando incumbidos de representar mundos contrafactuais.
A pesquisa sobre o transformer de difusão (DiT) para geração de imagens convergiu para uma única configuração de avaliação: geração condicionada por classe no ImageNet. Embora os métodos melhorem o FID e métricas relacionadas, torna-se cada vez menos claro se eles refletem o progresso real em modelagem generativa. A alternativa natural, ou seja, a geração texto-imagem (T2I), é percebida como demasiado dispendiosa ou inconveniente para treinar e avaliar, sendo frequentemente ignorada. Argumentamos que essa percepção já não se sustenta. Apresentamos o NanoGen, uma estrutura unificada de treino e avaliação para DiT. O NanoGen corresponde aos baselines de DiT de última geração no ImageNet e, com 12 linhas de alteração na configuração, também treina modelos competitivos de texto-imagem. Atualmente, suporta métodos de difusão RAE, VAE, espaço de pixels e MeanFlow tanto em configurações ImageNet como T2I. Com o NanoGen, o treino de T2I requer uma quantidade de computação comparável à do ImageNet. Após treinar 21 modelos de difusão latente com o NanoGen, observamos que a classificação dos métodos não mostra correlação forte entre a geração ImageNet e T2I: a correlação de Pearson situa-se entre -0,377 e -0,580 para as três métricas. Isto sugere que um método que melhora o FID condicionado por classe no ImageNet pode não apresentar melhoria correspondente no T2I, indicando claramente a necessidade de avaliar os DiTs em ambas as tarefas. Para esse fim, resumimos os resultados do ImageNet e de texto-imagem, dando origem ao DiffusionBench, um benchmark holístico para a investigação em DiT. Recomendamos relatar o DiffusionBench em vez apenas do ImageNet: métodos que melhoram o DiffusionBench têm maior probabilidade de refletir um progresso mais amplo.
Escalar a aprendizagem por reforço para raciocínio matemático visual exige mais do que gerar perguntas mais difíceis: à medida que o volume de dados cresce, os próprios rótulos de recompensa devem permanecer confiáveis. No entanto, os pipelines de dados existentes escalam a supervisão enquanto confiam no rotulador, e os métodos do lado da política assumem que as respostas subjacentes já estão corretas. Em vez disso, tratamos a escalabilidade como um problema de construção de dados verificáveis e desacoplamos dois eixos antes de qualquer atualização de política: a dificuldade do prompt, expandida por operadores de evolução específicos de rota, e a confiabilidade da resposta, imposta por falsificação por teste de hipóteses offline. Materializamos isso como VeriEvol, uma estrutura iterativa com dois componentes extensíveis: um módulo de evolução ciente do tipo que reescreve sementes de imagem-pergunta de baixa dificuldade em prompts mais difíceis e fundamentados em imagens; e HTV-Agent, um verificador que aceita uma resposta apenas depois que contra-evidências de múltiplas fontes falharam em refutá-la. Os dados verificados resultantes escalam em volume, estendem-se pela adição de rotas de evolução ou canais de verificação, e integram-se diretamente em receitas de RL estilo GRPO existentes. Em um conjunto de cinco benchmarks de matemática visual, escalar dados SFT evoluídos de 10 mil para 250 mil amostras eleva a precisão média de 35,42 para 54,73; em seguida, com backbone, inicialização SFT e receita GRPO fixos, VeriEvol adiciona um ganho cumulativo de +3,88 sobre uma linha de base de RL não evoluída, dos quais +1,82 vêm de prompts evoluídos e +2,06 do verificador HTV-Agent. Disponibilizamos os prompts, dados, modelos, código e o traço completo do verificador de cada amostra, para que trabalhos posteriores possam escalar e auditar o pipeline, em vez de apenas inspecionar suas saídas.
A composição dos dados de treinamento, governada pela diversidade das fontes e sua estratégia de mistura, é um pilar fundamental do pré-treinamento de Modelos de Linguagem de Grande Porte (LLM). A Mistura Online de Dados (ODM), técnica de ajustar adaptativamente as misturas de dados durante o treinamento, surgiu como uma direção promissora para melhorar a eficiência. No entanto, os métodos existentes são limitados por sua dependência de uma perspectiva de otimização singular, o que desconsidera fundamentalmente a necessidade de que o pré-treinamento complexo de LLMs considere a composição dinâmica dos dados a partir de múltiplas dimensões. Para superar essa limitação, apresentamos o Agendador Holístico de Dados (HDS), uma nova estrutura de mistura online de dados. O HDS formula o desafio do agendamento de dados como um problema de aprendizado por reforço em um espaço de controle contínuo e utiliza o algoritmo Ator-Crítico Suave (SAC) por sua estabilidade e eficiência amostral na exploração do espaço de políticas de alta dimensão. No núcleo do HDS está uma nova função de recompensa holística multi-objetivo que integra três perspectivas críticas: uma recompensa orientada por dados para qualidade, uma recompensa orientada por perda capturando a influência entre domínios e uma recompensa orientada pelo modelo com base em normas de pesos. Para validar nosso projeto e determinar sua configuração ideal, conduzimos experimentos sistemáticos em LLMs de vários tamanhos. No benchmark The Pile, o HDS atinge a perplexidade de validação final do segundo melhor método com 44% menos iterações de treinamento. Além disso, obtém uma melhoria de 7,2% na tarefa MMLU 0-shot, juntamente com ganhos consistentes em outros benchmarks, demonstrando sua capacidade de aprimorar tanto a eficiência do treinamento quanto a capacidade final do modelo.
Modelos de embeddings de recuperação densa são um componente fundamental dos sistemas modernos de IA baseados em recuperação. A maioria dos recuperadores densos é treinada com objetivos contrastivos, que exigem pares de documentos positivos e negativos rotulados, muitas vezes caros e difíceis de obter. Neste trabalho, investigamos se o objetivo de predição autoregressiva do próximo token de um modelo de linguagem de grande porte (LLM) pode fornecer supervisão para a recuperação densa. A intuição é simples: se um documento contém informações relevantes para uma consulta, condicionar esse documento deve tornar mais fácil para o LLM prever a saída alvo. Um desafio chave é que a perda de predição do próximo token é calculada dentro do LLM, enquanto o recuperador é um modelo de embedding separado. Para enfrentar esse desafio, propomos o DREAM (Embeddings de Recuperação Densa via Modelagem Autoregressiva), que injeta pontuações de similaridade consulta-documento geradas pelo recuperador em cabeças de atenção selecionadas de um LLM congelado. Durante o treinamento, essas pontuações determinam quanta atenção cada documento candidato recebe enquanto o LLM prevê a saída alvo. A perda de predição resultante fornece gradientes para o treinamento do recuperador através do mecanismo de atenção. Avaliamos o DREAM nos benchmarks de recuperação BEIR e RTEB usando backbones de embedding variando de 0,5B a 3B parâmetros. O DREAM supera consistentemente as linhas de base existentes em diferentes escalas de modelo. Esses resultados demonstram que o DREAM fornece uma abordagem promissora para treinar recuperadores densos por meio de modelagem autoregressiva.
A Geração Aumentada por Recuperação (RAG) entre Gráficos é fundamental para tarefas analíticas multimodais complexas nos domínios científico, empresarial e político. No entanto, os benchmarks existentes ou se concentram em tabelas, que são bem estruturadas e textualizadas, ou geram perguntas entre gráficos simplesmente extraindo pontos-chave, o que frequentemente induz sobreposição lexical entre consultas e evidências, resultando em cadeias de raciocínio logicamente inconsistentes. Para abordar isso, apresentamos o ChartWalker, uma nova estrutura para construir tarefas desafiadoras de RAG entre gráficos. O ChartWalker apresenta um método de construção de grafo de conhecimento hierárquico adaptado a gráficos, que organiza entidades e relações por granularidade para preservar a estrutura analítica. Em seguida, propomos um algoritmo de amostragem ciente da estrutura que sintetiza caminhos de raciocínio de múltiplos saltos semanticamente coerentes, permitindo controle explícito sobre a dificuldade e a granularidade das consultas para a geração de perguntas e respostas. Construído com essa estrutura, disponibilizamos o ChartWalker-Bench, um benchmark abrangente que abrange diversos domínios e tipos de consultas entre gráficos. Avaliações extensas em paradigmas importantes de RAG revelam lacunas de desempenho significativas, destacando a dificuldade e a utilidade do benchmark. Além disso, fornecemos o ChartWalker-Agent, uma linha de base agentiva para facilitar a análise e inspirar o design futuro de sistemas.
Os agregadores de Aprendizado de Múltiplas Instâncias baseados em atenção em imagens médicas são propensos à concentração de atenção, gerando previsões excessivamente confiantes e instáveis. Apresentamos o QG-MIL, um agregador de transformador com portas que aborda esse problema por meio de quatro componentes arquitetônicos sinérgicos: pré-normalização baseada em RMSNorm, normalização QK por cabeça, controle granular da saída de atenção e módulos feed-forward estilo SwiGLU. Juntas, essas escolhas de design estabilizam o treinamento e distribuem a atenção de forma mais uniforme entre as instâncias, sem perdas auxiliares, mascaramento ou regularização em múltiplos estágios. Avaliamos o QG-MIL em seis benchmarks abrangendo patologia de lâmina inteira e hematologia em nível celular, cobrindo duas escalas fundamentalmente diferentes de MIL. As variantes do QG-MIL com melhor desempenho superam as principais referências em todos os seis benchmarks, com uma melhoria média de +6,1 pontos médios de macro F1. Sobreposições de atenção e análise de massa de atenção confirmam uma ponderação de instâncias mais distribuída. Estudos de ablação mostram que, embora componentes individuais possam igualar o modelo completo em conjuntos de dados específicos, o design do QG-MIL oferece o desempenho mais consistente entre domínios e a variância mais restrita em comparação com as referências selecionadas. Disponibilizamos uma implementação configurável para apoiar a reprodutibilidade em: https://github.com/unica-visual-intelligence-lab/QG-MIL
A detecção multimodal de desinformação é cada vez mais importante porque publicações virais agora combinam narrativas longas multilíngues, várias imagens, proveniência mista e erros sutis de enquadramento texto-imagem. Os benchmarks e métodos existentes permanecem mal adaptados a esse cenário: eles geralmente isolam legendas curtas, imagens únicas, rótulos binários ou uma única fonte de manipulação, enquanto a verificação agêntica permanece custosa em uma busca realista de evidências. Apresentamos o ReMMD, uma estrutura realista de verificação agêntica multilíngue e multi-imagem para detecção multimodal de desinformação. O ReMMD inclui o ReMMDBench, um benchmark realista de detecção multimodal de desinformação com 500 amostras, 2.756 imagens, cinco idiomas monolíngues, duas configurações cross-linguais, três níveis de comprimento de texto, publicações com múltiplas imagens, rótulos de veracidade de cinco classes, oito rótulos de distorção, proveniência de evidências e fundamentações. Também inclui o ReMMD-Agent, um verificador de memória persistente que decompõe publicações em pontos atômicos, constrói um conjunto de evidências reutilizável e prevê saídas estruturadas L1/L2/L3. Entre sistemas proprietários, LVLMs abertos, MMD-Agent e T2-Agent, o ReMMD-Agent obtém o melhor desempenho de veracidade em cinco classes, com 41,80% de acurácia e 39,12% de macro-F1 usando GPT-5.2, enquanto reduz o custo em 17,5% em relação ao MMD-Agent e 79,9% em relação ao T2-Agent. O projeto está disponível em https://dang-ai.github.io/ReMMD.
A memória continua sendo um gargalo crítico para a manipulação robótica de longo horizonte, uma vez que as políticas padrão de Visão-Linguagem-Ação (VLA) frequentemente falham quando pistas relevantes para a tarefa se tornam ocluídas ou não observáveis ao longo do tempo. Embora métodos existentes com memória aumentada utilizem contexto histórico, eles sofrem de sérios gargalos de informação, incorrem em alta latência devido a sistemas duplos desacoplados, ou dependem de buffers não seletivos que acumulam redundâncias visuais massivas. Para superar essas limitações, apresentamos o EventVLA, uma estrutura ponta a ponta fundamentada no conceito de memória de evidência visual esparsa, que compreende dois componentes centrais: âncoras visuais fundamentais para reter contextos iniciais e de curto prazo, e um módulo dinâmico de Memória de Evidência de Quadros-Chave (KEM - Keyframe Evidence Memory). Especificamente, o KEM prevê diretamente as probabilidades de quadros-chave futuros a partir das incorporações latentes da VLA para capturar e armazenar de forma autônoma eventos visuais críticos e esparsos para a tarefa. Esse mecanismo orientado por previsão capacita a política a avaliar dinamicamente a utilidade causal futura das observações atuais, preservando evidências visuais transitórias antes que se tornem não observáveis. Além disso, propomos o RoboTwin-MeM, um benchmark diagnóstico projetado especificamente para avaliar tarefas de manipulação não Markovianas com evidência visual interativa. Avaliações extensivas mostram que, em 17 tarefas simuladas que exigem memória e 4 tarefas bimanuais no mundo real, o EventVLA alcança uma melhoria média na taxa de sucesso de +40% em relação às VLAs com memória aumentada de última geração.
Os modelos de valor generalistas desempenham um papel fundamental na escalabilidade da aprendizagem de políticas robóticas a partir de dados de qualidade mista em larga escala. Matematicamente, uma estimativa precisa de valor exige uma compreensão temporal profunda, exigindo que os modelos tanto fundamentem a crença atual usando o contexto histórico quanto planejem resultados futuros. No entanto, a maioria dos modelos de valor robóticos existentes é construída sobre bases de Modelos de Visão e Linguagem (VLM) pré-treinados principalmente em observações visuais estáticas ou temporalmente esparsas, carecendo das capacidades de modelagem temporal necessárias para a estimativa de valor. Ao contrário dos VLMs, os modelos de mundo naturalmente se destacam na modelagem temporal e no planejamento futuro, tornando-se bases ideais para aprender funções de valor generalizáveis. Impulsionados por essa percepção, unimos modelos de mundo à estimativa de valor para construir um novo modelo de valor robótico generalista, o World Value Model (WVM), que oferece progressões precisas de tarefas para avaliar a qualidade dos dados. Em benchmarks padrão, o WVM obtém resultados de Correlação de Ordem de Valor (VOC) de última geração (SOTA). Complementando os conjuntos de avaliação padrão que contêm apenas dados de especialistas, apresentamos ainda o Suboptimal-Value-Bench, um benchmark multi-embodiment composto por 800 trajetórias subótimas com anotações de quadros de alta fidelidade e rotuladas por humanos. Nossas avaliações mostram que o WVM mantém seu desempenho de última geração no Suboptimal-Value-Bench, estabelecendo sua robustez no manuseio de dados tanto de especialistas quanto subótimos. Quando implantado para aprendizagem de políticas, o WVM melhora o desempenho de manipulação em várias abordagens de extração de políticas, tanto em ambientes simulados quanto reais, fornecendo orientação robusta para o aprendizado a partir de dados de qualidade mista.
O planejamento multimodal de direção enfrenta uma tensão de longa data entre dois paradigmas: métodos baseados em pontuação se beneficiam de supervisão densa de recompensas, mas ficam confinados a um vocabulário fixo de ações, enquanto métodos baseados em âncoras geram propostas dinamicamente, mas sofrem com supervisão esparsa restrita a uma única trajetória de referência verdadeira. Neste trabalho, propomos o FlowR2A, que resolve essa tensão ao reformular recompensas baseadas em simulação, transformando alvos discriminativos em condições generativas. Ao aprender a distribuição de ações condicionada por recompensa a partir de pares densos trajetória-recompensa com um decodificador de correspondência de fluxo, o FlowR2A unifica a supervisão densa dos métodos baseados em pontuação com a geração de propostas dos métodos baseados em âncoras em um único modelo generativo, forçando o modelo a internalizar a correlação entre uma ação e seus resultados em termos de segurança, progresso, conforto e conformidade com regras. Para equilibrar restrições rígidas de segurança com objetivos flexíveis de progresso, introduzimos condicionamento de recompensa por etapa de tempo granular e aumento de ruído de recompensa. A formulação generativa suporta naturalmente amostragem controlável durante o teste via orientação por recompensa e amostragem âncora, produzindo propostas de alta qualidade. O FlowR2A alcança resultados de ponta nos benchmarks NAVSIM v1 e v2, com propostas multimodais de qualidade substancialmente superior aos métodos anteriores.
O problema de dimensionamento e agendamento de potência ótimos em microrredes sujeitas a incertezas é bem conhecido pela comunidade de controle. Geralmente, o problema de controle ótimo é formulado como um programa inteiro misto para modelar as restrições lógicas decorrentes de sistemas de armazenamento de energia, e então resolvido aproximadamente usando métodos numéricos como a abordagem de cenários. Neste artigo, propomos e comparamos duas formulações de um problema de controle ótimo robusto de dimensionamento e agendamento de potência em microrredes com restrições lógicas e incertezas na demanda de potência do usuário, geração de energia solar, preços da eletricidade da rede e eficiências das baterias. A primeira formulação utiliza variáveis binárias e restrições big-M, resultando em um programa linear inteiro misto. A segunda formulação apresenta o problema como um programa não linear contínuo por meio de uma reformulação suave exata das restrições lógicas, composta por variáveis de modelagem adicionais e restrições não convexas. Em seguida, propomos um novo algoritmo de redução local, estendendo um método existente, para resolver ambos os problemas. As duas formulações são comparadas avaliando as soluções retornadas pela redução local usando simulações de Monte Carlo com 100.000 amostras e obtêm resultados promissores, com ambas apresentando taxas de viabilidade médias acima de 90%.
Modelos visão-linguagem-ação (VLA) podem aprender habilidades de manipulação a partir de demonstrações, mas suas capacidades são limitadas pelas habilidades presentes nos dados de treinamento. Apresentamos o InSight, uma estrutura que desbloqueia a aquisição autônoma de habilidades ao tornar os VLAs direcionáveis no nível de ação primitiva (por exemplo, "mover o gripper até a tigela", "levantar para cima", "despejar a garrafa"). O InSight consiste em duas etapas principais: (1) um pipeline de segmentação automatizada que particiona demonstrações em primitivas rotuladas por meio da decomposição de planos do VLM e das poses do efetuador final para permitir a direcionabilidade de primitivas do VLA, e (2) um ciclo de dados guiado por VLM que identifica primitivas ausentes necessárias para realizar uma tarefa nova, tenta autonomamente demonstrações das primitivas ausentes com controle de baixo nível proposto pelo VLM, e rotula, armazena e integra automaticamente demonstrações bem-sucedidas ao conjunto de treinamento do VLA. Avaliamos o InSight em tarefas de manipulação simuladas e do mundo real, incluindo virar blocos, fechar gavetas, varrer, torcer e despejar, sem qualquer demonstração humana dessas habilidades-alvo. Uma vez aprendidas, essas primitivas podem ser compostas para executar tarefas inéditas de longo horizonte sem demonstrações humanas adicionais. Nossos resultados demonstram que a direcionabilidade de primitivas fornece uma base prática para a aquisição contínua de habilidades em políticas VLA. Site do projeto: https://insight-vla.github.io.
A representação por voxels esparsos surgiu como uma base escalável para a geração de imagem para Gaussian Splatting 3D (3DGS), no entanto, os métodos atuais têm dificuldade em preservar detalhes visuais de alta frequência das imagens de entrada devido a dois gargalos estruturais. Primeiro, eles adotam características 2D discriminativas otimizadas para abstração semântica para construir latentes de voxels esparsos, o que suprime pistas reconstrutivas e induz um gargalo de representação. Segundo, no estágio de geração, os transformadores de difusão padrão carecem de mecanismos eficazes para alinhar tokens densos de imagem 2D com latentes esparsos de voxels 3D, resultando em um gargalo de correspondência cross-modal. Para abordar esses problemas, propomos o FLUX3D, uma estrutura escalável de imagem para 3DGS que impulsiona tanto a aprendizagem de representação quanto o alinhamento cross-modal durante a geração. Primeiro, revisamos a seleção de características 2D para aprendizagem de representação 3D baseada em voxels esparsos, propomos os Latentes Estruturados Alinhados por Difusão (DA-SLAT) e os acoplamos a uma arquitetura somente com decodificador para melhorar a fidelidade de reconstrução do 3DGS. Também projetamos uma estrutura de difusão consciente de estrutura esparsa, que integra o Transformador de Difusão Multimodal de Estrutura Esparsa (SMDiT) e a Incorporação Posicional Rotativa Ciente de Modalidade (MARoPE) para alcançar um alinhamento 2D-3D independente de geometria. Extensos experimentos de referência demonstram que o FLUX3D produz melhorias substanciais na fidelidade de aparência e supera significativamente todos os métodos de estado da arte (SOTA) na geração de ativos 3DGS de alta qualidade.
Grandes modelos de linguagem são cada vez mais implantados como agentes que raciocinam sobre documentos, em vez de responderem a partir de conhecimento paramétrico. Estudamos o raciocínio fundamentado em arquivos: localizar evidências esparsas em uma grande e desordenada coleção de arquivos de ambiente de trabalho, conciliando terminologia, unidades e convenções de tempo inconsistentes, e calculando uma resposta. Os benchmarks existentes abordam apenas partes desse cenário e nenhum enfatiza conjuntamente a fundamentação em arquivos, a exploração agentiva e a cobertura entre domínios. Apresentamos o Agora, um benchmark que combina 362 perguntas com oito coleções de domínio de 9.664 documentos autênticos e 372 milhões de tokens, excedendo em muito a janela de contexto de qualquer modelo, de modo que os agentes devem explorar deliberadamente em vez de examinar exaustivamente. O Agora é construído por um pipeline agentivo que combina síntese de tarefas entre documentos, ofuscação para prevenir vazamento e filtragem de dificuldade. Avaliando oito modelos, constatamos que a tarefa está longe de ser resolvida: mesmo o mais forte atinge apenas 59,4% de precisão, com variação notável entre os domínios.
O splatting Gaussiano 3D dinâmico enfrenta uma tensão fundamental entre consistência de movimento e fidelidade visual. Abordagens baseadas em deformação preservam a correspondência temporal, mas sofrem de sobre-fatorização do movimento, suavizando excessivamente as dinâmicas de alta frequência. Em contraste, métodos de primitivas 4D capturam detalhes visuais finos, porém incorrem em sobre-parametrização temporal, quebrando a identidade do objeto e levando a uma sobrecarga severa de armazenamento. Para resolver isso, apresentamos o Multi4D, um framework para splatting Gaussiano dinâmico de alta fidelidade baseado em alocação competitiva multinível. Em vez de uma representação monolítica, distribuímos a capacidade de modelagem em três níveis estruturados: estrutura estática, geometria dinâmica persistente e primitivas de aparência transitória. Através de rasterização compartilhada e otimização orientada por resíduos, esses níveis competem dinamicamente para explicar o erro fotométrico, permitindo especialização adaptativa sem decomposição pré-atribuída. Essa alocação preserva a consistência de movimento de longo prazo enquanto captura detalhes dinâmicos finos, alcançando qualidade de renderização de ponta e desempenho em tempo real com significativamente menos primitivas dinâmicas. Além disso, como nossa representação rastreia explicitamente Gaussianos persistentes compactos ao longo do tempo, características semânticas podem ser incorporadas posteriormente, permitindo que o Multi4D alcance precisão de segmentação 4D de ponta com um aumento de velocidade de uma ordem de grandeza. Página do projeto: https://batfacewayne.github.io/Multi4D.io/