Papers Diários

À medida que agentes baseados em LLMs são cada vez mais implantados em ambientes de borda-nuvem, a memória personalizada tornou-se um habilitador essencial para adaptação de longo prazo e interação centrada no usuário. No entanto, o gerenciamento de memória assistido por nuvem expõe informações sensíveis do usuário, enquanto os métodos existentes de proteção de privacidade geralmente dependem de mascaramento agressivo que remove semântica relevante para a tarefa, degradando assim a utilidade da memória e a qualidade da personalização. Para enfrentar esse desafio, propomos o MemPrivacy, que identifica segmentos sensíveis à privacidade em dispositivos de borda, substitui-os por placeholders semanticamente estruturados e conscientes do tipo para processamento de memória na nuvem e restaura os valores originais localmente quando necessário. Ao dissociar a proteção da privacidade da destruição semântica, o MemPrivacy minimiza a exposição de dados sensíveis, mantendo as informações necessárias para a formação e recuperação eficaz da memória. Também construímos o MemPrivacy-Bench para avaliação sistemática, um conjunto de dados que abrange 200 usuários e mais de 52 mil instâncias de privacidade, e introduzimos uma taxonomia de privacidade de quatro níveis para políticas de proteção configuráveis. Experimentos mostram que o MemPrivacy alcança desempenho robusto na extração de informações de privacidade, superando substancialmente modelos de propósito geral fortes, como GPT-5.2 e Gemini-3.1-Pro, além de reduzir a latência de inferência. Em vários sistemas de memória amplamente utilizados, o MemPrivacy limita a perda de utilidade a menos de 1,6%, superando as estratégias de mascaramento de referência. No geral, o MemPrivacy oferece um equilíbrio eficaz entre proteção de privacidade e utilidade de memória personalizada para agentes de borda-nuvem, permitindo uma implantação segura, prática e transparente para o usuário.

Modelos grandes de visão-linguagem (VLMs) recentes ainda enfrentam uma dicotomia persistente: compreensão e geração são tratadas como problemas distintos, resultando em arquiteturas fragmentadas, pipelines em cascata e espaços de representação desalinhados. Argumentamos que essa divisão não é apenas um artefato de engenharia, mas uma limitação estrutural que dificulta o surgimento de uma inteligência multimodal nativa. Assim, apresentamos o SenseNova-U1, um paradigma multimodal unificado nativo construído sobre o NEO-unify, no qual compreensão e geração evoluem como visões sinérgicas de um único processo subjacente. Lançamos duas variantes unificadas nativas, SenseNova-U1-8B-MoT e SenseNova-U1-A3B-MoT, construídas sobre linhas de base de compreensão densa (8B) e de mistura de especialistas (30B-A3B), respectivamente. Projetados a partir de primeiros princípios, eles rivalizam com VLMs de melhor desempenho exclusivos de compreensão em tarefas de compreensão textual, percepção visão-linguagem, raciocínio baseado em conhecimento, tomada de decisão agentiva e inteligência espacial. Simultaneamente, apresentam forte consistência semântica e fidelidade visual, destacando-se em síntese qualquer-para-imagem (X2I) convencional ou intensiva em conhecimento, geração de infográficos ricos em texto e geração intercalada de visão-linguagem, com ou sem padrões de pensamento. Além do desempenho, detalhamos o design do modelo, o pré-processamento de dados, as estratégias de pré-treinamento, pós-treinamento e inferência para apoiar a pesquisa da comunidade. Por último, mas não menos importante, evidências preliminares demonstram que nossos modelos vão além da percepção e geração, apresentando forte desempenho em cenários de visão-linguagem-ação (VLA) e de modelo de mundo (WM). Isso aponta para um roteiro mais amplo, no qual os modelos não traduzem entre modalidades, mas pensam e agem através delas de forma nativa. A IA multimodal não se trata mais de conectar sistemas separados, mas de construir um sistema unificado e confiar que as capacidades necessárias emergirão de dentro.

Modelos de linguagem de grande escala precisam cada vez mais acumular e reutilizar informações históricas em sistemas de assistentes e agentes de longo prazo. Simplesmente expandir a janela de contexto é custoso e frequentemente falha em garantir a utilização eficaz do contexto. Propomos o δ-mem, um mecanismo de memória leve que aumenta um backbone de atenção total congelado com um estado online compacto de memória associativa. O δ-mem comprime informações passadas em uma matriz de estado de tamanho fixo atualizada por aprendizado de regra delta, e utiliza sua leitura para gerar correções de baixo postos no cálculo de atenção do backbone durante a geração. Com apenas um estado de memória online de 8x8, o δ-mem melhora a pontuação média para 1,10 vezes a do backbone congelado e 1,15 vezes a do baseline de memória não-δ-mem mais forte. Ele obtém ganhos maiores em benchmarks intensivos em memória, alcançando 1,31 vezes no MemoryAgentBench e 1,20 vezes no LoCoMo, enquanto preserva amplamente as capacidades gerais. Esses resultados mostram que uma memória eficaz pode ser realizada por meio de um estado online compacto diretamente acoplado ao cálculo de atenção, sem ajuste fino completo, substituição do backbone ou extensão explícita do contexto.

Treinar agentes de pesquisa profunda, ou seja, sistemas que planejam, buscam, avaliam evidências e sintetizam relatórios extensos, leva o aprendizado por reforço para além do regime de recompensas verificáveis. Suas saídas carecem de respostas de referência, suas trajetórias abrangem muitas decisões aumentadas por ferramentas, e o pós-treinamento padrão oferece pouco mecanismo para transformar tentativas passadas em experiência reutilizável. Neste trabalho, defendemos que rubricas devem servir não apenas como avaliadores de respostas finais, mas como a interface compartilhada que estrutura a execução de políticas, o feedback do juiz e a memória do agente. Com base nessa visão, apresentamos o RubricEM, uma estrutura de aprendizado por reforço guiada por rubricas que combina decomposição gradual de políticas com evolução de metapolítica baseada em reflexão. O RubricEM primeiro torna as trajetórias de pesquisa conscientes de etapas, condicionando planejamento, coleta de evidências, revisão e síntese a rubricas autogeradas. Em seguida, atribui crédito com o GRPO Estruturado por Etapas, que usa julgamentos graduais de rubricas para fornecer feedback semântico mais denso para otimização de longo horizonte. Paralelamente, o RubricEM treina uma metapolítica de reflexão com espinha dorsal compartilhada que destila trajetórias julgadas em orientação reutilizável, baseada em rubricas, para tentativas futuras. O RubricEM-8B resultante alcança desempenho robusto em quatro referências de pesquisa de longo formato, superando modelos abertos comparáveis e se aproximando de sistemas proprietários de pesquisa profunda. Além do desempenho final, realizamos análises aprofundadas para compreender os ingredientes-chave do RubricEM.

Modelos de mundo permitem que agentes antecipem os efeitos de suas ações ao internalizar a dinâmica do ambiente. Em sistemas empresariais, no entanto, essa dinâmica é frequentemente definida por lógicas de negócios específicas do inquilino que variam entre implantações e evoluem ao longo do tempo, tornando modelos treinados em transições históricas frágeis sob mudanças de implantação. Fazemos uma pergunta que a literatura de modelos de mundo não abordou: quando as regras podem ser lidas no momento da inferência, o agente ainda precisa aprendê-las? Argumentamos, e demonstramos empiricamente, que em ambientes onde a dinâmica de transição é configurável e legível, a descoberta em tempo de execução complementa o treinamento offline ao ancorar as previsões na instância ativa do sistema. Propomos agentes de descoberta empresarial, que recuperam a dinâmica de transição relevante em tempo de execução ao ler a configuração do sistema, em vez de depender apenas de representações internalizadas. Introduzimos o CascadeBench, um benchmark focado em raciocínio para previsão de cascatas empresariais que adota a metodologia de avaliação do World of Workflows em diversos ambientes sintéticos, e o utilizamos em conjunto com a avaliação sob mudança de implantação para mostrar que modelos de mundo treinados offline podem ter bom desempenho dentro da distribuição, mas se degradam à medida que a dinâmica muda, enquanto agentes baseados em descoberta são mais robustos sob mudanças ao ancorar suas previsões na instância atual. Nossos achados sugerem que, em ambientes empresariais configuráveis, os agentes não devem depender apenas de dinâmicas internalizadas fixas, mas sim incorporar mecanismos para descobrir a lógica de transição relevante em tempo de execução.

Modelos Visão-Linguagem-Ação (VLA) alcançaram forte generalização semântica para aprendizado de políticas incorporadas, porém aprendem mapeamentos reativos de observação para ação sem modelar explicitamente como o mundo físico evolui sob intervenção. Um conjunto crescente de trabalhos aborda essa limitação integrando modelos de mundo, modelos preditivos da dinâmica ambiental, ao pipeline de geração de ação. Denominamos esse paradigma emergente de Modelos de Ação-Mundo (WAMs): modelos fundamentais incorporados que unificam a modelagem preditiva de estados com a geração de ação, visando uma distribuição conjunta sobre estados e ações futuras, em vez de apenas ações. No entanto, a literatura permanece fragmentada entre arquiteturas, objetivos de aprendizado e cenários de aplicação, carecendo de um arcabouço conceitual unificado. Definimos formalmente os WAMs e os desambiguamos de conceitos relacionados, traçando as bases e a integração inicial das pesquisas em VLA e modelos de mundo que deram origem a esse paradigma. Organizamos os métodos existentes em uma taxonomia estruturada de WAMs em Cascata e Conjuntos, com subdivisão adicional por modalidade de geração, mecanismo de condicionamento e estratégia de decodificação de ação. Analisamos sistematicamente o ecossistema de dados que impulsiona o desenvolvimento dos WAMs, abrangendo teleoperação robótica, demonstrações humanas portáteis, simulação e vídeo egocêntrico em escala da internet, e sintetizamos protocolos de avaliação emergentes organizados em torno de fidelidade visual, senso comum físico e plausibilidade da ação. Em conjunto, este levantamento fornece o primeiro relato sistemático do cenário dos WAMs, esclarece paradigmas arquiteturais chave e suas compensações, e identifica desafios em aberto e oportunidades futuras para este campo em rápida evolução.

O pré-treinamento de Grandes Modelos de Linguagem é frequentemente proibitivamente caro e ineficiente em escala, exigindo modificações complexas e invasivas para alcançar alta taxa de transferência de dados. Neste trabalho, apresentamos o Treinamento por Superposição de Tokens (TST), um método simples de substituição direta que melhora significativamente a taxa de transferência de dados por FLOPs durante o pré-treinamento, sem modificar o paralelismo, o otimizador, o tokenizador, os dados ou a arquitetura do modelo. O TST é realizado em duas fases: (i) uma fase de superposição altamente eficiente, onde combinamos muitos tokens contíguos em um único pacote e treinamos usando um objetivo de entropia cruzada multi-hot (MCE), e (ii) uma fase de recuperação, onde retornamos ao treinamento padrão. Avaliamos extensivamente o TST nas escalas de 270M e 600M parâmetros e validamos em modelos de 3B e um modelo de mistura de especialistas A1B de 10B, demonstrando que ele é altamente robusto em diferentes configurações. Em última análise, o TST supera consistentemente a perda de base e as avaliações downstream, e em configurações de perda igual, o TST proporciona uma redução de até 2,5x no tempo total de pré-treinamento na escala de 10B A1B.

Autoencoders de representação que reutilizam codificadores visuais pré-treinados congelados como tokenizadores visuais alcançaram forte qualidade de reconstrução e geração. No entanto, métodos existentes extraem universalmente características apenas da última camada do codificador, descartando a rica informação hierárquica distribuída entre camadas intermediárias. Mostramos que detalhes visuais de baixo nível sobrevivem na última camada meramente como resíduos atenuados após múltiplas camadas de abstração semântica, e que a fusão explícita de características de múltiplas camadas pode recuperar substancialmente essa informação perdida. Propomos o DRoRAE (Representation AutoEncoder com Roteamento de Profundidade), um módulo de fusão leve que agrega adaptativamente todas as camadas do codificador por meio de roteamento com restrição de energia e correção incremental, produzindo um latente enriquecido compatível com um decodificador pré-treinado congelado. Uma estratégia de treinamento dissociado em três fases primeiro aprende a fusão sob a restrição distribucional implícita do decodificador congelado, então ajusta finamente o decodificador para explorar plenamente a representação enriquecida. No ImageNet-256, o DRoRAE reduz o rFID de 0,57 para 0,29 e melhora o FID de geração de 1,74 para 1,65 (com AutoGuidance), com ganhos também transferíveis para síntese texto-imagem. Além disso, descobrimos uma lei de escala log-linear (R²=0,86) entre capacidade de fusão e qualidade de reconstrução, identificando a riqueza de representação como uma nova dimensão previsivelmente escalável para tokenizadores visuais, análoga ao tamanho do vocabulário em PNL.

Neste artigo, propomos o AlphaGRPO, uma nova estrutura que aplica a Otimização de Política Relativa em Grupo (GRPO) a Modelos Multimodais Unificados de Difusão AR (UMMs) para melhorar as capacidades de geração multimodal sem um estágio adicional de inicialização a frio. Nossa abordagem libera o potencial intrínseco do modelo para realizar tarefas avançadas de raciocínio: Geração de Texto para Imagem com Raciocínio, onde o modelo infere ativamente intenções implícitas do usuário, e Refinamento Autorreflexivo, onde ele diagnostica e corrige autonomamente desalinhamentos nas saídas geradas. Para enfrentar o desafio de fornecer supervisão estável para a geração multimodal do mundo real, introduzimos a Recompensa Verificável Decomposicional (DVReward). Diferentemente de recompensas escalares holísticas, a DVReward utiliza um LLM para decompor solicitações complexas do usuário em questões atômicas, verificáveis, semânticas e de qualidade, que são então avaliadas por um MLLM geral para fornecer feedback confiável e interpretável. Experimentos extensivos demonstram que o AlphaGRPO produz melhorias robustas em benchmarks de geração multimodal, incluindo GenEval, TIIF-Bench, DPG-Bench e WISE, ao mesmo tempo que obtém ganhos significativos em tarefas de edição no GEdit sem treinamento em tarefas de edição. Esses resultados validam que nossa abordagem de reforço autorreflexivo utiliza efetivamente a compreensão inerente para guiar a geração de alta fidelidade. Página do projeto: https://huangrh99.github.io/AlphaGRPO/

O Protocolo de Contexto de Modelos (MCP) unificou a interface entre Modelos de Linguagem de Grande Escala (LLMs) e ferramentas externas, porém ainda persiste uma lacuna fundamental na forma como os agentes conceituam os ambientes nos quais operam. Os paradigmas atuais encontram-se bifurcados: o planejamento em nível de tarefa frequentemente ignora as dinâmicas de tempo de execução, enquanto a execução reativa carece de visão de longo prazo. Apresentamos o MCP-Cosmos, uma estrutura que incorpora Modelos de Mundo (WM) generativos ao ecossistema MCP para viabilizar a automação preditiva de tarefas. Ao unificar três tecnologias distintas — MCP, Modelo de Mundo e Agente — demonstramos que uma estratégia de "Traga Seu Próprio Modelo de Mundo" (BYOWM) permite que os agentes simulem transições de estado e refinem planos em um espaço latente antes da execução. Realizamos experimentos utilizando duas estratégias, ReAct e SPIRAL, com 2 modelos de planejamento e 3 modelos de mundo representativos, em mais de 20 tarefas do MCP-Bench. Observamos melhorias nos KPIs de interação do agente com o ambiente, como taxa de sucesso de ferramentas e precisão de parâmetros de ferramentas. A estrutura também oferece novas métricas, como Qualidade de Execução, para gerar novos insights sobre a eficácia dos modelos de mundo em comparação com a linha de base.

Agentes de Uso de Computador (CUAs) podem atuar tanto por meio de ações atômicas de GUI, como clicar e digitar, quanto por chamadas de ferramentas de alto nível, como operações de arquivos baseadas em API, mas esse espaço de ação híbrido frequentemente os deixa incertos sobre quando continuar com ações de GUI ou alternar para ferramentas, levando a caminhos de execução subótimos. Essa dificuldade decorre da escassez de trajetórias intercaladas de GUI-Ferramenta de alta qualidade, do custo e da fragilidade de coletar trajetórias reais de ferramentas e da falta de supervisão em nível de trajetória para a seleção de caminhos GUI-Ferramenta. Neste artigo, propomos ToolCUA, um agente ponta a ponta projetado para aprender a seleção ótima de caminhos GUI-Ferramenta por meio de um paradigma de treinamento em etapas. Primeiro, introduzimos um Pipeline de Escalonamento de Trajetórias Intercaladas de GUI-Ferramenta que reaproveita abundantes trajetórias estáticas de GUI e sintetiza uma biblioteca de ferramentas fundamentada, possibilitando trajetórias diversas de GUI-Ferramenta sem engenharia manual ou coleta de trajetórias reais de ferramentas. Em seguida, realizamos Tool-Bootstrapped GUI RFT, combinando SFT de aquecimento com RL de turno único para melhorar as decisões em pontos críticos de alternância entre GUI e ferramentas. Finalmente, otimizamos o ToolCUA com RL Agêntica Online em um ambiente de GUI-Ferramenta de alta fidelidade, guiado por uma Recompensa de Caminho com Eficiência de Ferramenta que incentiva o uso adequado de ferramentas e caminhos de execução mais curtos. Experimentos no OSWorld-MCP mostram que ToolCUA atinge 46,85% de acurácia, uma melhoria relativa de aproximadamente 66% em relação à linha de base, estabelecendo um novo estado da arte entre modelos de escala comparável. Ele também melhora em 3,9% em relação às configurações apenas com GUI, demonstrando orquestração eficaz de GUI e ferramentas. Os resultados sugerem ainda que o treinamento em um espaço de ação híbrido é um paradigma promissor para agentes digitais do mundo real. Código aberto disponível em: https://x-plug.github.io/ToolCUA/

Modelos de difusão de pixel recentemente voltaram a atrair atenção para a geração visual. No entanto, treinar modelos avançados de espaço de pixel do zero exige recursos computacionais e de dados proibitivos. Para lidar com isso, propomos o paradigma de transferência Latente-para-Pixel (L2P), uma estrutura eficiente que aproveita diretamente o rico conhecimento de Modelos de Difusão Latente (LDM) pré-treinados para construir modelos poderosos de espaço de pixel. Especificamente, o L2P descarta o VAE em favor da tokenização de grandes patches e congela as camadas intermediárias do LDM de origem, treinando exclusivamente camadas rasas para aprender a transformação latente-para-pixel. Ao utilizar imagens sintéticas geradas por LDM como o único corpus de treinamento, o L2P ajusta uma variedade de dados já suave, permitindo convergência rápida com coleta zero de dados reais. Essa estratégia permite que o L2P migre perfeitamente grandes prioris latentes para o espaço de pixel usando apenas 8 GPUs. Além disso, a eliminação do gargalo de memória do VAE desbloqueia a geração nativa de ultra-alta resolução 4K. Extensos experimentos em arquiteturas LDM convencionais mostram que o L2P incorre em sobrecarga de treinamento insignificante, mas tem desempenho equivalente ao LDM de origem no DPG-Bench e atinge 93% de desempenho no GenEval.

A geração de vídeo autorregressiva visa à síntese em tempo real e de final aberto. No entanto, a narrativa cinematográfica não é meramente a extensão infinita de uma única cena; ela requer o progresso através de eventos em evolução, mudanças de ponto de vista e limites discretos de plano. Os modelos autorregressivos existentes frequentemente têm dificuldade nesse cenário. Treinados principalmente para continuação de curto horizonte, eles tratam sequências longas como planos únicos estendidos, sofrendo inevitavelmente de estagnação de movimento e desvio semântico durante rollouts longos. Para preencher essa lacuna, apresentamos o CausalCine, uma estrutura autorregressiva interativa que transforma a geração de vídeo multiplano em um processo de direção online. O CausalCine gera causalmente através de mudanças de plano, aceita prompts dinâmicos em tempo real e reutiliza contexto sem regenerar planos anteriores. Para isso, primeiro treinamos um modelo base causal em sequências multiplano nativas para aprender transições complexas de plano antes da aceleração. Em seguida, propomos o Roteamento de Memória Sensível ao Conteúdo (CAMR), que recupera dinamicamente entradas KV históricas com base em pontuações de relevância de atenção, em vez de proximidade temporal, preservando a coerência entre planos sob memória ativa limitada. Por fim, destilamos o modelo base causal em um gerador de poucas etapas para geração interativa em tempo real. Experimentos extensos demonstram que o CausalCine supera significativamente as linhas de base autorregressivas e se aproxima da capacidade dos modelos bidirecionais, ao mesmo tempo que desbloqueia a interatividade em streaming da geração causal. Demonstração disponível em https://yihao-meng.github.io/CausalCine/

A busca profunda multimodal exige que um agente resolva problemas de mundo aberto encadeando busca, uso de ferramentas e raciocínio visual sobre um contexto textual e visual em evolução. Dois gargalos limitam os sistemas atuais. Primeiro, as estruturas de uso de ferramentas existentes tratam as imagens retornadas pela busca, navegação ou transformação como saídas transitórias, de modo que evidências visuais intermediárias não podem ser reutilizadas por ferramentas posteriores. Segundo, os dados de treinamento geralmente são construídos por receitas fixas de curadoria que não conseguem acompanhar a capacidade em evolução do agente alvo. Para enfrentar esses desafios, introduzimos primeiro uma estrutura de agente nativa visual centrada em um protocolo de referência de banco de imagens, que registra cada imagem retornada por ferramenta como uma referência endereçável e torna as evidências visuais intermediárias reutilizáveis por ferramentas posteriores. Sobre essa estrutura, a Evolução de Dados On-policy (ODE) executa um gerador de dados em malha fechada que se refina ao longo das rodadas a partir das execuções da política sendo treinada. Esse refinamento por rodada faz com que os dados de cada rodada visem aquilo que a política atual ainda precisa aprender. A mesma estrutura suporta tanto dados diversos de ajuste fino supervisionado quanto curadoria de dados de aprendizado por reforço consciente da política, cobrindo todo o ciclo de treinamento do agente alvo. Em 8 benchmarks de busca profunda multimodal, a ODE melhora o agente Qwen3-VL-8B de 24,9% para 39,0% em média, superando o Gemini-2.5 Pro no cenário padrão de fluxo de trabalho de agente (37,9%). Com 30B, a ODE eleva a pontuação média de 30,6% para 41,5%. Análises adicionais validam a eficácia da reutilização do banco de imagens, especialmente em tarefas complexas que exigem refinamento visual iterativo, enquanto a evolução com feedback de execuções produz traços de SFT mais fundamentados e tarefas de RL mais compatíveis com a política do que a síntese estática.

O raciocínio integrado a ferramentas (TIR) emergiu como um paradigma dominante para a resolução de problemas matemáticos em modelos de linguagem, combinando raciocínio em linguagem natural (LN) com execução de código. No entanto, essa configuração intercalada apresenta três limitações principais: o código frequentemente atua como um verificador post-hoc, os cálculos intermediários em LN são propensos a erros, e a LN e o código desempenham papéis sobrepostos, em vez de claramente distintos. Propomos o ThinC (Pensando em Código), uma estrutura na qual o próprio código serve como raciocinador, em vez de uma ferramenta invocada pela LN. Uma trajetória do ThinC começa com uma breve etapa de planejamento em LN, após a qual todo o raciocínio se desenrola por meio de blocos de código conectados apenas por suas saídas de execução. Destilamos 12,2 mil trajetórias centradas em código a partir de um modelo professor e treinamos o ThinC-1.7B e o ThinC-4B com ajuste fino supervisionado seguido de aprendizado por reforço. O ThinC-4B supera consistentemente todas as linhas de base do TIR em cinco benchmarks matemáticos de nível competitivo e até ultrapassa o modelo muito maior Qwen3-235B-A22B-Thinking. Análises adicionais mostram que o ThinC raciocina por meio de código: 99,2% de suas respostas finais são fundamentadas na saída do interpretador, e o modelo se recupera de forma confiável de falhas de execução de código sem raciocínio intermediário em LN. Nosso código e modelos serão disponibilizados em breve.

Avanços recentes demonstraram que modelos de difusão de vídeo em larga escala podem ser reutilizados como renderizadores neurais, primeiro decompondo vídeos em representações intrínsecas de cena e, em seguida, realizando renderização direta sob nova iluminação. Embora promissor, esse paradigma depende fundamentalmente de uma decomposição intrínseca precisa, o que permanece altamente não confiável para vídeos do mundo real e frequentemente leva a aparências distorcidas, materiais quebrados e artefatos temporais acumulados durante a re-iluminação. Neste trabalho, apresentamos o Relit-LiVE, uma nova estrutura de re-iluminação de vídeo que produz resultados fisicamente consistentes e temporalmente estáveis sem exigir conhecimento prévio da pose da câmera. Nossa ideia central é introduzir explicitamente imagens de referência brutas no processo de renderização, permitindo que o modelo recupere sinais críticos da cena que são inevitavelmente perdidos ou corrompidos em representações intrínsecas. Além disso, propomos uma nova formulação de previsão de vídeo de ambiente que simultaneamente gera vídeos re-iluminados e mapas de ambiente por quadro, alinhados com cada ponto de vista da câmera, em um único processo de difusão. Essa previsão conjunta impõe um forte alinhamento geométrico-iluminação e suporta naturalmente iluminação dinâmica e movimento da câmera, melhorando significativamente a consistência física na re-iluminação de vídeos, ao mesmo tempo que flexibiliza a exigência de pose conhecida da câmera por quadro. Experimentos extensivos demonstram que o Relit-LiVE supera consistentemente os métodos estado da arte de re-iluminação de vídeo e renderização neural em benchmarks sintéticos e do mundo real. Além da re-iluminação, nossa estrutura suporta naturalmente uma ampla gama de aplicações downstream, incluindo renderização em nível de cena, edição de materiais, inserção de objetos e re-iluminação de vídeo em fluxo contínuo. O projeto está disponível em https://github.com/zhuxing0/Relit-LiVE.

O aprendizado por reforço assíncrono melhora o throughput de rollouts para agentes de modelos de linguagem de grande porte ao desacoplar a geração de amostras da otimização da política, mas também introduz um modo crítico de falha para a correção fora da política (off-policy) do tipo PPO. Em sistemas de treinamento heterogêneos, a razão de importância total idealmente deve ser decomposta em dois fatores semanticamente distintos: um termo de discrepância entre treino e inferência, que alinha as distribuições do lado da inferência e do lado do treinamento na mesma versão da política comportamental, e um termo de obsolescência da política, que restringe a atualização da política histórica para a política atual. Mostramos que pipelines assíncronos práticos, com atualizações atrasadas e rollouts parciais, frequentemente perdem os logits históricos necessários do lado do treinamento, ou logits antigos. Esse problema de logits antigos ausentes embaralha a correção da discrepância com a correção da obsolescência, quebra a semântica pretendida da correção desacoplada e faz com que os limiares de clipping e mascaramento interajam de maneira indesejável. Para lidar com essa questão, estudamos rotas de correção exatas e aproximadas. Propomos três estratégias exatas de aquisição de logits antigos: rastreamento de versões baseado em snapshots, um modelo dedicado de logits antigos e sincronização via interrupção parcial de rollouts, e comparamos suas compensações sistêmicas. Do ponto de vista da correção aproximada, focamos em preservar os benefícios da correção desacoplada por meio de uma política aproximada mais adequada quando logits antigos exatos não podem ser recuperados a baixo custo, sem incorrer em sobrecarga adicional do sistema. Seguindo essa análise, adotamos um método PPO-EWMA revisado, que obtém ganhos significativos tanto na velocidade de treinamento quanto no desempenho da otimização. Código disponível em: https://github.com/millioniron/ROLL.

Agentes LLM que utilizam ferramentas falham através de trajetórias, e não apenas nas respostas finais, pois podem executar chamadas de ferramentas inseguras, seguir instruções injetadas, cumprir solicitações prejudiciais ou recusar excessivamente tarefas benignas, apesar de produzirem uma resposta aparentemente segura. Os sinais existentes de alinhamento de segurança são em grande parte ao nível da resposta ou fora da política, e frequentemente incorrem num compromisso segurança-utilidade: melhorar a segurança do agente ocorre à custa de uma degradação do desempenho da tarefa. Tais recompensas esparsas e de objetivo único limitam severamente a usabilidade no mundo real. Para colmatar esta lacuna, propomos FATE, uma estrutura autoevolutiva on-policy que transforma falhas pontuadas por verificadores em supervisão de reparação sem demonstrações de especialistas. Para cada falha, a mesma política propõe candidatos de reparação, que são então reavaliados por verificadores e filtrados em termos de segurança, utilidade, controlo de recusa excessiva e validade da trajetória. Esta informação densa ao nível da trajetória é então usada como sinal de supervisão para a autoevolução do agente. Durante este processo, introduzimos ainda a Otimização de Política de Fronteira de Pareto (PFPO), combinando aquecimento supervisionado com otimização de política sensível a Pareto para preservar os compromissos segurança-utilidade. Experiências em AgentDojo, AgentHarm e ATBench mostram que a FATE melhora a segurança em diferentes modelos e escalas, preservando simultaneamente o comportamento útil. Comparada com linhas de base sólidas, a FATE reduz a taxa de sucesso de ataque em 33,5%, a conformidade prejudicial em 82,6% e melhora o diagnóstico externo de segurança de trajetórias em 6,5%. Estes resultados sugerem que trajetórias falhadas podem fornecer supervisão de reparação estruturada para agentes autoevolutivos mais seguros.

Os contínuos avanços na capacidade dos modelos de linguagem permitiram sua ampla utilização como impulsionadores de agentes autônomos, por exemplo, em aplicações de codificação ou uso de computadores. No entanto, o núcleo desses sistemas não mudou muito desde os primeiros modelos ajustados por instruções, como o ChatGPT. Mesmo agentes de IA avançados funcionam com base em formatos de troca de mensagens, trocando sucessivamente mensagens com usuários, sistemas, consigo mesmos (ou seja, cadeia de pensamento) e ferramentas em um único fluxo de computação. Esse gargalo em um único fluxo nos modelos de chat leva a uma série de limitações: o agente não pode agir (gerar saída) enquanto lê e, inversamente, não pode reagir a novas informações enquanto escreve. Da mesma forma, o agente não pode agir enquanto pensa e não pode pensar enquanto lê ou age com base em informações. Neste trabalho, mostramos que os modelos podem ser desbloqueados ao alternar do ajuste por instruções para formatos sequenciais de mensagens para o ajuste por instruções para múltiplos fluxos paralelos de computação, dividindo cada função em um fluxo separado. Cada passagem direta do modelo de linguagem, então, lê simultaneamente de múltiplos fluxos de entrada e gera tokens em múltiplos fluxos de saída, todos dependendo causalmente de etapas temporais anteriores. Argumentamos que essa mudança orientada por dados corrige várias limitações de usabilidade, conforme delineado acima, melhora a eficiência do modelo por meio da paralelização, melhora a segurança do modelo por meio de uma melhor separação de preocupações e pode ainda melhorar a monitorabilidade do modelo.

A aprendizagem por reforço com recompensas verificáveis (RLVR) para Modelos de Raciocínio de Grande Escala depende da estimativa de linha de base para redução de variância, mas as abordagens existentes pagam um preço alto: PPO requer um crítico na escala do modelo de política, enquanto GRPO precisa de múltiplos rollouts por prompt para manter sua média empírica de grupo estável. Apresentamos a Otimização de Política com Estimativa de Valor de Estados Internos (POISE), que obtém uma linha de base a um custo negligenciável, utilizando sinais internos do modelo de política já computados durante o passo direto da política. Uma sonda leve prevê a recompensa verificável esperada a partir dos estados ocultos do prompt e da trajetória gerada, bem como estatísticas de entropia de tokens, e é treinada online em conjunto com a política. Para preservar a imparcialidade do gradiente apesar do uso de características condicionadas pela trajetória, introduzimos uma construção de rollouts cruzados que prevê o valor de cada rollout a partir dos estados internos de um rollout independente. Como o POISE estima o valor do prompt utilizando apenas um único rollout, ele permite maior diversidade de prompts para um orçamento computacional fixo durante o treinamento. Isso reduz a variância do gradiente para uma aprendizagem mais estável e também elimina a sobrecarga computacional dos custos de amostragem para detectar prompts de vantagem zero. Nos benchmarks de raciocínio matemático do Qwen3-4B e DeepSeek-R1-Distill-Qwen-1.5B, o POISE iguala o DAPO enquanto requer menos computação. Além disso, seu estimador de valor apresenta desempenho semelhante ao de um modelo de valor separado na escala de LLM e generaliza para várias tarefas verificáveis. Ao aproveitar as próprias representações internas do modelo, o POISE permite uma otimização de política mais estável e eficiente.

Modelos de mundo, que são representações preditivas de como os ambientes evoluem sob ações, tornaram-se um componente central da aprendizagem de robôs. Eles apoiam a aprendizagem de políticas, planejamento, simulação, avaliação, geração de dados e avançaram rapidamente com o surgimento de modelos fundamentais e geração de vídeo em larga escala. No entanto, a literatura permanece fragmentada entre arquiteturas, papéis funcionais e domínios de aplicação incorporados. Para preencher essa lacuna, apresentamos uma revisão abrangente dos modelos de mundo sob uma perspectiva de aprendizagem de robôs. Examinamos como os modelos de mundo são acoplados às políticas de robôs, como servem como simuladores aprendidos para aprendizado por reforço e avaliação, e como os modelos de mundo de vídeo robótico progrediram da geração baseada em imaginação para formulações controláveis, estruturadas e em escala fundamental. Conectamos ainda essas ideias à navegação e direção autônoma, e resumimos conjuntos de dados representativos, benchmarks e protocolos de avaliação. No geral, esta pesquisa revisa sistematicamente a literatura em rápido crescimento sobre modelos de mundo para aprendizagem de robôs, esclarece paradigmas e aplicações-chave, e destaca principais desafios e direções futuras para modelagem preditiva em agentes incorporados. Para facilitar o acesso contínuo a novos trabalhos, benchmarks e recursos emergentes, manteremos e atualizaremos regularmente o repositório GitHub complementar a esta pesquisa.

Apresentamos o SeePhys Pro, um benchmark de transferência de modalidade de granularidade fina que investiga se os modelos preservam a mesma capacidade de raciocínio quando informações críticas são progressivamente transferidas do texto para a imagem. Diferentemente dos benchmarks padrão centrados em visão que avaliam uma única forma de entrada, o SeePhys Pro apresenta quatro variantes semanticamente alinhadas para cada problema, com elementos visuais progressivamente crescentes. Nossa avaliação mostra que os modelos de fronteira atuais estão longe de serem raciocinadores invariantes à representação: o desempenho médio diminui à medida que a informação se desloca da linguagem para diagramas, sendo a ancoragem de variáveis visuais o gargalo mais crítico. Motivados por essa fragilidade em tempo de inferência, desenvolvemos ainda grandes corpora de treinamento para RLVR multimodal e usamos treinamento cego como controle de diagnóstico, constatando que o RL com todas as imagens de treinamento mascaradas ainda pode melhorar o desempenho em conjuntos de validação sem máscara. Para analisar esse efeito, controles de exclusão de texto, taxa de máscara de imagem e saturação de formato sugerem que tais ganhos podem surgir de pistas textuais e distribucionais residuais, em vez de evidências visuais válidas. Nossos resultados destacam a necessidade de avaliar o raciocínio multimodal não apenas pela precisão da resposta final, mas também pela robustez sob transferência de modalidade e por diagnósticos que testem se as melhorias dependem de evidências visuais críticas para a tarefa.

Aprender com a experiência passada beneficia-se de duas formas complementares de memória: traços episódicos — trajetórias brutas do que aconteceu — e abstrações consolidadas, destiladas em múltiplos episódios em lições reutilizáveis, semelhantes a esquemas. Sistemas recentes de memória agentiva buscam a forma consolidada: um LLM reescreve trajetórias passadas em um banco de memória textual que atualiza continuamente com novas interações, prometendo agentes de autoaperfeiçoamento sem atualizações de parâmetros. No entanto, descobrimos que essas memórias consolidadas produzidas pelos LLMs atuais são frequentemente defeituosas, mesmo quando derivadas de experiências úteis. Conforme a consolidação avança, a utilidade da memória primeiro aumenta, depois se degrada e pode cair abaixo da linha de base sem memória. Mais surpreendentemente, mesmo ao consolidar a partir de soluções verdadeiras, o GPT-5.4 falha em 54% de um conjunto de problemas ARC-AGI que havia resolvido anteriormente sem memória. Atribuímos a regressão à etapa de consolidação, e não à experiência subjacente: as mesmas trajetórias produzem memórias qualitativamente diferentes sob diferentes cronogramas de atualização, e um controle apenas episódico que simplesmente retém essas trajetórias permanece competitivo com os consolidadores que testamos. Em um ambiente controlado ARC-AGI Stream que expõe ações de Reter, Excluir e Consolidar, os agentes preservam episódios brutos por padrão e dobram a precisão de suas contrapartes de consolidação forçada; desabilitar a consolidação completamente (apenas gerenciamento episódico) iguala esse regime automático. Na prática, uma memória robusta de agente deve tratar episódios brutos como evidência de primeira classe e controlar a consolidação explicitamente, em vez de acioná-la após cada interação. Olhando para o futuro, uma memória agentiva confiável exigirá LLMs que possam consolidar sem sobrescrever as evidências das quais dependem.

A percepção visual conecta a compreensão semântica de alto nível à percepção em nível de pixel, mas a maioria das configurações existentes assume que a evidência decisiva para identificar um alvo já está na imagem ou no conhecimento congelado do modelo. Estudamos um caso de mundo aberto mais prático, porém mais difícil, onde um objeto visível deve primeiro ser resolvido a partir de fatos externos, eventos recentes, entidades de cauda longa ou relações de múltiplos saltos antes que possa ser localizado. Formalizamos esse desafio como Pesquisa Profunda de Percepção e apresentamos o WebEye, um benchmark ancorado em objetos com evidências verificáveis, consultas intensivas em conhecimento, anotações precisas de caixas/máscaras e três visões de tarefa: Fundamentação Baseada em Busca, Segmentação Baseada em Busca e VQA Baseado em Busca. O WebEye contém 120 imagens, 473 instâncias de objetos anotados, 645 pares de QA únicos e 1.927 amostras de tarefas. Propomos ainda o Pixel-Searcher, um fluxo de trabalho agêntico de busca até o pixel que resolve identidades ocultas de alvos e as vincula a caixas, máscaras ou respostas fundamentadas. Experimentos mostram que o Pixel-Searcher atinge o melhor desempenho de código aberto em todas as três visões de tarefa, enquanto as falhas surgem principalmente da aquisição de evidências, resolução de identidade e vinculação de instâncias visuais.

Agentes de uso de computador (CUAs) automatizam trabalhos em tela, como ilustrado pelo GPT-5.4 e Claude. No entanto, sua confiabilidade em interações complexas e de baixa frequência ainda é baixa, limitando a confiança do usuário. Nossa análise de casos de falha de modelos avançados sugere um padrão de cauda longa nas operações de GUI, em que uma fração relativamente pequena de interações complexas e diversas é responsável por uma parcela desproporcional das falhas de tarefa. Hipotetizamos que esse problema decorre, em grande parte, da escassez de dados para interações complexas. Para abordar essa questão, propomos um novo benchmark, CUActSpot, para avaliar as capacidades dos modelos em interações complexas em cinco modalidades: GUI, texto, tabela, tela e imagem natural, bem como uma variedade de ações (clique, arrastar, desenhar, etc.), abrangendo uma gama mais ampla de tipos de interação do que benchmarks anteriores centrados em cliques, que focam principalmente em widgets de GUI. Também projetamos um pipeline de síntese de dados baseado em renderizador: cenas são automaticamente geradas para cada modalidade, capturas de tela e coordenadas de elementos são registradas, e um LLM produz instruções e traços de ação correspondentes. Após treinamento nesse corpus, nosso Phi-Ground-Any-4B supera modelos de código aberto com menos de 32B parâmetros. Disponibilizaremos nosso benchmark, dados, código e modelos em https://github.com/microsoft/Phi-Ground.git.

Modelos de linguagem de grande escala (LLMs) são treinados para tarefas subsequentes por meio da atualização de seus parâmetros (por exemplo, via RL). No entanto, a atualização dos parâmetros os força a absorver informações específicas da tarefa, o que pode resultar em esquecimento catastrófico e perda de plasticidade. Em contraste, o aprendizado em contexto com parâmetros fixos do LLM pode se adaptar de forma econômica e rápida a requisitos específicos de tarefas (por exemplo, otimização de prompt), mas, por si só, geralmente não consegue igualar os ganhos de desempenho obtidos com a atualização dos parâmetros do LLM. Não há uma boa razão para restringir o aprendizado a ser contextual ou baseado em pesos. Além disso, os humanos também provavelmente aprendem em diferentes escalas de tempo (por exemplo, Sistema 1 vs 2). Para tanto, introduzimos uma estrutura de aprendizado rápido-lento para LLMs, com parâmetros do modelo como pesos "lentos" e contexto otimizado como pesos "rápidos". Esses pesos "rápidos" podem aprender com feedback textual para absorver informações específicas da tarefa, enquanto permitem que os pesos lentos permaneçam mais próximos do modelo base e persistam em comportamentos gerais de raciocínio. O Treinamento Rápido-Lento (Fast-Slow Training, FST) é até 3 vezes mais eficiente em termos de amostras do que apenas o aprendizado lento (RL) em tarefas de raciocínio, alcançando consistentemente uma assíntota de desempenho mais alta. Além disso, os modelos treinados com FST permanecem mais próximos do LLM base (até 70% menos divergência KL), resultando em menos esquecimento catastrófico do que o treinamento com RL. Essa deriva reduzida também preserva a plasticidade: após o treinamento em uma tarefa, os modelos treinados com FST se adaptam mais efetivamente a uma tarefa subsequente do que os modelos treinados apenas com parâmetros. Em cenários de aprendizado contínuo, onde os domínios das tarefas mudam dinamicamente, o FST continua adquirindo cada nova tarefa enquanto o RL baseado apenas em parâmetros estagna.

Estruturas de codificação como Claude Code e OpenHands envolvem modelos de base com ferramentas, memória e planejamento, mas não existe equivalente para a tomada de decisão com horizonte longo e observabilidade parcial de agentes incorporados. Primeiramente, relatamos nossos experimentos Gemini Plays Pokemon (GPP). Com refinamento iterativo da estrutura com intervenção humana no circuito, o GPP tornou-se o primeiro sistema de IA a completar Pokemon Blue, Yellow Legacy no modo difícil e Crystal sem derrotas. Nas fases mais difíceis, o próprio agente começou a iterar sobre sua estratégia por meio de memória de contexto longo, revelando sinais emergentes de autoaperfeiçoamento juntamente com o refinamento com intervenção humana. O Continual Harness remove completamente o humano desse circuito: uma estrutura autoaperfeiçoável sem reset para agentes incorporados que formaliza e automatiza o que observamos. Partindo apenas de uma interface mínima de ambiente, o agente alterna entre agir e refinar seu próprio prompt, subagentes, habilidades e memória, utilizando quaisquer dados de trajetórias passadas. Métodos de otimização de prompt exigem resets de episódio; o Continual Harness se adapta online em uma única execução. Em Pokemon Red e Emerald, em modelos de fronteira, o Continual Harness partindo do zero reduz substancialmente o custo de pressionamento de botão em relação à linha de base minimalista e recupera a maior parte da diferença para uma estrutura especialista projetada manualmente, com ganhos dependentes da capacidade, apesar de partir da mesma interface bruta, sem conhecimento selecionado, ferramentas artesanais ou arcabouço de domínio. Em seguida, fechamos o circuito com o próprio modelo: um ciclo de co-aprendizagem de processo-recompensa online, no qual as execuções de um agente de código aberto através da estrutura de refinamento são reetiquetadas por um professor de fronteira e usadas para atualizar o modelo, impulsionando progresso sustentado em marcos do jogo em Pokemon Red sem resetar o ambiente entre as iterações de treinamento.

A marcação d'água para grandes modelos de linguagem (LLMs) é uma abordagem promissora para detectar texto gerado por LLMs e permitir uma implantação responsável. No entanto, os métodos existentes de marcação d'água são frequentemente vulneráveis a ataques semanticamente invariantes, como a paráfrase. Propomos o PASA, um algoritmo de marcação d'água robusto, sem distorção e baseado em princípios, que incorpora e detecta uma marca d'água no nível semântico. O PASA opera em aglomerados semânticos em um espaço de embeddings latentes e constrói uma dependência distribucional entre sequências de tokens e auxiliares por meio de aleatoriedade compartilhada sincronizada por uma chave secreta e histórico semântico. Este design é fundamentado em nosso arcabouço teórico que caracteriza um par embedding-detecção conjuntamente ótimo, alcançando as compensações fundamentais entre precisão de detecção, robustez e distorção. Avaliações em múltiplos LLMs e ataques semanticamente invariantes demonstram que o PASA permanece robusto mesmo sob fortes ataques de paráfrase, preservando alta qualidade de texto, superando as linhas de base padrão do espaço de vocabulário. Estudos de ablação validam ainda mais a eficácia de nossas escolhas de hiperparâmetros. Página web: https://ai-kunkun.github.io/PASA_page/.

A computação em loop mostra-se promissora para melhorar o desempenho orientado a raciocínio de LLMs ao escalar a computação em tempo de teste. No entanto, abordagens existentes geralmente exigem treinar modelos recorrentes do zero ou aplicar adaptações disruptivas, o que envolve custos computacionais substanciais e pode comprometer capacidades pré-treinadas. Para lidar com essas limitações, introduzimos o Looped Depth Up-Scaling (LoopUS), um framework pós-treinamento que converte um LLM padrão pré-treinado em uma arquitetura em loop. Como principal contribuição técnica, o LoopUS reformula o LLM pré-treinado em um codificador, um bloco de raciocínio em loop e um decodificador. Ele operacionaliza essa arquitetura de refinamento latente por meio de quatro componentes centrais: (1) decomposição em blocos, guiada por dinâmicas de representação em estágios; (2) uma porta seletiva dependente da entrada para mitigar a deriva do estado oculto; (3) supervisão profunda aleatória para aprendizado eficiente em termos de memória em horizontes recursivos longos; e (4) uma cabeça de confiança para saída antecipada adaptativa. Coletivamente, esses mecanismos transformam um modelo padrão não em loop em uma forma em loop, estabilizando-o contra gargalos computacionais e colapso de representação. Por meio de um loop latente estável, o LoopUS melhora o desempenho orientado a raciocínio sem estender os traços gerados ou exigir treinamento recorrente do zero. Para mais detalhes, consulte https://thrillcrazyer.github.io/LoopUS

A recuperação de código baseada em embeddings frequentemente sofre quando os codificadores se ajustam excessivamente à sintaxe superficial. Trabalhos anteriores mitigam esse problema utilizando LLMs para reformular consultas e corpora em um estilo normalizado, mas deixam duas questões em aberto: quanta mudança representacional é útil e quando a chamada de LLM por consulta é justificada? Estudamos uma hierarquia de três estratégias de reformulação: reformulação estilística, Pseudocódigo enriquecido com LN e transcrição completa em Linguagem Natural, sob aumento conjunto consulta-corpus (QC, online) e apenas corpus (C, offline), em seis benchmarks CoIR, cinco codificadores e três reformuladores abrangendo famílias de modelos independentes (Qwen, DeepSeek, Mistral). Somos os primeiros a avaliar Pseudocódigo enriquecido com LN e Linguagem Natural em nível de trecho como representações diretas de recuperação, em vez de intermediários transitórios. A reformulação completa em LN com QC produz os maiores ganhos (+0,51 de NDCG@10 absoluto no CT-Contest para MoSE-18), enquanto a reformulação apenas no corpus degrada a recuperação em 56 de 90 configurações, cerca de 62%. Introduzimos dois diagnósticos, Delta H (entropia de tokens) e Delta s (cosseno de embeddings), e mostramos que Delta H prevê o ganho de recuperação sob QC nas três famílias de reformuladores: rho de Spearman agrupado = +0,436, p < 0,001 no DeepSeek+Codestral; rho = +0,593 apenas no Codestral; rho = +0,356 no Qwen. Isso estabelece Delta H como um proxy barato e independente do reformulador para decidir quando a reformulação compensa antes de executar a recuperação. Nossa análise reformula a reformulação com LLM como uma decisão de custo-benefício: é mais eficaz como uma camada de remediação para codificadores leves em consultas dominadas por código, com retornos decrescentes para codificadores fortes ou consultas pesadas em LN.

Em contextos onde os dados de treinamento verificáveis e rotulados constituem a restrição limitante, cada exemplo verificado deve ser alocado cuidadosamente. A prática padrão é utilizar esses dados diretamente no modelo que será implantado, por exemplo, executando GRPO no estudante de implantação. Argumentamos que isso frequentemente representa uma alocação ineficiente, pois desconsidera um princípio de densidade de recompensa: recompensas esparsas em nível de sequência devem treinar modelos onde a exploração é produtiva, enquanto recompensas densas do professor em nível de token devem ser usadas quando o objetivo é comprimir o comportamento em um modelo menor. Nessa perspectiva, RL esparsa no estilo GRPO e supervisão densa do professor no estilo OPD não são receitas separadas; são regimes diferentes de densidade de recompensa. A regra de alocação é simples: use dados rotulados escassos upstream no modelo mais forte que possa transformá-los em comportamento moldado por recompensa e, em seguida, transfira esse comportamento downstream como supervisão densa. Avaliamos essa regra em matemática verificável com modelos Qwen3 e Llama. Com um tamanho fixo de estudante de implantação Qwen3-1.7B, um professor de 8B melhorado por RL destilado por meio da ponte densa supera o GRPO direto no mesmo estudante, enquanto a transferência do mesmo professor antes da RL apresenta desempenho inferior. A ponte é importante: um aquecimento com forward-KL nas rolagens do professor seguido por OPD nas rolagens do estudante é consistentemente o mais forte no MATH antes de qualquer RL esparsa pós-ponte no lado do estudante, e também fornece os melhores endpoints pré-Estágio 3 do AIME para os professores canônicos de 8B/14B. A ponte também torna eficaz a RL esparsa posterior no lado do estudante: o GRPO, que é fraco em um estudante frio, eleva o MATH de 75,4% para 78,5% após a ponte e supera um controle de repetição correspondente em 2,8 pontos. O princípio operacional é evitar o uso de dados rotulados escassos na política menos preparada: use recompensa esparsa para descoberta no lado do professor, transferência densa para compressão do estudante e recompensa esparsa no lado do estudante apenas após a ponte.

Intenção maliciosa oculta em diálogos de múltiplas voltas representa uma ameaça crescente para modelos de linguagem de grande escala (LLMs) implantados. Em vez de expor um objetivo prejudicial em um único prompt, atacantes cada vez mais capazes podem distribuir sua intenção ao longo de várias voltas aparentemente benignas. Estudos recentes mostram que mesmo modelos comerciais modernos com salvaguardas avançadas permanecem vulneráveis a tais ataques, apesar dos avanços no alinhamento de segurança e nas salvaguardas externas. Neste trabalho, abordamos esse desafio detectando a primeira volta na qual entregar a resposta candidata tornaria a interação acumulada suficiente para possibilitar uma ação prejudicial. Esse objetivo requer uma intervenção precisa ao nível da volta, que identifique o ponto de encerramento que permite o dano, evitando ao mesmo tempo a recusa prematura de conversas exploratórias benignas. Para apoiar ainda mais o treinamento e a avaliação, construímos o Conjunto de Dados de Intenção em Múltiplas Voltas (MTID), que contém rollouts de ataques ramificados, exemplos negativos difíceis benignos emparelhados e anotações das primeiras voltas que permitem dano. Mostramos que o MTID ajuda a viabilizar um monitor ao nível da volta, o TurnGate, que supera substancialmente as linhas de base existentes na detecção de intenção prejudicial, mantendo baixas taxas de recusa excessiva. O TurnGate ainda generaliza entre domínios, pipelines de ataque e modelos-alvo. Nosso código está disponível em https://github.com/Graph-COM/TurnGate.

Representações baseadas em modelos recentemente se destacam como uma estrutura promissora que incorpora informações latentes de dinâmica nas representações para o aprendizado ator-crítico fora da política descendente. Elas combinam implicitamente as vantagens das abordagens livres de modelo e baseadas em modelo, evitando os custos de treinamento associados aos métodos baseados em modelo. No entanto, os métodos existentes de representação baseada em modelo podem falhar em capturar informações suficientes sobre variáveis relevantes e podem sofrer de superajuste às experiências iniciais no buffer de repetição. Isso gera viés na representação e no aprendizado ator-crítico, resultando em desempenho inferior. Para lidar com isso, propomos o algoritmo DR.Q (Representações Baseadas em Modelos com Viés Reduzido para Q-learning). O DR.Q maximiza explicitamente a informação mútua entre as representações do par estado-ação atual e o próximo estado, além de minimizar seus desvios, e amostra transições com repetição de experiência priorizada com atenuação. Avaliamos o DR.Q em diversos benchmarks de controle contínuo com um único conjunto de hiperparâmetros, e os resultados demonstram que o DR.Q pode igualar ou superar linhas de base fortes recentes, às vezes superando-as por uma margem significativa. Nosso código está disponível em https://github.com/dmksjfl/DR.Q.

Agentes autônomos amadureceram rapidamente como executores de tarefas e têm sido amplamente implantados por meio de plataformas como OpenClaw. Preocupações com segurança têm, com razão, atraído crescente atenção da pesquisa, e por trás delas estão os valores que silenciosamente orientam o comportamento dos agentes. No entanto, os benchmarks de valores existentes permanecem restritos a LLMs, deixando os valores dos agentes em grande parte inexplorados. De pontos de vista intuitivos, empíricos e teóricos, mostramos que os valores de um agente divergem dos de seu LLM subjacente, e a modalidade agêntica introduz adicionalmente desafios em nível de conjunto de dados, avaliação e sistema, ausentes em protocolos exclusivamente textuais. Para preencher essa lacuna, apresentamos o Agent-ValueBench, o primeiro benchmark dedicado a valores de agentes. Ele conta com 394 ambientes executáveis em 16 domínios, oferecendo 4.335 tarefas de conflito de valores que abrangem 28 sistemas de valores e 332 dimensões. Cada instância é co-sintetizada por meio de nosso pipeline de ponta a ponta desenvolvido para esse fim e curada por instância por psicólogos profissionais. Cada tarefa vem com duas trajetórias douradas alinhadas aos polos, cujos pontos de verificação ancoram um juiz baseado em rubrica em nível de trajetória. Ao avaliar 14 modelos de fronteira, proprietários e de pesos abertos, em 4 plataformas principais, descobrimos três resultados convergentes. Os valores dos agentes manifestam-se primeiro como uma Maré de Valores de homogeneidade entre modelos, abaixo de contracorrentes interpretáveis. Essa maré se curva de forma não aditiva sob a atração da plataforma, e ainda mais decisivamente sob direcionamento deliberado por meio de habilidades incorporadas. Em conjunto, esses resultados sinalizam que a alavanca de alinhamento do agente está se deslocando do alinhamento clássico de modelos e do direcionamento por prompt para o alinhamento de plataforma e o direcionamento por habilidades.

Agentes baseados em LLMs operam cada vez mais em ambientes persistentes, onde precisam armazenar, atualizar e raciocinar sobre informações ao longo de múltiplas sessões. Enquanto benchmarks anteriores avaliam apenas atualizações de entidades únicas, o MEME define seis tarefas que abrangem todo o espaço definido pelos eixos de múltiplas entidades e evolução, incluindo três não avaliadas por trabalhos anteriores: Cascata e Ausência (raciocínio de dependência) e Exclusão (estado pós-remoção). Avaliando seis sistemas de memória, abrangendo três paradigmas de memória, em 100 episódios controlados, constatamos que todos os sistemas colapsam no raciocínio de dependência sob a configuração padrão (Cascata: 3%, Ausência: 1% em acurácia média), apesar do desempenho adequado em recuperação estática. Otimização de prompt, recuperação mais profunda, redução de ruído de preenchimento e a maioria dos LLMs mais fortes não conseguem eliminar essa lacuna. Apenas um agente baseado em arquivos, emparelhado com Claude Opus 4.7 como seu LLM interno, elimina parcialmente a lacuna, mas a um custo ~70 vezes maior que o da linha de base, indicando que a eliminação depende atualmente de configurações que não são práticas em escala. Código e dados estão disponíveis na página do projeto: https://seokwonjung-jay.github.io/meme-eval/.

Investigamos as origens das ativações massivas em modelos de linguagem de grande porte (LLMs) e identificamos uma camada específica denominada Camada de Emergência Massiva (CEM), que é consistentemente observada em diferentes famílias de modelos, onde as ativações massivas emergem pela primeira vez e subsequentemente se propagam para camadas mais profundas por meio de conexões residuais. Mostramos que, dentro da camada CEM, tanto os parâmetros da RMSNorm quanto os da FFN contribuem conjuntamente para o surgimento das ativações massivas. Uma vez formada, a representação do token de ativação massiva permanece amplamente invariante entre as camadas, reduzindo a diversidade das representações ocultas passadas ao módulo de atenção. Motivados por essa limitação, propomos um método simples e eficaz para reduzir a rigidez do token de ativação massiva. Nossa abordagem melhora consistentemente o desempenho dos LLMs em diversas tarefas, incluindo seguimento de instruções e raciocínio matemático, tanto em contextos livres de treinamento quanto de ajuste fino. Além disso, mostramos que nosso método mitiga os sumidouros de atenção ao enfraquecer seletivamente sua influência, elucidando sua origem no nível de estado oculto e lançando nova luz sobre estratégias de mitigação baseadas em princípios.

Argumentamos que a evolução multiagente em tempo de teste não é a evolução de um único agente replicada N vezes. Um aprendiz de agente único pode evoluir apenas seu próprio contexto e memória. Um sistema multiagente adicionalmente evolui quem colabora, como colaboram e como o conhecimento flui pela população. Esses componentes não possuem contrapartida em agentes únicos e podem produzir fenômenos como especialização emergente. No entanto, métodos anteriores de tempo de teste ou confinam as experiências a agentes individuais, abrindo mão da aprendizagem entre agentes, ou as transmitem simetricamente a todos os agentes, apagando a especialização que torna a colaboração valiosa. Apresentamos o EVOCHAMBER, uma estrutura livre de treinamento que instancia a evolução em tempo de teste em três níveis sobre um conjunto de agentes coevoluindo. Em seu núcleo está o CODREAM (Sonho Colaborativo), um protocolo pós-tarefa acionado por falhas ou discordância na equipe, no qual os agentes refletem colaborativamente, destilam insights e os roteiam assimetricamente de agentes fortes para fracos no nicho em que falharam, preservando a especialização enquanto preenchem lacunas de conhecimento. Operadores em nível de equipe montam equipes condicionadas ao nicho e selecionam estruturas de colaboração online. Operadores de ciclo de vida em nível populacional bifurcam, mesclam, podam e semeiam agentes sob pressão de desempenho. Em três fluxos de tarefas heterogêneos com Qwen3-8B, o EVOCHAMBER atinge 63,9% em matemática competitiva, 75,7% em código e 87,1% em raciocínio multidisciplinar, superando a melhor linha de base em 32% relativo em matemática e confirmando a transferência assimétrica entre agentes como o principal motor em análise de ablação. Partindo de vários agentes inicializados de forma idêntica, quatro a cinco especialistas estáveis de nicho surgem espontaneamente, uma assinatura estrutural da evolução multiagente que nenhum aprendiz de agente único pode expressar. Veja nosso código em: https://github.com/Mercury7353/EvoChamber

O aprendizado por reforço (RL) tem alcançado sucesso notável no raciocínio de LLMs, mas ainda é uma questão em aberto se ele também pode melhorar a recordação direta de conhecimento paramétrico. Estudamos esta questão em um ambiente controlado de resposta a perguntas (QA) zero-shot, de um salto e em livro fechado, sem cadeia de pensamento, treinando apenas com recompensas binárias de acerto e aplicando deduplicação treino-teste em nível de fato para garantir que os ganhos reflitam melhora na recordação, e não raciocínio ou memorização. Em três famílias de modelos e múltiplos benchmarks de QA factual, RL produz ganhos relativos médios de ~27%, superando tanto as linhas de base de treinamento quanto de inferência. Mecanicamente, RL redistribui principalmente a massa de probabilidade sobre o conhecimento existente, em vez de adquirir novos fatos, movendo respostas corretas da cauda de baixa probabilidade para gerações gulosas confiáveis. Nosso estudo de atribuição de dados revela que os exemplos mais difíceis são os mais informativos: aqueles cujas respostas nunca aparecem em 128 amostras pré-RL (apenas ~18% dos dados de treinamento) impulsionam ~83% do ganho, já que amostras corretas raras ainda emergem durante o treinamento e são reforçadas. Juntos, esses achados ampliam o papel do RL além do raciocínio, reposicionando-o como uma ferramenta para desbloquear, em vez de adquirir, conhecimento paramétrico latente.

Ao adaptar um codificador a um novo domínio, a abordagem padrão é continuar o treinamento com Modelagem de Linguagem Mascarada (MLM). Mostramos que alternar temporariamente para a Modelagem de Linguagem Causal (CLM) seguida por um breve decaimento de MLM melhora o desempenho downstream. Em textos biomédicos com ModernBERT, esse desvio pelo CLM supera as baselines de MLM treinadas com dados e computação idênticos em 8 tarefas biomédicas em francês e 11 em inglês, com ganhos de +1,2–2,8 pp e +0,3–0,8 pp, respectivamente, dependendo do tamanho do modelo. Investigamos as razões para esses ganhos. Constatamos que a supervisão densa do CLM impacta as camadas inferiores do transformer (0–7) muito mais do que a MLM. Congelar as camadas inferiores durante o CLM elimina o benefício downstream; congelar as camadas intermediárias o preserva. As mudanças representacionais persistem durante a fase de decaimento da MLM, mesmo quando esta iguala a fase de CLM em duração, e escalam com a capacidade do modelo. Lançamos o ModernCamemBERT-bio e o ModernBERT-bio como codificadores biomédicos de última geração nos tamanhos Base e Large.

A destilação on-policy (OPD) e a autodestilação on-policy (OPSD) surgiram como métodos promissores de pós-treinamento para grandes modelos de linguagem, oferecendo supervisão densa em nível de token sobre trajetórias amostradas a partir da política do próprio modelo. No entanto, os resultados existentes sobre sua eficácia permanecem mistos: enquanto a OP(S)D mostrou potencial na internalização de prompts de sistema e conhecimento, estudos recentes também relatam instabilidade e degradação. Neste trabalho, apresentamos um estudo empírico abrangente sobre quando a OPD e a OPSD funcionam, quando falham e por quê. Descobrimos que a OPD em raciocínio matemático é altamente sensível à escolha do professor e à formulação da perda, enquanto a OPSD falha em nossos cenários testados devido à ausência em tempo de teste de informação privilegiada (PI) específica da instância. Em contraste, a OPSD é eficaz quando a PI representa uma regra latente compartilhada, como um prompt de sistema ou preferência de alinhamento. Identificamos três mecanismos de falha: (1) incompatibilidade de distribuição entre professor e estudante causada pelo condicionamento em prefixos gerados pelo estudante, (2) instabilidade de otimização proveniente de gradientes reverse-KL TopK enviesados, e (3) uma limitação específica da OPSD onde o estudante aprende uma política livre de PI que agrega professores condicionados por PI, o que é insuficiente quando a PI é específica da instância. Mostramos ainda que objetivos TopK com stop-gradient, professores adaptados por RLVR e estudantes estabilizados por SFT mitigam essas falhas.

Embora o pré-treinamento auto-supervisionado tenha reduzido a dependência dos sistemas de visão em dados sintéticos, a simulação continua sendo uma ferramenta indispensável para a otimização em malha fechada e a avaliação rigorosa fora da distribuição (OOD). No entanto, plataformas de simulação modernas frequentemente apresentam barreiras técnicas acentuadas, exigindo ampla expertise em computação gráfica e desenvolvimento de jogos. Neste trabalho, apresentamos o LychSim, uma estrutura de simulação altamente controlável e interativa construída sobre o Unreal Engine 5 para superar essa lacuna. O LychSim é construído em torno de três aspectos principais: (1) uma API Python simplificada que abstrai as complexidades subjacentes do motor gráfico; (2) um pipeline de dados procedural capaz de gerar ambientes diversos e de alta fidelidade com desafios visuais variados fora da distribuição (OOD), combinados com dados de referência 2D e 3D ricos; e (3) uma integração nativa do Model Context Protocol (MCP) que transforma o simulador em um ambiente interativo e dinâmico de malha fechada para LLMs agentivos com raciocínio. Adicionalmente, anotamos regras processuais no nível da cena e alinhamentos de pose no nível dos objetos para permitir dados de referência 3D semanticamente alinhados e modificação automatizada de cenas. Demonstramos a capacidade do LychSim em várias aplicações downstream, incluindo servir como um motor de dados sintéticos, potencializar examinadores adversários baseados em aprendizado por reforço e facilitar a geração interativa de layout de cenas orientada por linguagem. Para beneficiar a comunidade de visão computacional, o LychSim será disponibilizado publicamente, incluindo o código-fonte completo e várias anotações de dados.

Aprendizado por reforço com recompensas verificáveis permitiu ganhos significativos de pós-treinamento em domínios como matemática e programação, embora muitos cenários de final aberto dependam de recompensas baseadas em rubricas. Estudamos o hacking de recompensa em RL baseado em rubrica, onde uma política é otimizada em relação a um verificador de treinamento, mas avaliada em relação a um painel de três juízes de fronteira de famílias diferentes, reduzindo a dependência de um único avaliador. Nosso framework separa duas fontes de divergência: falha do verificador, onde o verificador de treinamento atribui crédito a critérios de rubrica que verificadores de referência rejeitam; e limitações do design da rubrica, onde mesmo verificadores fortes baseados em rubrica favorecem respostas que juízes sem rubrica avaliam como piores no geral. Nos domínios médico e científico, verificadores fracos produzem grandes ganhos de recompensa proxy que não se transferem para os verificadores de referência; a exploração cresce ao longo do treinamento e se concentra em falhas recorrentes, como satisfação parcial de critérios compostos, tratamento de conteúdo implícito como explícito e correspondência temática imprecisa. Verificadores mais fortes reduzem substancialmente, mas não eliminam, a exploração do verificador. Também introduzimos uma lacuna de auto-internalização, um diagnóstico livre de verificador baseado nas log-probabilidades da política, que monitora a qualidade do verificador de referência, detectando quando a política treinada com o verificador fraco para de melhorar. Finalmente, em nosso contexto, uma verificação mais forte não impede o hacking de recompensa quando a rubrica deixa modos de falha importantes não especificados: os verificadores baseados em rubrica preferem o checkpoint de RL, enquanto os juízes sem rubrica preferem o modelo base. Essas discordâncias coincidem com ganhos concentrados em critérios de completude e presença, juntamente com declínios na correção factual, concisão, relevância e qualidade geral. Em conjunto, esses resultados sugerem que uma verificação mais forte reduz o hacking de recompensa, mas não garante, por si só, que ganhos de rubrica correspondam a ganhos mais amplos de qualidade.

Introduzimos o Pion, um otimizador que preserva o espectro para o treinamento de modelos de linguagem de grande porte (LLMs), baseado em transformações de equivalência ortogonal. Diferentemente de otimizadores aditivos como Adam e Muon, o Pion atualiza cada matriz de peso por meio de transformações ortogonais à esquerda e à direita, preservando seus valores singulares ao longo do treinamento. Isso resulta em um mecanismo de otimização que modula a geometria das matrizes de peso enquanto mantém sua norma espectral fixa. Derivamos a regra de atualização do Pion, examinamos sistematicamente suas escolhas de design e analisamos seu comportamento de convergência, juntamente com diversas propriedades-chave. Resultados empíricos mostram que o Pion oferece uma alternativa estável e competitiva aos otimizadores padrão tanto para pré-treinamento quanto para ajuste fino de LLMs.

A memória de longo prazo é crucial para agentes em ambientes web especializados, onde o sucesso depende da recordação de affordâncias da interface, dinâmicas de estado, fluxos de trabalho e modos de falha recorrentes. No entanto, os benchmarks existentes de memória para agentes focam principalmente em históricos de usuários, traces curtos ou sucesso em tarefas downstream, deixando em aberto como avaliar diretamente se sistemas de memória internalizam efetivamente a experiência específica do ambiente. Para preencher essa lacuna, introduzimos o LongMemEval-V2 (LME-V2), um benchmark para avaliar se sistemas de memória podem ajudar agentes a adquirir a experiência necessária para se tornarem colegas conhecedores em ambientes personalizados. O LME-V2 contém 451 questões curadas manualmente, abrangendo cinco habilidades centrais de memória para agentes web: recordação de estado estático, rastreamento de estado dinâmico, conhecimento de fluxo de trabalho, armadilhas do ambiente e consciência de premissas. As questões são pareadas com trajetórias históricas contendo até 500 trajetórias e 115 milhões de tokens. Utilizamos uma formulação de coleta de contexto: sistemas de memória consomem trajetórias históricas e retornam evidências compactas para responder a perguntas downstream. Propomos um conjunto de dois métodos de memória: AgentRunbook-R, uma memória eficiente baseada em RAG com pools de conhecimento para observações brutas de estado, eventos e notas estratégicas, e AgentRunbook-C, que armazena trajetórias como arquivos e invoca um agente de codificação para reunir evidências em uma sandbox aumentada. Experimentos mostram que o AgentRunbook-C alcança o melhor desempenho, com 72,5% de acurácia média, superando a linha de base RAG mais forte (48,5%) e a linha de base de agente de codificação pré-fabricada (69,3%). Apesar dos fortes ganhos de desempenho, métodos baseados em agente de codificação apresentam altos custos de latência. Embora o AgentRunbook-C avance a fronteira de Pareto entre acurácia e latência, ainda há espaço substancial para melhoria. Em conjunto, esses resultados estabelecem o LME-V2 como um campo de testes desafiador para o desenvolvimento de sistemas de memória de longo prazo para experiência ambiental.

O Gaussian Splatting alcançou progresso notável na reconstrução de superfície multivista, porém apresenta degradação significativa quando apenas poucas vistas estão disponíveis. Embora esforços recentes amenizem esse problema ao melhorar a consistência multivista para produzir superfícies plausíveis, eles têm dificuldade em inferir regiões não vistas, ocluídas ou fracamente restritas além da cobertura da entrada. Para lidar com essa limitação, apresentamos o VidSplat, uma estrutura de reconstrução generativa sem treinamento que aproveita priores poderosos de difusão de vídeo para sintetizar iterativamente novas vistas que compensam a cobertura de entrada faltante e, assim, recuperar cenas 3D completas a partir de entradas esparsas. Especificamente, abordamos dois desafios-chave que permitem a integração eficaz de geração e reconstrução. Primeiro, para geração consistente em 3D, elaboramos uma estratégia de remoção de ruído sem treinamento, em estágios, que guia adaptativamente a direção da remoção de ruído em direção à geometria subjacente usando as imagens RGB e de máscara renderizadas. Segundo, para aprimorar a reconstrução, desenvolvemos um mecanismo iterativo que amostra trajetórias de câmera, explora regiões não observadas, sintetiza novas vistas e complementa o treinamento por meio de refinamento ponderado por confiança. O VidSplat apresenta desempenho robusto para entrada esparsa e até mesmo para uma única imagem. Experimentos extensivos em benchmarks amplamente utilizados demonstram nosso desempenho superior na reconstrução de cenas com poucas vistas.

Nas aquisições industriais, a resposta de um LLM é útil apenas se sobreviver a uma verificação de normas: o material recomendado deve corresponder à condição operacional, cada parâmetro deve respeitar um limite regulamentado e nenhum procedimento pode contradizer uma cláusula de segurança. A correção parcial pode mascarar contradições críticas de segurança que os benchmarks agregados de LLM raramente capturam. Apresentamos o IndustryBench, um benchmark de 2.049 itens para QA de aquisições industriais em chinês, fundamentado nas normas nacionais chinesas (GB/T) e em registros estruturados de produtos industriais, organizado por sete dimensões de capacidade, dez categorias industriais e níveis de dificuldade derivados por painel, com versões em inglês, russo e vietnamita alinhadas por item. Nosso pipeline de construção rejeita 70,3% dos candidatos gerados por LLM em uma etapa de verificação externa baseada em busca, calibrando o quão pouco confiável a QA industrial permanece após a filtragem apenas por LLM. Nossa avaliação separa a correção bruta, pontuada por um juiz Qwen3-Max validado com κ_w = 0,798 contra um especialista do domínio, de uma verificação separada de violação de segurança (VS) contra os textos fonte. Em 17 modelos em chinês e uma interseção de 8 modelos em quatro idiomas, constatamos: (i) o melhor sistema atinge apenas 2,083 na rubrica de 0 a 3, deixando margem substancial; (ii) Padrões e Terminologia é a fraqueza de capacidade mais persistente e sobrevive à tradução alinhada por item; (iii) o raciocínio estendido reduz as pontuações ajustadas por segurança para 12 de 13 modelos, principalmente ao introduzir detalhes críticos de segurança não suportados em respostas finais mais longas; e (iv) as taxas de violação de segurança reorganizam o quadro de classificação — GPT-5.4 sobe da posição 6 para a posição 3 após o ajuste por VS, enquanto Kimi-k2.5-1T-A32B cai sete posições. Portanto, a avaliação industrial de LLMs requer um diagnóstico fundamentado nas fontes e consciente da segurança, em vez de precisão agregada. Disponibilizamos o IndustryBench com todos os prompts, scripts de pontuação e documentação do conjunto de dados.

A síntese generativa de novas vistas enfrenta um dilema fundamental: priores geométricos fornecem alinhamento espacial, mas tornam-se esparsos e imprecisos sob mudanças de visão, enquanto priores de aparência oferecem fidelidade visual, mas carecem de correspondência geométrica. Métodos existentes ou propagam erros geométricos ao longo da geração ou sofrem com conflitos de sinal ao fundir ambos estaticamente. Apresentamos o MoCam, que emprega dinâmicas estruturadas de remoção de ruído para orquestrar uma progressão coordenada da geometria para a aparência dentro do processo de difusão. O MoCam primeiro utiliza priores geométricos nas etapas iniciais para ancorar estruturas grosseiras e tolerar sua incompletude, depois alterna para priores de aparência nas etapas posteriores para corrigir ativamente erros geométricos e refinar detalhes. Esse projeto unifica naturalmente a síntese de vistas estáticas e dinâmicas ao desacoplar temporalmente o alinhamento geométrico e o refinamento de aparência dentro do processo de difusão. Experimentos demonstram que o MoCam supera significativamente métodos anteriores, particularmente quando nuvens de pontos contenham buracos ou distorções severas, alcançando uma desassociação robusta entre geometria e aparência.

Transformadores em Loop oferecem uma alternativa promissora à computação puramente feed-forward ao refinar iterativamente representações latentes, melhorando a modelagem de linguagem e o raciocínio. No entanto, arquiteturas recorrentes permanecem instáveis para treinar, caras para otimizar e implantar, e restritas a profundidades de recorrência pequenas e fixas. Apresentamos Modelos Atratores, nos quais um módulo backbone primeiro propõe embeddings de saída, e um módulo atrator os refina ao resolver o ponto fixo, com gradientes obtidos por diferenciação implícita. Assim, a memória de treinamento permanece constante na profundidade efetiva, e as iterações são escolhidas adaptativamente por convergência. Empiricamente, Modelos Atratores superam modelos existentes em dois regimes: pré-treinamento de modelos de linguagem em larga escala e raciocínio com modelos pequenos. Na modelagem de linguagem, Modelos Atratores proporcionam uma melhoria de Pareto em relação a Transformadores padrão e modelos em loop estáveis em diversos tamanhos, melhorando a perplexidade em até 46,6% e a precisão downstream em até 19,7%, enquanto reduzem o custo de treinamento. Notavelmente, um Modelo Atrator de 770M supera um Transformador de 1,3B treinado com o dobro de tokens. Em tarefas desafiadoras de raciocínio, mostramos que nosso modelo com apenas 27M de parâmetros e aproximadamente 1000 exemplos atinge 91,4% de precisão no Sudoku-Extreme e 93,1% no Maze-Hard, escalando favoravelmente onde modelos de fronteira como Claude e GPT o3 falham completamente, e raciocinadores recursivos especializados colapsam em tamanhos maiores. Por fim, mostramos que Modelos Atratores exibem um fenômeno novo, que chamamos de internalização de equilíbrio: o treinamento com ponto fixo posiciona o embedding de saída inicial do modelo próximo ao equilíbrio, permitindo que o solver seja removido na inferência com pouca degradação. Em conjunto, esses resultados sugerem que Modelos Atratores tornam o refinamento iterativo escalável ao transformar a recorrência em uma computação que o modelo pode aprender a internalizar.

Embora avanços recentes em modelos multimodais de linguagem tenham possibilitado a geração de imagens a partir de instruções expressivas envolvendo múltiplas imagens, os métodos existentes têm dificuldade em manter o desempenho sob instruções intercaladas complexas. Essa limitação decorre da separação estrutural entre imagens e texto nos paradigmas atuais, que força os modelos a superar dependências de longo alcance para associar descrições a alvos visuais. Para enfrentar esses desafios, propomos o Images iN SEnTences (também conhecido como INSET), um modelo de geração unificado que insere imagens como vocabulário nativo dentro de instruções textuais. Ao posicionar características visuais diretamente em seus respectivos espaços semânticos, o INSET aproveita a localidade contextual dos transformadores para uma vinculação precisa de objetos, tratando imagens como tokens de linguagem densos e expressivos. Além disso, introduzimos um mecanismo de dados escalável que sintetiza 15 milhões de amostras intercaladas de alta qualidade a partir de conjuntos de dados padrão de imagens e vídeos, utilizando VLMs e LLMs para construir sequências longas e ricas. Os resultados da avaliação no InterleaveBench demonstram que o INSET supera significativamente os métodos de última geração em consistência entre múltiplas imagens e alinhamento de texto, com diferenças de desempenho que se ampliam à medida que a complexidade da entrada aumenta. Além da geração padrão, nossa abordagem se estende naturalmente à edição multimodal de imagens, integrando conteúdo visual como parte da instrução para facilitar manipulações visuais altamente expressivas e criativas.

Modelos multimodais unificados (MMUs) têm como objetivo integrar compreensão e geração em uma única arquitetura. No entanto, ainda não foi suficientemente explorado como coordenar efetivamente essas duas capacidades para um raciocínio mais eficiente e eficaz. Abordagens de coordenação existentes ou realizam o acoplamento durante o treinamento, sem coordenação explícita durante a inferência, ou impõem um padrão de coordenação fixo para todas as entradas. Neste trabalho, mostramos que tarefas multimodais apresentam uma diversidade substancial de caminhos de coordenação: entradas diferentes favorecem caminhos de coordenação distintos. Isso sugere que explorar tal diversidade é chave para melhorar o desempenho. Propomos o UniPath, uma estrutura para modelar e explorar adaptativamente a diversidade de caminhos de coordenação. Em vez de impor um único padrão de coordenação, representamos a resolução de tarefas como a seleção e execução de um caminho, que vai desde a resposta direta até a inferência textual, construção de pensamento visual e exploração baseada em hipóteses. Construímos trajetórias alinhadas por função para treinar um executor condicionado ao caminho e introduzimos um mecanismo planejador leve para permitir a seleção de caminho dependente da entrada. Experimentos mostram que aproveitar a diversidade de caminhos de coordenação melhora o desempenho em relação a estratégias de coordenação fixas, ao mesmo tempo que fornece comportamentos intermediários interpretáveis. O código está disponível em: https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/unipath.

Métodos recentes de reiluminação de imagem única, impulsionados por modelos generativos avançados, alcançaram fotorrealismo impressionante em referenciais sintéticos. No entanto, sua eficácia no complexo panorama visual do mundo real permanece amplamente não verificada. Existe uma lacuna crítica, uma vez que os conjuntos de dados atuais são tipicamente projetados para reconstrução multivista e não abordam os desafios únicos da reiluminação de imagem única. Para preencher essa lacuna sintético-real, introduzimos o WildRelight, o primeiro conjunto de dados in-the-wild especificamente criado para avaliar modelos de reiluminação de imagem única. O WildRelight apresenta uma coleção diversa de cenas externas de alta resolução, capturadas sob iluminações naturais estritamente alinhadas e temporalmente variáveis, cada uma pareada com um mapa de ambiente de alto intervalo dinâmico. Usando esses dados, estabelecemos um referencial rigoroso que revela que modelos de última geração treinados em dados sintéticos sofrem graves desvios de domínio. A estrutura temporal estritamente alinhada do WildRelight possibilita um novo paradigma para adaptação de domínio. Demonstramos isso introduzindo uma estrutura de inferência guiada por física que aproveita a evolução natural da luz capturada como uma restrição autossupervisionada. Ao integrar a Amostragem Posterior por Difusão (DPS) com a Adaptação Temporal em Tempo de Teste Ciente da Amostragem (TTA), mostramos que o conjunto de dados permite que modelos sintéticos se alinhem dinamicamente com estatísticas do mundo real, transformando o desafio intratável de sim-para-real em uma tarefa autossupervisionada tratável. O conjunto de dados e o código serão disponibilizados publicamente para fomentar pesquisas robustas e fundamentadas fisicamente em reiluminação.

Configurar eficazmente experimentos escaláveis de grandes modelos de linguagem (LLMs), abrangendo design de arquitetura, ajuste de hiperparâmetros e outros aspectos, é crucial para o avanço da pesquisa em LLMs, pois escolhas de configuração inadequadas podem desperdiçar recursos computacionais substanciais e impedir que os modelos atinjam todo o seu potencial. Métodos automatizados anteriores são projetados para cenários de baixo custo, onde tentativa e erro repetidos são viáveis, mas experimentos escaláveis de LLMs são caros demais para iterações tão extensas. Até onde sabemos, nenhum trabalho abordou a automação de configurações de experimentos de LLMs de alto custo, deixando esse problema intensivo em mão de obra e dependente da intuição de especialistas. Motivados por essa lacuna, propomos o AutoLLMResearch, um framework baseado em agentes que imita como pesquisadores humanos aprendem princípios generalizáveis a partir de experimentos de baixa fidelidade e extrapolam para identificar eficientemente configurações promissoras em ambientes caros de LLMs. O desafio central é como capacitar um agente a aprender, por meio da interação com um ambiente experimental multifidelidade que captura a estrutura do panorama de configuração de LLMs. Para isso, propomos um framework sistemático com dois componentes principais: 1) LLMConfig-Gym, um ambiente multifidelidade que abrange quatro tarefas críticas de experimentos com LLMs, apoiado por mais de um milhão de horas de GPU de resultados experimentais verificáveis; 2) Um pipeline de treinamento estruturado que formula a pesquisa de configuração como um Processo de Decisão Markoviano de longo horizonte e, consequentemente, incentiva o raciocínio de extrapolação entre diferentes fidelidades. Uma avaliação extensa contra diversas linhas de base robustas em experimentos retidos demonstra a eficácia, generalização e interpretabilidade do nosso framework, apoiando seu potencial como uma solução prática e geral para a automação escalável de experimentos com LLMs no mundo real.

A Adaptação de Baixo Posto (LoRA) reparametriza uma atualização de pesos como um produto de dois fatores de baixo posto, mas o Jacobiano \( J_{G} \) do mapeamento gerador dos fatores para a matriz de pesos é deficiente em posto, de modo que o pré-condicionador no espaço de fatores \( J_{G}^* {F}_t J_{G} \) induzido por qualquer pré-condicionador \( {F}_t \) no espaço \( {W} \) é singular e, consequentemente, a regra da cadeia padrão não pode ser invertida de forma única para mapear uma direção pré-condicionada no espaço \( {W} \) de volta a uma atualização no espaço de fatores. Enquadramos os otimizadores LoRA existentes em uma estrutura unificada parametrizada por duas escolhas: (i) qual substituto inversível para \( J_{G}^* {F}_t J_{G} \) usar e (ii) qual \( {F}_t \) em \( {W} \) usar. Os métodos existentes ocupam quatro famílias ao longo desses eixos: atualizações adaptativas no espaço de fatores, substitutos bloco-diagonais para \( J_{G}^* J_{G} \), métodos de pseudoinversa de resíduo de Frobenius e restrição de variedade Riemanniana. Dentro desse espaço de projeto, um \( {F}_t \) consciente de estatísticas de gradiente, combinado com uma solução em forma fechada no espaço de fatores com memória \( {O}((m+n)r) \), permanece pouco explorado. Propomos AdaPreLoRA, que preenche essa lacuna ao adotar o pré-condicionador diagonal Kronecker do Adafactor \( {H}_t \) em \( {W} \) e selecionar da família de soluções no espaço de fatores resultante o elemento que minimiza um desequilíbrio ponderado por \( {H}_t \) entre as contribuições dos dois fatores; por construção, a atualização de fatores resultante é a aproximação LoRA mais próxima da direção pré-condicionada no espaço \( {W} \) sob a norma ponderada por \( {H}_t \). Em experimentos com GPT-2 (E2E), Mistral-7B e Qwen2-7B (GLUE, ARC, GSM8K) e personalização de modelo de difusão, AdaPreLoRA é competitivo ou melhora em relação a um conjunto representativo de otimizadores LoRA, mantendo o pico de memória GPU no nível do otimizador LoRA.

Modelos generativos recentes conseguem produzir imagens que parecem altamente realistas, levantando desafios para distinguir imagens reais das geradas por IA. No entanto, detectores existentes baseados em extratores de características pré-treinados tendem a depender excessivamente de semânticas globais, limitando a sensibilidade a microdefeitos críticos. Neste trabalho, propomos o Micro-Defects expose Macro-Fakes (MDMF), um framework de detecção ciente da distribuição local que amplifica irregularidades estatísticas em microescala para discrepâncias distribucionais em macroescala. Para evitar que pistas forenses localizadas sejam diluídas por agregação simples, introduzimos uma Assinatura Forense de Patch (Patch Forensic Signature) aprendível que projeta embeddings semânticos de patches em um espaço latente forense compacto. Em seguida, utilizamos a Máxima Discrepância Média (Maximum Mean Discrepancy, MMD) para quantificar discrepâncias distribucionais entre imagens geradas e reais. Nossa análise fundamentada teoricamente mostra que a modelagem por patches produz discrepâncias comprovadamente maiores quando sinais forenses localizados estão presentes em imagens geradas, permitindo uma separação mais confiável das imagens reais. Experimentos extensos demonstram que o MDMF supera consistentemente os detectores de base em múltiplos benchmarks, validando sua eficácia geral. Página do projeto: https://zbox1005.github.io/MDMF-project/

Os sistemas multiagentes (MAS) emergiram como um paradigma promissor para a resolução de tarefas complexas. Trabalhos recentes exploraram MAS auto-evolutivos que otimizam automaticamente as capacidades dos agentes ou as topologias de comunicação. No entanto, os métodos existentes ou aprendem uma topologia que permanece fixa durante a inferência, ou adaptam apenas a topologia ou a capacidade durante a inferência. Demonstramos, empiricamente e teoricamente, que uma evolução eficaz em tempo de teste requer a adaptação conjunta de ambos os eixos, mas em diferentes escalas temporais: as capacidades devem ser atualizadas rapidamente para lidar com subtarefas emergentes, enquanto a topologia deve evoluir mais lentamente para preservar a estabilidade da coordenação. Em seguida, apresentamos o TacoMAS, uma estrutura de coevolução em tempo de teste para MAS dinâmicos. O TacoMAS formula a inferência de MAS como uma tarefa de adaptação online de grafos, onde os nós representam agentes com capacidades específicas de papéis e as arestas definem sua topologia de comunicação. Durante a inferência, um loop rápido de capacidades atualiza a expertise dos agentes usando feedback ao nível da trajetória, enquanto um loop lento de topologia orientado por meta-LLM realiza operações de nascimento-morte de agentes no MAS, incluindo edição de arestas, adição de agentes e remoção de agentes. Mostramos ainda que este design rápido-lento direciona a evolução do MAS para um equilíbrio estável condicionado à tarefa. Experimentos em quatro benchmarks demonstram que o TacoMAS supera quase 20 baselines multiagente, alcançando uma melhoria média de 13,3% em relação ao baseline mais forte. Os códigos estão disponíveis em https://github.com/chenxu2-gif/TacoMAS-MultiAgent.

O reconhecimento conjunto de entidades nomeadas (NER) e extração de relações (RE) é uma tarefa fundamental no processamento de linguagem natural para a construção de grafos de conhecimento a partir de texto não estruturado. Embora abordagens recentes tratem NER e RE como tarefas separadas que exigem modelos distintos, apresentamos GLiNER-Relex, uma arquitetura unificada que estende a estrutura GLiNER para realizar tanto o reconhecimento de entidades quanto a extração de relações em um único modelo. Nossa abordagem utiliza um codificador transformer bidirecional compartilhado para representar conjuntamente texto, rótulos de tipos de entidade e rótulos de tipos de relação, permitindo a extração zero-shot de tipos arbitrários de entidades e relações especificados no momento da inferência. O GLiNER-Relex constrói representações de pares de entidades a partir de segmentos reconhecidos e as pontua em relação às incorporações de tipos de relações usando um módulo dedicado de pontuação de relações. Avaliamos nosso modelo em quatro conjuntos de referência padrão para extração de relações: CoNLL04, DocRED, FewRel e CrossRE, e demonstramos desempenho competitivo tanto com modelos especializados de extração de relações quanto com modelos de linguagem grandes, mantendo a eficiência computacional característica da família GLiNER. O modelo é disponibilizado como um pacote Python de código aberto com uma API de inferência simples que permite aos usuários especificar tipos arbitrários de entidades e relações no momento da inferência e obter tanto entidades quanto tripletos de relações em uma única chamada. Todos os modelos e código estão publicamente disponíveis.

A reconstrução 3D baseada em transformers emergiu como um paradigma poderoso para recuperar geometria e aparência a partir de observações multivista, oferecendo desempenho robusto em condições visuais desafiadoras. À medida que esses modelos escalam para backbones maiores e entradas de resolução mais alta, melhorar sua eficiência torna-se cada vez mais importante para implantação prática. No entanto, pipelines modernos de transformers 3D enfrentam dois desafios acoplados: a atenção densa multivista cria uma sobrecarga substancial de mistura de tokens, e a execução de baixa precisão pode desestabilizar representações sensíveis à geometria, degradando profundidade, pose e consistência 3D. Para abordar o primeiro desafio, propomos o Lite3R, um framework professor-aluno agnóstico a modelo que substitui a atenção densa por Atenção Linear Esparsa, preservando interações geométricas importantes enquanto reduz o custo da atenção. Para abordar o segundo desafio, introduzimos uma estratégia paramétrica eficiente de treinamento consciente de quantização FP8 (FP8-aware QAT) com destilação parcial de atenção, que congela a grande maioria dos parâmetros do backbone pré-treinado e treina apenas camadas leves de projeção linear, permitindo implantação estável em baixa precisão enquanto retém os priors geométricos pré-treinados. Avaliamos ainda o Lite3R em dois backbones representativos, VGGT e DA3-Large, nos conjuntos BlendedMVS e DTU64, mostrando que ele reduz substancialmente a latência (1,7-2,0x) e o uso de memória (1,9-2,4x), enquanto preserva a qualidade geral de reconstrução competitiva. Esses resultados demonstram que o Lite3R fornece uma abordagem eficaz de co-design sistema-algoritmo para reconstrução 3D prática baseada em transformers. Código: https://github.com/AIGeeksGroup/Lite3R. Site: https://aigeeksgroup.github.io/Lite3R.

Apesar dos rápidos avanços no desenvolvimento de modelos de linguagem de grande escala (LLMs), o ajuste fino desses modelos para tarefas específicas frequentemente resulta no esquecimento catastrófico de suas capacidades gerais de raciocínio baseado em linguagem. Este trabalho investiga e aborda esse desafio no contexto da tarefa de Recuperação Generativa (GenRetrieval). Durante o ajuste fino para GenRetrieval, observamos que esse esquecimento ocorre rapidamente e se correlaciona com a distância entre os parâmetros do modelo ajustado e do modelo original. Com base nessas observações, propomos o ORBIT, uma abordagem inovadora que monitora ativamente a distância entre os pesos do modelo ajustado e os iniciais, e utiliza uma estratégia de média de pesos para restringir o desvio do modelo durante o ajuste fino para GenRetrieval quando essa distância inter-modelo excede um limiar máximo. Nossos resultados mostram que o ORBIT retém desempenho substancial em texto e recuperação, superando tanto as linhas de base comuns de aprendizado contínuo quanto métodos de regularização relacionados que também empregam média de pesos.

Agentes LLM aumentados com ferramentas tendem a chamar ferramentas indiscriminadamente, mesmo quando o modelo pode responder diretamente. Cada chamada desnecessária desperdiça custos de API e latência, mas nenhum benchmark existente estuda sistematicamente quando uma chamada de ferramenta é realmente necessária. Propomos o When2Tool, um benchmark de 18 ambientes (15 de salto único, 3 de múltiplos saltos) abrangendo três categorias de necessidade de ferramenta — escala computacional, limites de conhecimento e confiabilidade de execução — cada uma com níveis de dificuldade controlados que criam uma fronteira clara de decisão entre tarefas que necessitam e que não necessitam de ferramenta. Avaliamos duas famílias de baselines sem treinamento: apenas prompt (variando o prompt para desencorajar chamadas desnecessárias) e raciocinar-depois-agir (exigindo que o modelo raciocine sobre a necessidade da ferramenta antes de agir). Ambas oferecem controle limitado: o apenas prompt suprime chamadas necessárias junto com as desnecessárias, e o raciocinar-depois-agir ainda impõe um custo desproporcional de acurácia em tarefas difíceis. Para entender por que esses baselines falham, investigamos os estados ocultos dos modelos e descobrimos que a necessidade de ferramenta é linearmente decodificável a partir da representação pré-geração com AUROC de 0,89–0,96 em seis modelos, superando substancialmente o raciocínio verbalizado do próprio modelo. Isso revela que os modelos já sabem quando as ferramentas são necessárias, mas falham em agir com base nesse conhecimento durante a geração. Partindo dessa descoberta, propomos o Probe&Prefill, que usa uma sonda linear leve para ler o sinal do estado oculto e preenche a resposta do modelo com uma frase de direcionamento. Em todos os modelos testados, o Probe&Prefill reduz as chamadas de ferramenta em 48% com apenas 1,7% de perda de acurácia, enquanto o melhor baseline com acurácia comparável reduz apenas 6% das chamadas, ou alcança uma redução similar de chamadas, mas com uma perda de acurácia 5 vezes maior. Nosso código está disponível em https://github.com/Trustworthy-ML-Lab/when2tool.

Modelos de Linguagem de Grande Porte frequentemente melhoram a precisão em tarefas de raciocínio amostrando múltiplas cadeias de pensamento (CoT) e agregando-as por votação majoritária (MV), uma técnica de tempo de teste chamada autoconsistência. Quando truncamos uma CoT no meio do processo e regeneramos o restante, observamos que as cadeias com respostas corretas reproduzem sua resposta original com mais frequência do que aquelas com respostas erradas. Utilizamos essa diferença como um sinal de confiabilidade, a consistência de prefixo, que pondera cada resposta candidata pela frequência com que ela reaparece sob regeneração. Isso não requer acesso a log-probabilidades dos tokens ou prompts de autoavaliação. Em cinco modelos de raciocínio e quatro benchmarks de matemática e ciências, a consistência de prefixo é o melhor preditor de correção na maioria dos cenários, e a reponderação dos votos por ela atinge a precisão de platô da votação majoritária padrão com até 21x menos tokens (mediana de 4,6x). Nosso código está disponível em https://github.com/naoto-iwase/prefix-consistency.

Os Modelos de Visão-Linguagem (VLMs) avançaram rapidamente na percepção multimodal e na compreensão da linguagem, mas ainda não está claro se eles conseguem fundamentar a linguagem de forma confiável em ações espacialmente coerentes e plausivelmente executáveis em ambientes digitais 3D. Apresentamos o SleepWalk, um benchmark para avaliar a predição de trajetórias guiadas por instruções em mundos 3D de cena única, gerados a partir de descrições textuais de cenas e filtrados por navegabilidade. Diferentemente dos benchmarks de navegação anteriores, centrados na exploração de longo alcance entre salas, o SleepWalk visa o raciocínio incorporado localizado e centrado na interação: dadas observações visuais renderizadas e uma instrução em linguagem natural, o modelo deve prever uma trajetória que respeite a geometria da cena, evite colisões e termine em um local compatível com a ação. O benchmark abrange diversos ambientes internos e externos e organiza as tarefas em três níveis de dificuldade espacial e temporal, permitindo uma análise detalhada da fundamentação sob complexidade composicional crescente. Utilizando um protocolo de avaliação padronizado baseado em juiz pontual, avaliamos três VLMs de fronteira em 2.472 ambientes 3D selecionados, com nove instruções por cena. Os resultados revelam falhas sistemáticas no raciocínio espacial fundamentado, especialmente sob oclusão, restrições de interação e instruções de múltiplas etapas: o desempenho diminui à medida que o nível de dificuldade das tarefas aumenta. Em geral, os VLMs atuais conseguem produzir, até certo ponto, trajetórias que são simultaneamente espacialmente coerentes, plausivelmente executáveis e alinhadas com as ações pretendidas. Ao expor falhas em um ambiente controlado, porém escalável, o SleepWalk fornece um benchmark crítico para avançar o raciocínio multimodal fundamentado, o planejamento incorporado, a navegação visão-linguagem e agentes com capacidade de ação em ambientes 3D.

Os modelos de linguagem de grande escala (LLMs) estão transformando a sociedade, impulsionando aplicações que vão de assistentes em smartphones à direção autônoma. No entanto, os serviços baseados em LLMs em nuvem, por si só, não conseguem atender a uma classe crescente de aplicações, incluindo aquelas que operam sob conectividade intermitente, orçamentos de latência de submilissegundo, restrições de residência de dados ou inferência de alto volume sustentada. A implantação em dispositivos, por sua vez, é limitada por restrições de computação e memória. Nenhum ponto único de serviço consegue oferecer qualidade superior ao longo desse espectro. Este artigo foca na inteligência colaborativa, um paradigma no qual múltiplos LLMs independentes, distribuídos entre dispositivos e endpoints na nuvem, colaboram no nível de tarefas por meio de linguagem natural ou mensagens estruturadas. Essa colaboração busca qualidade superior de resposta sob restrições heterogêneas de recursos, abrangendo computação, memória, comunicação e custo entre camadas de rede. Apresentamos a inferência colaborativa ao longo de duas dimensões complementares e combináveis: colaboração vertical dispositivo-nuvem e colaboração horizontal multiagente, que podem ser combinadas em topologias híbridas na prática. Em seguida, examinamos o aprendizado para colaborar, abordando o treinamento de políticas de roteamento e o desenvolvimento de capacidades cooperativas entre LLMs. Por fim, identificamos desafios de pesquisa em aberto, incluindo escalabilidade sob heterogeneidade de recursos e inteligência colaborativa confiável.

A geração de texto para vídeo com preservação de identidade (IPT2V) capacita os usuários a produzirem vídeos diversos e imaginativos com identidade facial humana consistente. Apesar dos avanços recentes, os métodos existentes frequentemente sofrem de distorção significativa da identidade diante de grandes variações de pose facial ou oclusões faciais. Neste artigo, propomos o FaithfulFaces, uma estrutura de aprendizado para preservação de identidade facial fiel à pose, visando melhorar a IPT2V em cenas dinâmicas complexas. O principal elemento do FaithfulFaces é um alinhador de identidade compartilhada de pose que refina e alinha poses faciais entre diferentes vistas por meio de um dicionário compartilhado de pose e uma restrição de invariância de variação de pose versus identidade. Ao mapear entradas de vista única para uma representação global de pose facial com embeddings explícitos de ângulos de Euler, o FaithfulFaces oferece um prior facial fiel à pose que guia fundações generativas em direção a uma geração robusta de preservação de identidade. Em particular, desenvolvemos um pipeline especializado para curar um conjunto de dados de vídeo de alta qualidade, caracterizado por substancial diversidade de pose facial. Experimentos extensivos demonstram que o FaithfulFaces alcança desempenho de estado da arte, mantendo consistência de identidade superior e clareza estrutural mesmo quando ocorrem mudanças de pose e oclusões.

Reconstruir a pose e a forma 3D absolutas das mãos a partir do ponto de vista do usuário usando uma única câmera montada na cabeça é crucial para a interação egocêntrica prática em RV/RA, telepresença e tarefas de manipulação centradas nas mãos, onde a detecção deve permanecer compacta e não intrusiva. Embora os métodos RGB monoculares tenham avançado, eles permanecem limitados pela ambiguidade de escala de profundidade e têm dificuldade em generalizar para as diversas configurações ópticas dos dispositivos montados na cabeça. Como resultado, os modelos geralmente exigem treinamento extensivo em conjuntos de dados específicos do dispositivo, que são caros e trabalhosos de adquirir. Este artigo aborda esses desafios introduzindo o EgoForce, uma estrutura de reconstrução de mão 3D monocular que recupera de forma robusta a pose e a posição 3D absoluta da mão a partir do ponto de vista do usuário (no espaço da câmera). O EgoForce opera em modelos de câmera olho de peixe, perspectiva e grande angular distorcida usando uma única rede unificada. Nossa abordagem combina uma representação diferenciável do antebraço que estabiliza a pose da mão, um transformador unificado braço-mão que prevê a geometria da mão e do antebraço a partir de uma única visão egocêntrica, mitigando a ambiguidade de escala de profundidade, e um solucionador de forma fechada no espaço do raio que permite a recuperação da pose 3D absoluta em diversos modelos de câmera montados na cabeça. Experimentos em três benchmarks egocêntricos mostram que o EgoForce atinge precisão 3D de ponta, reduzindo o MPJPE (Erro Médio de Posição das Articulações) no espaço da câmera em até 28% no conjunto de dados HOT3D em comparação com métodos anteriores e mantendo desempenho consistente entre as configurações de câmera. Para mais detalhes, visite a página do projeto em https://dfki-av.github.io/EgoForce.

Modelos de linguagem de grande porte agora conseguem processar entradas cada vez mais longas, porém sua capacidade de utilizar efetivamente informações dispersas em contextos extensos ainda é limitada. Atribuímos essa lacuna à forma como o orçamento de atenção é gasto durante o ajuste fino supervisionado (SFT) em sequências longas: vieses posicionais e sumidouros de atenção fazem com que o modelo aloque a maior parte de sua atenção a tokens posicionalmente privilegiados, em vez de conteúdo semanticamente relevante. Essa diluição da atenção durante o treinamento (a inanição de tokens de conteúdo na distribuição de atenção) enfraquece o sinal de gradiente, limitando a capacidade do modelo de aprender capacidades robustas para contextos longos. Apresentamos o FocuSFT, uma estrutura de otimização bilevel que aborda esse problema no momento do treinamento. Um laço interno adapta parâmetros leves e rápidos ao contexto de treinamento, formando uma memória paramétrica que concentra a atenção no conteúdo relevante; o laço externo realiza o SFT condicionado a essa representação refinada. Ambos os laços aplicam atenção bidirecional sobre os tokens de contexto, preservando o mascaramento causal para as respostas, reduzindo a assimetria causal que origina sumidouros de atenção e alinhando o comportamento interno e externo. No BABILong, o FocuSFT melhora a precisão em até +14 pontos percentuais para comprimentos de contexto de 4K a 32K; no RULER, ele eleva a agregação CWE de 72,9% para 81,1% em 16K; e no GPQA com uso agêntico de ferramentas, obtém um ganho relativo de 24% no pass@1. A análise de atenção mostra que o FocuSFT reduz a massa de sumidouros de atenção em 529 vezes e triplica o engajamento de contexto durante o treinamento. Código: https://github.com/JarvisPei/FocuSFT

Agentes de modelo de linguagem grande (LLM) enfrentam uma tensão estrutural: agentes em nuvem oferecem raciocínio robusto, mas expõem dados do usuário, enquanto agentes no dispositivo preservam a privacidade ao custo de capacidade geral. Projetos dispositivo-nuvem existentes tratam esse limite como uma divisão computacional, em vez de um limite de confiança adequado a cargas de trabalho agentivas, e sanitizadores existentes forçam uma escolha entre flexibilidade de políticas e a fidelidade estrutural que chamadas de ferramentas exigem. Neste trabalho, desenvolvemos o PAAC, uma estrutura agentiva com foco em privacidade que alinha a decomposição planejador-executor ao limite dispositivo-nuvem, de modo que a própria especialização de papéis se torne o mecanismo de privacidade. O agente em nuvem raciocina sobre tokens de espaço reservado tipados que preservam o papel de raciocínio de cada valor sensível, descartando seu conteúdo, enquanto o agente no dispositivo identifica segmentos sensíveis e destila o resultado da execução de cada etapa em descobertas principais compactas. A sanitização confina o LLM do dispositivo a propor quais segmentos mascarar, enquanto um registro determinístico realiza toda a substituição e reversão, mantendo as ações diretamente executáveis no dispositivo. Em três benchmarks agentivos sob configurações estritas de privacidade, o PAAC domina a fronteira de Pareto de privacidade e precisão, melhorando a precisão média em 15-36% e reduzindo o vazamento médio em 2-6 vezes em relação às linhas de base dispositivo-nuvem estado-da-arte, com as maiores margens em alvos de privacidade fora de taxonomias de entidades fixas. Encontramos melhorias consistentes em 17 benchmarks adicionais abrangendo 10 domínios, incluindo matemática, ciências e finanças.

A animação de imagens humanas tem testemunhado avanços significativos, mas gerar movimentos de mãos com alta fidelidade continua sendo um desafio persistente devido aos seus altos graus de liberdade e complexidade de movimento. Embora o aprendizado por reforço a partir de feedback humano, particularmente a otimização direta de preferência, ofereça uma solução potencial, ele exige a construção de pares de preferência estritos. No entanto, selecionar tais pares para regiões dinâmicas das mãos é proibitivamente caro e muitas vezes impraticável devido a inconsistências quadro a quadro. Neste artigo, propomos o Alinhamento Implícito de Preferência (IPA), uma estrutura pós-treinamento eficiente em termos de dados que elimina a necessidade de dados de preferência pareados. Fundamentado teoricamente na maximização implícita de recompensa, o IPA alinha o modelo maximizando a verossimilhança de amostras de alta qualidade autogeradas, enquanto penaliza desvios do prior pré-treinado. Além disso, introduzimos um mecanismo de Otimização Local Consciente da Mão para direcionar explicitamente o processo de alinhamento para as regiões das mãos. Experimentos demonstram que nosso método alcança uma otimização de preferência eficaz para melhorar a qualidade da geração de mãos, ao mesmo tempo que reduz significativamente a barreira para a construção de dados de preferência. Os códigos estão disponíveis em https://github.com/mdswyz/IPA.

Como os modelos de linguagem baseados em transformadores memorizam associações factuais? Uma visão comum considera matrizes de peso internas como memórias associativas sobre pares de embeddings, exigindo contagens de parâmetros que escalam linearmente com o número de fatos. Desenvolvemos uma abordagem teórica e empírica de uma forma alternativa e geométrica de memorização na qual os embeddings aprendidos codificam diretamente a estrutura relacional, e o MLP desempenha um papel qualitativamente diferente. Em um ambiente controlado onde um transformador de camada única deve memorizar bijeções aleatórias de sujeitos para um conjunto compartilhado de atributos, provamos que uma dimensão de embedding logarítmica é suficiente: os embeddings de sujeitos codificam superposições lineares de seus vetores de atributo associados, e um pequeno MLP atua como um seletor condicionado pela relação que extrai o atributo relevante por meio de portas ReLU, e não como um mapeamento chave-valor associativo. Estendemos esses resultados para o contexto de múltiplos saltos — cadeias de consultas relacionais como "Quem é a mãe da esposa de x?" — fornecendo construções com e sem cadeia de pensamento que exibem um compromisso capacidade-profundidade demonstrável, complementado por um limite inferior teórico-informacional correspondente. Empiricamente, a descida de gradiente descobre soluções precisamente com a estrutura prevista. Uma vez treinado, o MLP transfere-se zero-shot para bijeções completamente novas quando os embeddings de sujeitos são adequadamente reinicilizados, revelando que ele aprendeu um mecanismo de seleção genérico, em vez de memorizar qualquer conjunto particular de fatos.

Apresentamos o Urban-ImageNet, um conjunto de dados multimodal em larga escala e um benchmark de avaliação para a percepção de espaços urbanos a partir de imagens de mídias sociais geradas por usuários. O corpus contém mais de 2 milhões de imagens públicas de mídias sociais e postagens textuais emparelhadas, coletadas do Weibo em 61 locais urbanos em 24 cidades chinesas entre 2019 e 2025, com subconjuntos de benchmark controlados nas escalas de 1K, 10K e 100K, além de um corpus completo de 2M para treinamento e avaliação em grande escala. O Urban-ImageNet é organizado pelo HUSIC, uma estrutura hierárquica de classificação de imagens de espaços urbanos que define uma taxonomia de 10 classes fundamentada na teoria urbana. A taxonomia é projetada para distinguir espaços públicos ativados e não ativados, ambientes urbanos externos e internos, espaços de acomodação, conteúdo de consumo, retratos e conteúdo não espacial de mídias sociais. Em vez de tratar imagens urbanas como dados genéricos de cena, o Urban-ImageNet avalia se modelos de percepção de máquina podem capturar distinções espaciais, sociais e funcionais centrais para os estudos urbanos. O benchmark oferece suporte a três tarefas dentro de uma biblioteca padronizada: (T1) classificação semântica de cenas urbanas, (T2) recuperação multimodal de imagem-texto e (T3) segmentação de instâncias. Nossos experimentos avaliam modelos representativos de visão, visão-linguagem e segmentação, revelando um desempenho robusto na classificação supervisionada de cenas, mas um comportamento mais desafiador na recuperação multimodal e na segmentação de objetos urbanos em nível de instância. Um estudo multiescala examina ainda como o desempenho do modelo muda à medida que os dados de treinamento balanceados aumentam de 1K, 10K para 100K imagens. O Urban-ImageNet fornece um benchmark unificado, teoricamente fundamentado e multicidades para avaliar como os sistemas de IA percebem e interpretam espaços urbanos contemporâneos em diferentes modalidades, escalas e formulações de tarefas. O conjunto de dados e o benchmark estão disponíveis em: huggingface.co/datasets/Yiwei-Ou/Urban-ImageNet e github.com/yiasun/dataset-2.

Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados em tarefas de horizonte longo em ambientes parcialmente observáveis, onde precisam agir enquanto inferem e rastreiam um estado complexo do ambiente ao longo de várias etapas. Isso leva a dois desafios: a observabilidade parcial exige a manutenção de incerteza sobre atributos não observados do mundo, e o longo histórico de interação faz com que o contexto cresça sem limites, diluindo informações relevantes para a tarefa. Uma solução fundamentada para ambos os desafios é o estado de crença: uma distribuição posterior sobre os estados do ambiente dadas as observações e ações passadas, que codifica de forma compacta o histórico para a tomada de decisão, independentemente da duração do episódio. No entanto, em agentes baseados em LLMs, a natureza aberta do texto torna incerto como representar tal distribuição. Portanto, apresentamos o Agent-BRACE: Representação do Estado de Crença do Agente via Abstração e Estimação de Confiança, um método que desacopla um agente LLM em um modelo de estado de crença e um modelo de política, otimizados conjuntamente por meio de aprendizado por reforço. O modelo de estado de crença produz uma aproximação estruturada da distribuição de crença: um conjunto de afirmações atômicas em linguagem natural sobre o ambiente, cada uma anotada com um rótulo ordinal de certeza verbalizada variando de certo a desconhecido. O modelo de política se condiciona nessa crença aproximada, compacta e estruturada, em vez do histórico completo, aprendendo a selecionar ações sob incerteza explícita. Em ambientes linguísticos incorporados, parcialmente observáveis e de horizonte longo, o Agent-BRACE alcança uma melhoria absoluta média de +14,5% (Qwen2.5-3B-Instruct) e +5,3% (Qwen3-4B-Instruct), superando fortes bases de aprendizado por reforço, mantendo uma janela de contexto quase constante, independente da duração do episódio. Análises adicionais mostram que a crença aprendida se torna cada vez mais calibrada ao longo de um episódio à medida que as evidências se acumulam.

A memória conversacional de longo prazo requer a recuperação de evidências dispersas em múltiplas sessões, no entanto, a recuperação em uma única passagem falha em questões temporais e de múltiplos saltos. Os métodos iterativos existentes refinam consultas por meio de conteúdo gerado ou sinais no nível do documento, mas nenhum diagnostica explicitamente a lacuna de evidências, ou seja, o que está faltando no conjunto de recuperação acumulado, deixando o refinamento da consulta sem alvo. Apresentamos o EviMem, que combina o IRIS (Iterative Retrieval via Insufficiency Signals), uma estrutura de malha fechada que detecta lacunas de evidências por meio de avaliação de suficiência, diagnostica o que está faltando e conduz o refinamento direcionado da consulta, com o LaceMem (Layered Architecture for Conversational Evidence Memory), uma hierarquia de memória de grosseiro a fino que suporta o diagnóstico granular de lacunas. No LoCoMo, o EviMem melhora a Acurácia do Juiz em relação ao MIRIX em questões temporais (de 73,3% para 81,6%) e de múltiplos saltos (de 65,9% para 85,2%) com latência 4,5x menor. Código: https://github.com/AIGeeksGroup/EviMem.