Papers Diários

Agentes de LLM devem atuar em múltiplas rodadas, utilizando mecanismos de busca, interfaces de navegação e ferramentas de terminal para cumprir objetivos do usuário. No entanto, nem todo objetivo é bem especificado ou realizável no ambiente disponível. Nesses casos, um agente confiável deve reconhecer que interações adicionais provavelmente não ajudarão e abster-se de novas chamadas de ferramentas. Definimos Abstenção Agentiva, o problema de decidir quando um agente deve parar de atuar sob incerteza. Diferentemente da abstenção padrão em LLMs, geralmente avaliada como uma decisão de responder ou abster-se em uma única rodada, a abstenção agentiva é um problema de decisão sequencial: a cada rodada, um agente pode responder, abster-se ou coletar mais informações, e a necessidade de abster-se pode se tornar clara apenas após interagir com o ambiente. Estudamos esse problema em ambientes de compras na web, terminais e resposta a perguntas, avaliando 13 sistemas de agente baseados em LLM e 2 arcabouços de agente em mais de 28.000 tarefas. Nossos resultados mostram que o principal desafio não é apenas se os agentes conseguem se abster, mas também quando eles se abstêm. Alguns agentes nunca se abstêm quando deveriam, enquanto outros só o fazem após muitas interações desnecessárias. Essa lacuna é especialmente grande em tarefas onde a instrução parece viável até que o ambiente revele o contrário (por exemplo, nenhum resultado válido corresponde à instrução). Adicionalmente, descobrimos que a escala do modelo, o raciocínio e o arcabouço do agente afetam a abstenção de maneiras distintas, onde modelos maiores ou mais capazes às vezes apresentam pior desempenho em abstenção oportuna. Por fim, introduzimos CONVOLVE, um método de engenharia de contexto para melhorar a abstenção agentiva que destila trajetórias completas de interação em regras de parada reutilizáveis. No WebShop, o CONVOLVE melhora substancialmente a abstenção oportuna sem atualizar parâmetros do modelo, elevando a taxa de recall oportuno do Llama-3.3-70B de 26,7 para 57,4. Nosso conjunto de dados e código estão disponíveis em https://lhannnn.github.io/agentic-abstention

A edição de vídeo em streaming tem avançado rapidamente, mas sua implantação prática ainda é limitada por duas questões centrais: a manutenção de fundos estáveis e de regiões não editadas ao longo do tempo, e a obtenção da baixa latência necessária para cenários interativos em tempo real. Paralelamente, os métodos recentes de geração de vídeo em streaming são em sua maioria desenvolvidos para síntese, não podendo ser aplicados diretamente à edição devido ao requisito de preservação estrita e ao controle específico de regiões. Neste trabalho, apresentamos uma nova estrutura de edição de vídeo em streaming que realiza edição causal, quadro a quadro, com forte preservação de conteúdo e capacidade de resposta em tempo real. Nosso projeto-chave é um pipeline de destilação em três estágios que transfere progressivamente a capacidade de edição de um poderoso modelo fundamental bidirecional para um editor de streaming unidirecional eficiente, possibilitando edições estáveis em horizontes longos sem sacrificar a fidelidade visual. Para apoiar ainda mais a implantação em tempo real, introduzimos um cache de máscara orientado a RA que reutiliza a computação relacionada a regiões entre quadros, reduzindo substancialmente o processamento redundante e acelerando a inferência. Por fim, estabelecemos um benchmark dedicado para edição de vídeo em streaming. Avaliações extensas demonstram que nosso método atinge qualidade visual de estado da arte entre as bases de streaming, ao mesmo tempo que aumenta drasticamente a velocidade de inferência para 12,66 FPS, tornando-o adequado para aplicações interativas e de realidade aumentada.

Apresentamos o Agents-A1, um modelo de agente de 35B com mistura de especialistas (Mixture-of-Experts) que atinge desempenho ao nível de trilhões de parâmetros ao escalonar o horizonte do agente. Investigamos o escalonamento do horizonte do agente sob duas perspectivas: o escalonamento de trajetórias de longo horizonte e o escalonamento de habilidades heterogêneas do agente. Para apoiar esse objetivo, construímos uma infraestrutura de conhecimento-ação de longo horizonte que conecta conhecimento externo, ações, observações e resultados de verificadores, produzindo trajetórias de agente com comprimento médio de 45 mil tokens. Com base nisso, treinamos o Agents-A1 com um processo em três estágios. Primeiro, realizamos um ajuste fino supervisionado em domínio completo para alinhar o modelo base com comportamentos amplos de agente. Segundo, treinamos modelos professores em nível de domínio para capturar expertise especializada em cada domínio. Terceiro, propomos uma destilação on-policy com roteamento entre domínios, utilizando múltiplos professores e alinhamento de vocabulário saliente, para melhorar a eficiência da transferência de conhecimento entre diferentes domínios, unificando seis domínios heterogêneos em um único modelo aluno implantável. O Agents-A1 alcança desempenho forte e abrangente em benchmarks de agentes de longo horizonte. Comparado a modelos de 1 trilhão de parâmetros, como Kimi-K2.6 e DeepSeek-V4-pro, o Agents-A1 obtém resultados líderes no SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) e MolBench-Bind (56,8), e permanece altamente competitivo no SciCode (44,3), HLE (47,6) e BrowseComp (75,5). Esperamos que este trabalho forneça à comunidade um caminho prático para escalonar o horizonte usando um agente de 35B que pode alcançar ou igualar o desempenho de modelos de 1T em tarefas de longo horizonte.

À medida que os modelos de linguagem de grande escala e os frameworks de suporte continuam a avançar, os agentes que operam em terminais estão cada vez mais capacitados para realizar uma gama mais ampla de tarefas gerais de uso de computador, além da codificação. No entanto, os benchmarks existentes não avaliam adequadamente agentes de uso de terminal para propósito geral (TUAs): benchmarks de uso geral de computador focam principalmente em interfaces gráficas de usuário (GUIs), enquanto benchmarks baseados em terminal enfatizam amplamente fluxos de trabalho técnicos e centrados em programação, historicamente nativos do shell. Apresentamos o TUA-Bench, um benchmark de propósito geral para agentes de terminal. O TUA-Bench inclui 120 tarefas do mundo real distribuídas em cinco famílias de tarefas, abrangendo atividades digitais rotineiras — incluindo edição de documentos, gerenciamento de e-mail e busca de informações na web em tempo real — bem como fluxos de trabalho científicos e de engenharia, co-projetados com especialistas de domínio em nível de doutorado, que exigem software especializado. Essa amplitude distingue o TUA-Bench de benchmarks anteriores focados em shell ou específicos de domínio. Cada tarefa é projetada manualmente, executada em um terminal real com um script de configuração determinístico e avaliada por um protocolo de pontuação baseado em execução. Constatamos que o agente de fronteira mais forte, Claude Code com Claude Opus 4.8 com esforço de raciocínio máximo, alcança 65,8% de desempenho geral, com lacunas substanciais em ambas as categorias. Ao fornecer uma avaliação ampla e realista das capacidades de uso de terminal, o TUA-Bench visa acelerar a transição de assistentes restritos e específicos para tarefas para agentes de propósito geral capazes de operar de forma confiável em diversos ambientes digitais.

Para reduzir o consumo de memória durante a inferência de LLMs, alguns métodos foram propostos para a poda de cache KV. Embora essas técnicas possam alcançar uma redução de memória sem perdas em muitos conjuntos de dados, elas frequentemente dependem de uma condição pouco enfatizada: um limiar específico de entrada/domínio para o orçamento do cache KV precisa ser pré-determinado para alcançar o desempenho ideal. No entanto, tal projeto sensível à entrada pode ser consideravelmente limitado em cenários do mundo real, pois entradas de domínio aberto abrangem diversos domínios, comprimentos e níveis de dificuldade, sem limites claros para a seleção do limiar. Como resultado, a dependência de um limiar tão sensível à entrada pode ser uma limitação fundamental que causa grande degradação em entradas arbitrárias. Neste trabalho, propomos um novo objetivo que elimina as restrições de limiar para uma compressão KV robusta, defendendo métodos "sem limiar" que ajustam adaptativamente a alocação de orçamento enquanto preservam o desempenho do cache completo. Em seguida, propomos um método inovador, ReFreeKV, servindo como a primeira instanciação desse objetivo. Experimentos extensivos em 13 conjuntos de dados com comprimentos de contexto, tipos de tarefa e tamanhos de modelo diversos demonstram sua eficácia e eficiência. Nosso código está disponível publicamente em https://github.com/Patrick-Ni/ReFreeKV.

Modelos fundamentais para aprendizado de máquina preditivo em dados tabulares têm ganhado recentemente tração significativa na academia e na indústria. Comunidades de pesquisa em diversas disciplinas estão cada vez mais avaliando modelos fundamentais tabulares em conjuntos de dados e tarefas diversas. No entanto, essas avaliações específicas por tarefa e disciplina permanecem em grande parte inacessíveis aos pesquisadores de modelos, pois o software de referência e os protocolos de avaliação são fragmentados. Como resultado, os pesquisadores de modelos dependem de benchmarks padrão, que são definidos principalmente para tarefas nas quais os modelos fundamentais tabulares já se destacam. Os cenários mais desafiadores são excluídos, limitando o progresso significativo na área ao focar em melhorias marginais em dados IID, em vez de em desafios mais amplos e exigentes. Para superar isso, apresentamos o BeyondArena, o primeiro benchmark unificado e holístico para dados tabulares que suporta diversos tipos de tarefas (IID, temporal, agrupado), em escalas de tamanho de amostra e dimensionalidade de características, com diversos tipos de características (com texto, com alta cardinalidade) de uma ampla gama de disciplinas. Para permitir um benchmarking unificado além dos benchmarks padrão, apresentamos o Data Foundry, um framework Python e esquema de metadados para curadoria de conjuntos de dados tabulares para aprendizado de máquina preditivo. Nossos resultados em 11 modelos e 142 conjuntos de dados curados mostram que os modelos fundamentais tabulares existentes se destacam em dados IID de pequeno a médio porte, enquanto modelos tradicionais baseados em árvores e de aprendizado profundo ainda dominam em conjuntos de dados não IID, grandes e de alta dimensionalidade. O BeyondArena orienta a pesquisa de modelos para os desafios mais exigentes em dados tabulares, possibilitando o progresso em direção a modelos tabulares verdadeiramente fundamentais.

Interações físicas seguem uma distribuição de cauda longa: um conjunto de interações comuns e regulares domina a experiência humana e os dados visuais, enquanto um amplo espectro de interações raras e irregulares permanece sub-representado. Embora modelos visuais de mundo recentes, incluindo modelos de geração de imagem e vídeo, atinjam realismo impressionante em benchmarks existentes, eles focam principalmente na simulação de interações físicas comuns. Isso levanta uma questão central: os modelos visuais de mundo atuais internalizam e generalizam princípios físicos? Neste trabalho, apresentamos o Tailor-Bench, um benchmark que desafia modelos de mundo a simular interações físicas irregulares. Para possibilitar uma avaliação sistemática, projetamos três modos de cenário que desafiam progressivamente o raciocínio do modelo: cenários Regulares refletem pares ferramenta-tarefa comuns; cenários Não Convencionais substituem ferramentas tradicionais por substitutos compatíveis com atributos para testar a generalização de affordances; e cenários Impossíveis introduzem ferramentas que violam atributos para sondar a consciência de restrições. Além disso, projetamos duas configurações complementares sob um protocolo de avaliação unificado: a geração preditiva requer inferir resultados sem orientação, enquanto a geração descritiva especifica o resultado alvo para realização fiel. Nossos resultados experimentais revelam uma clara lacuna de cauda longa na modelagem do mundo físico: o desempenho degrada dos cenários Regulares para os Não Convencionais e Impossíveis, indicando generalização limitada além das interações comuns. A análise de falhas mostra ainda que os modelos dependem de padrões visuais superficiais: modelos de imagem falham em realizar mudanças de estado corretas, enquanto modelos de vídeo sofrem adicionalmente com inconsistências temporais.

O interesse recente em modelos de linguagem grandes multimodais (MLLMs) levanta uma questão central: eles conseguem raciocinar sobre evidências visuais dinâmicas em vez de apenas reconhecer objetos ou eventos em quadros individuais? Essa capacidade, que denominamos raciocínio lógico-temporal de vídeo, exige que os modelos mantenham, atualizem e componham evidências à medida que os estados visuais evoluem entre os quadros. Os benchmarks de vídeo existentes frequentemente confundem essa capacidade com complexidade da cena, reconhecimento estático ou variação temporal não controlada. Para isolar essa capacidade, apresentamos o Video-MME-Logical, um benchmark controlado organizado em torno de cinco operações lógico-temporais: rastreamento de estados, contagem sequencial, ordenação temporal, espacialidade dinâmica e composição estrutural. O benchmark contém 25 categorias de tarefas detalhadas geradas com estados de objetos controlados, transições, dependências temporais e composições lógicas. Ele possibilita a avaliação controlada por dificuldade da resposta final variando o horizonte temporal e a complexidade do raciocínio, e suporta diagnósticos de estados intermediários verificando se os modelos recuperam o traço de raciocínio lógico necessário antes de produzir a resposta final. Experimentos com MLLMs de última geração revelam uma lacuna substancial entre humanos e modelos, especialmente à medida que a complexidade lógico-temporal aumenta. O ajuste fino supervisionado em até 500 mil amostras geradas melhora o desempenho, mas permanece insuficiente para fechar a lacuna de raciocínio, posicionando o Video-MME-Logical como um campo de testes escalável para analisar e melhorar o raciocínio lógico-temporal em MLLMs.

Destilação on-policy (OPD) treina um estudante em suas próprias trajetórias guiadas pelo feedback do professor e está se tornando cada vez mais importante para o pós-treinamento de modelos de linguagem de grande escala (LLMs). Assim como o aprendizado por reforço (RL), no entanto, a OPD enfrenta um gargalo de sistemas on-policy, pois as trajetórias podem dominar o tempo de treinamento para cargas de raciocínio. Pipelines de treinamento assíncrono podem aliviar esse gargalo ao desacoplar a geração de trajetórias das atualizações do aprendiz, mas isso introduz dados de política desatualizada. Embora trabalhos anteriores tenham estudado dados desatualizados em RL assíncrono, seus efeitos na OPD permanecem pouco explorados. Apresentamos o primeiro estudo sistemático da desatualização em OPD assíncrona, focando em um cenário prático onde o feedback do professor é implementado por meio de perdas KL locais e os logits do professor de vocabulário completo são muito caros para armazenar ou transferir, exigindo caches finitos de pontuações do professor. Primeiro, mostramos que a direção da KL altera o problema de dados desatualizados: a KL direta ponderada pelo professor é mais robusta a trajetórias desatualizadas, enquanto a KL reversa ponderada pelo estudante é vulnerável. Segundo, para este caso vulnerável de KL reversa, estudamos se métodos projetados para estabilizar RL assíncrono podem mitigar a desatualização da OPD. Em nossos experimentos, eles não melhoram em relação a um substituto mais simples específico da OPD: recomputar o sinal da KL reversa sob o estudante atual no momento do aprendiz. Terceiro, analisamos como caches finitos de pontuações do professor criam um compromisso entre viés e variância para estimadores de OPD de KL reversa esparsos e amostrados. Isso motiva o Monte Carlo (MC) multi-amostra, que preserva a corrigibilidade do MC enquanto reduz a variância de uma amostra. Finalmente, apresentamos e disponibilizamos como código aberto o AsyncOPD, um pipeline de treinamento OPD totalmente assíncrono construído a partir dessas escolhas de estimador. Experimentos mostram que o AsyncOPD melhora o throughput de treinamento em 1,6 a 3,8 vezes em relação ao treinamento síncrono estrito, alcançando precisão comparável.

A compreensão de vídeo é uma capacidade fundamental para a inteligência multimodal, e os recentes Modelos de Linguagem Grande Multimodais (MLLMs) alcançaram um desempenho notável em benchmarks de Resposta a Perguntas sobre Vídeo (VideoQA). No entanto, os benchmarks existentes avaliam principalmente se os modelos podem perceber pistas visuais superficiais, raramente examinando se os MLLMs podem aprender conhecimentos mais profundos ou habilidades processuais a partir de tutoriais em vídeo e generalizá-los para tarefas agênticas de longo horizonte downstream. Para preencher essa lacuna, apresentamos o VG-GUIBench (Benchmark de GUI Guiado por Vídeo), um novo benchmark projetado para avaliar se agentes GUI baseados em MLLMs podem seguir tutoriais em vídeo para concluir tarefas interativas de GUI correspondentes. Além disso, observamos que o desempenho dos modelos tanto em VideoQA quanto em tarefas agênticas guiadas por vídeo depende criticamente da extração eficaz de quadros-chave. Com base nessa observação, propomos o TASKER (Pesquisador de Quadros-Chave Orientado por Tarefa e Ciente de Cena), um algoritmo de extração de quadros-chave que considera conjuntamente a relevância da tarefa e a dinâmica da cena para identificar quadros informativos. Resultados experimentais demonstram que o TASKER alcança melhorias significativas de desempenho tanto em VideoQA quanto em benchmarks de tarefas agênticas guiadas por vídeo, superando a melhor linha de base em 2,0% no conjunto completo do EgoSchema e 1,8% no conjunto de dados NExT-QA, respectivamente. Esses resultados destacam ainda mais o potencial de métodos generalizados de extração de quadros-chave para tarefas de compreensão de vídeo. Nosso código e dados estão disponíveis em https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

O pré-treinamento moderno de LLMs em larga escala se beneficia do uso de Pipeline Parallelism; no entanto, implementações síncronas deixam GPUs ociosas durante as bolhas do pipeline, desperdiçando recursos computacionais. O Pipeline Parallelism Assíncrono elimina essas bolhas, maximizando a vazão ao custo de desatualização do gradiente. Entre os esquemas assíncronos, o PipeDream-2BW é particularmente atraente: diferentemente do esquema PipeDream original, ele garante um atraso de gradiente constante de uma etapa, independentemente da profundidade do pipeline. No entanto, sua adoção permanece limitada devido à crença comum de que a otimização sob desatualização é fundamentalmente instável. Neste trabalho, desafiamos essa suposição, demonstrando que a degradação sob atraso de uma etapa depende fortemente da escolha do otimizador, em vez de ser uma limitação intrínseca. Fornecemos a primeira análise empírica abrangente mostrando que, embora o AdamW, o otimizador predominante na época em que o PipeDream-2BW foi introduzido, de fato sofra degradação severa, métodos recentes como o Muon exibem robustez forte sob um atraso de uma etapa. Introduzimos uma correção inspirada em Error Feedback, agnóstica ao otimizador, para mitigar ainda mais os efeitos do atraso. Oferecemos análise teórica de suporte demonstrando convergência para o Muon com e sem essa correção. Uma avaliação extensa em modelos de até 10 bilhões de parâmetros confirma que nossas estratégias reduzem a lacuna de desempenho com o treinamento síncrono, destacando o potencial prático do pipeline parallelism assíncrono em larga escala.

Diferentes aplicações de fala em tempo real impõem orçamentos de latência distintos, frequentemente exigindo modelos de aprimoramento treinados separadamente para cada cenário. Neste artigo, propomos um modelo universal de aprimoramento de fala em tempo real, do tipo "um para todos", que oferece controle explícito tanto sobre a latência algorítmica quanto sobre a latência computacional. A latência algorítmica é ajustada de forma flexível por meio de quadros de antecipação configuráveis. Para evitar a ineficiência de aprendizado causada por configurações variáveis de preenchimento, introduzimos camadas convolucionais paralelas correspondentes a diferentes configurações de antecipação. A latência computacional é controlada por meio de um mecanismo de saída antecipada, permitindo inferência em diferentes profundidades da rede. Para reduzir a lacuna de desempenho entre modelos especializados e flexíveis, propomos uma estratégia de treinamento em dois estágios com uma transição de decodificador compartilhado para múltiplos. No geral, a estrutura proposta possibilita que um único modelo seja implantado em diversos orçamentos de latência sem a necessidade de retreinar modelos separados.

Avanços recentes em Gaussian Splatting 3D demonstraram sucesso sem precedentes na síntese de novas vistas. No entanto, a sobrecarga substancial de inferência e armazenamento causada por Harmônicos Esféricos (SH) de alta ordem constitui o principal gargalo para plataformas móveis. Neste artigo, apresentamos o Flux-GS, um método de Gaussian Splatting em tempo real projetado para obter renderização de alta fidelidade com sobrecarga significativamente reduzida para plataformas móveis com recursos limitados. Primeiramente, propomos um Agregador de Energia Especular de Monte Carlo, que amostra resíduos de radiância de terceira ordem e agrega energia especular em um espaço latente compacto. Dessa forma, nosso método preserva características de iluminação visualmente salientes em bandas de ordem inferior, sem necessidade de destilação ou pré-treinamento caros. Para mitigar a perda de detalhes de alta frequência durante a compressão, introduzimos um Módulo de Aprimoramento de SH Condicionado a Atributos. Esse módulo prevê deslocamentos condicionados a Gaussianas com base em atributos intrínsecos das Gaussianas, os quais aprimoram a representação de SH de primeira ordem antes da inferência, sem custos adicionais de inferência. Além disso, a densificação baseada em gradiente de vista única original é propensa a gerar Gaussianas excessivas e superajustar uma determinada vista. Abordamos essas limitações propondo uma estratégia de Densificação e Poda baseada em Alfa Multivista. Ao aproveitar a orientação multivista, garantimos consistência estrutural multivista e a remoção precisa de primitivas redundantes. Experimentos extensivos demonstram que o Flux-GS alcança uma redução substancial de parâmetros, mantendo qualidade visual competitiva, oferecendo uma solução robusta e escalável para renderização móvel em tempo real. Código: magenta{https://xiaobiaodu.github.io/flux-gs-project/}.

Modelos multimodais agentivos realizam operações diversas em uma imagem por meio de código e raciocinam sobre a visualização retornada, constituindo um paradigma eficaz para resposta a perguntas visuais de granularidade fina. No entanto, operações de código podem ser úteis, redundantes ou enganosas. Recompensas baseadas apenas no resultado não conseguem distinguir precisamente esses casos, e as recompensas de processo existentes ou falham em atribuir a correção final a chamadas individuais de ferramentas, ou exigem um modelo de julgamento externo. Para resolver isso, apresentamos a Otimização de Crédito Aumentada por Ferramentas (TACO), uma variante de GRPO para agentes de ferramentas de código construída sobre dois canais de vantagem acoplados. O primeiro, a Recompensa Diferencial de Sonda de Resposta (DAPR), é uma vantagem de contribuição de ferramenta auto-supervisionada e sem juiz, que credita cada chamada de ferramenta pelo seu próprio efeito na resposta correta. Tokens de sonda inseridos no raciocínio do modelo elicitam suas previsões com e sem a ferramenta, e a diferença na recompensa do resultado é tomada como o valor da chamada: positivo para uma chamada útil, negativo para uma chamada enganosa e zero para uma que não altera nada. Isso reutiliza o verificador de respostas existente sem um juiz auxiliar e, por ser uma diferença em vez de uma pontuação absoluta de sonda, é naturalmente robusto à manipulação de sonda. O segundo é a vantagem do resultado proveniente da resposta final, distribuída pelo Roteamento de Vantagem Controlado por Resultado (OGAR): uma regra sem parâmetros que, condicionada ao resultado da chamada, entrega esse crédito apenas aos segmentos responsáveis, suprimindo chamadas de ferramentas desperdiçadas sem qualquer termo de custo. Treinamos o TACO por meio de um pipeline de SFT+RL em dois estágios. Extensos experimentos em benchmarks de percepção, raciocínio e gerais multimodais mostram que ele produz ganhos consistentes de precisão e aprende a invocar suas ferramentas apenas quando elas ajudam.

Os benchmarks existentes de uso de computador não conseguem capturar o realismo, a complexidade e as demandas de longo horizonte do uso real de computadores, limitando sua capacidade de revelar as limitações dos agentes de fronteira. Apresentamos o OSWorld 2.0, um benchmark composto por 108 workflows de uso de computador de longo horizonte, abrangendo tarefas cotidianas e profissionais, projetado para capturar fenômenos complexos e desafiadores do mundo real. Cada tarefa representa um workflow completo e realista que leva os usuários humanos uma mediana de aproximadamente 1,6 horas para concluir e requer uma média de 318 chamadas de ferramentas com o Claude Opus 4.7 usando raciocínio máximo, em comparação com cerca de 30 no OSWorld 1.0. O OSWorld 2.0 tem como alvo fenômenos desafiadores que são comuns em workflows reais, mas sub-representados em benchmarks anteriores, abrangendo desafios de design de interação, como interação em fluxo contínuo e ambientes dinâmicos, bem como desafios de padrões de agentes, como raciocínio entre fontes, inferência de estado implícito e precisão visuoespacial. As tarefas estão fundamentadas em artefatos de entrada autênticos e são referenciadas cruzadamente com dados realistas de perfis de usuário com estado, além de incluírem relatórios de segurança separados que auditam a execução sensível à segurança. Sob nossa métrica principal de conclusão binária em 500 passos, o Claude Opus 4.8 com raciocínio máximo e chamadas de ferramentas em lote obteve o melhor resultado, mas ainda completa apenas 20,6% das tarefas, com uma pontuação parcial de 54,8%; o GPT-5.5 é muito mais eficiente em tokens, mas estagna perto de 13%. Esses resultados mostram que os agentes atuais ainda estão longe do uso profissional de computadores: em vez de tropeçarem no controle básico de GUI ou na codificação, eles perdem o controle das restrições, perdem informações que chegam no meio da tarefa, adivinham em vez de perguntar ao usuário e pulam a verificação, lutando mais quando uma tarefa depende de um estado oculto que precisam recuperar.

A maioria dos benchmarks para agentes de codificação é estática: um agente recebe uma descrição completa da tarefa de antemão e é julgado apenas pelo seu código final. A assistência real de codificação é interativa, com usuários esclarecendo objetivos, adicionando restrições e corrigindo erros ao longo de múltiplas interações. Apresentamos o SWE-Together, um benchmark de múltiplas interações reconstruído a partir de sessões reais de codificação entre usuário e agente. Para tornar as interações reais verificáveis, selecionamos 109 tarefas em nível de repositório de 11.260 sessões registradas, escolhendo sessões com estados de repositório recuperáveis, objetivos claros do usuário e resultados observáveis. Para reproduzir essas interações entre agentes, construímos um simulador de usuário reativo baseado em LLM que preserva as intenções dos usuários originais e fornece feedback quando o progresso do agente de codificação o exige. Para avaliar agentes como colaboradores, medimos tanto a correção final do repositório quanto o número de interações de feedback corretivo necessárias durante a interação. Experimentos com agentes de codificação de ponta mostram que agentes mais fortes geralmente alcançam taxas de sucesso final mais altas enquanto exigem menos intervenções, sugerindo uma experiência de usuário aprimorada.

Modelos de linguagem de fala (SLMs) têm sido amplamente estudados, com o paradigma comum incorporando dados de texto e LMs de texto pré-treinados. Uma abordagem principal é a intercalação de fala e texto, na qual os modelos são treinados em sequências contendo tanto tokens de fala quanto de texto, visando impulsionar até mesmo capacidades exclusivas de fala. No entanto, a forma como essas duas modalidades interagem no espaço latente do modelo permanece incerta. Neste trabalho, analisamos LMs intercalados de fala e texto de diferentes famílias e tamanhos de modelos através do escopo da lente logit para fornecer tal compreensão. Revelamos que esses modelos passam por uma fase de transcrição implícita na qual o token de texto da palavra falada se torna decodificável em camadas intermediárias, apesar de não serem treinados para reconhecimento de fala. A transcrição da palavra aparece como uma das principais palavras candidatas para até 77% dos dados. Após essa etapa, os modelos passam a prever a próxima palavra no espaço do texto antes de retornar ao domínio da fala. Finalmente, analisamos o papel dos dados de intercalação e da inicialização a partir de LMs de texto em induzir esse comportamento, bem como observamos como isso se correlaciona com habilidades de conhecimento falado. Nossa análise lança luz sobre os mecanismos internos subjacentes à relação entre as modalidades de fala e texto e pode moldar a otimização de SLMs.

Os dados, como substrato fundamental da inteligência moderna, impulsionaram significativamente o desenvolvimento dos atuais modelos de base. Naturalmente, os pesquisadores buscam estender esse paradigma ao domínio dos agentes de GUI, na esperança de construir agentes de GUI robustos por meio de um paradigma semelhante. No entanto, os dados de agentes de GUI não podem ser coletados diretamente da internet, tornando seu custo elevado e difícil de obter em escala. Como resultado, os atuais agentes de GUI sofrem de baixa generalização entre dispositivos e capacidade limitada de ancoragem visual para elementos granulares de GUI. Como uma tentativa de enfrentar o desafio de dados em agentes de GUI, propomos o GUICrafter, um agente de GUI fracamente supervisionado que utiliza capturas de tela não anotadas em larga escala para reduzir substancialmente a dependência de anotações humanas caras. O GUICrafter explora uma estrutura de aprendizado curricular para treinar agentes de GUI por meio de duas etapas progressivas. Primeiro, o modelo aprende ancoragem visual a partir de capturas de tela e páginas da web não anotadas em grande escala, aproveitando os ricos sinais contextuais inerentes às interações de GUI sem anotações humanas. Em seguida, na Etapa 2, utilizamos uma pequena quantidade de dados de alta qualidade para calibrar o modelo por meio de aprendizado por reforço. Experimentos mostram que o GUICrafter alcança desempenho competitivo, ou até superior, a sistemas avançados como UI-TARS, utilizando apenas 0,1% de seus dados. Além disso, sob a mesma quantidade de dados anotados, o GUICrafter supera todos os métodos anteriores, como GUI-R1. Código, dados e modelos estão disponíveis em https://github.com/fansunqi/GUICrafter.

Apresentamos o DreamForge-World 0.1 Preview, um modelo de mundo fundamental de pré-visualização para simulação interativa de mundo em tempo real. O sistema adapta a pilha de vídeo autorregressiva LongLive 1, derivada do Wan2.1-T2V-1.3B, com uma via de ação residual inspirada na família Matrix-Game. O DreamForge-World 0.1 Preview concentra-se em um eixo complementar aos simuladores de mundo de escala de fronteira: adaptação de baixo computacional, execução em GPU de consumo e ampla cobertura de capacidade interativa. Suporta controle ao vivo por teclado e mouse, inicialização multimodal, re-prompting em meio ao fluxo, operação em visão dupla e simulações interativas em escala de minutos na resolução nativa de 480p, atingindo até 14 a 15 FPS em uma única RTX 4090 com baixo consumo de memória. Ao aproveitar backbones de vídeo abertos e aplicar execuções de adaptação direcionadas, construímos o sistema de pré-visualização com alta eficiência de custo. O DF-World 0.1 Preview ainda não é um simulador de mundo completo em memória ou de qualidade de fronteira, mas demonstra uma rota prática de baixo computacional para pré-visualizações de modelo de mundo controláveis em tempo real em GPUs de consumo.

Apesar dos avanços impressionantes em matting de imagem, o matting de vídeo continua sendo desafiador devido à lacuna inerente entre o rastreamento de alto nível, que requer compreensão quadro a quadro, e o matting de baixo nível, que foca em detalhes extremamente finos. Os métodos existentes tentam isso com conjuntos de dados de matting de vídeo caros e de escopo restrito, o que pode limitar a generalização fora do domínio e comprometer a robustez do rastreamento. Repensamos o paradigma com o SAM2Matting, uma estrutura de rastreador para matting que avança os rastreadores VOS para matting de vídeo de alta fidelidade. Especificamente, ele desacopla a tarefa ao aprimorar um rastreador fundamental (por exemplo, SAM2, SAM3) com uma ponte de proposta de região e cabeças de matting dedicadas, permitindo que o rastreador não comprometido lide com a consistência temporal enquanto os componentes de matting resolvem detalhes finos. Notavelmente, apesar de ser treinado apenas em imagens, o SAM2Matting estabelece um novo desempenho de estado da arte em matting de vídeo, suporta diversos tipos de prompt, mantém forte consistência temporal e demonstra generalização robusta tanto em cenários centrados em humanos quanto em cenários in-the-wild.

Fluxos Normalizadores (NFs) são modelos generativos poderosos capazes de estimação exata de densidade e amostragem. No entanto, sua rigorosa invertibilidade frequentemente força o modelo a esgotar sua capacidade em detalhes de pixels de baixo nível, dificultando a captura de estruturas semânticas de alto nível. Embora a Modelagem de Imagens Mascaradas (MIM) tenha se destacado na aprendizagem de representações, sua integração em pipelines generativos permaneceu amplamente modular e desconexa. Neste artigo, propomos o MIMFlow, uma estrutura unificada ponta a ponta que otimiza conjuntamente semânticas latentes, reconstrução de pixels e fluxo generativo. Ao empregar um codificador VAE para inferir latentes semânticos a partir de imagens mascaradas, o MIMFlow alcança uma separação fundamentada da tarefa generativa: o Fluxo Normalizador concentra-se em modelar uma variedade semântica simplificada e de baixa frequência, enquanto um decodificador especializado lida com a síntese de alta frequência. Esse design resolve efetivamente o gargalo inerente de capacidade dos NFs, permitindo que o modelo priorize a coerência estrutural global em detrimento do ruído redundante. Resultados empíricos no ImageNet 256×256 mostram que o MIMFlow-L atinge 71,3% de precisão de sondagem linear e um FID de 2,50. Apesar de utilizar apenas 128 tokens (50% a menos que modelos padrão), ele produz um ganho de desempenho de 32,8% em relação a linhas de base de NF de escala similar. Nosso código está disponível em https://github.com/MCG-NJU/MIMFlow.

A pesquisa em previsão de séries temporais tem avançado consistentemente em direção a arquiteturas maiores, desde transformadores especializados até modelos fundamentais de propósito geral, sob a premissa de que a capacidade é o que desbloqueia a acurácia. Adotamos a posição oposta: a maior parte da lacuna pode ser reduzida a um custo muito menor ajustando o pré-processamento, em vez de escalar modelos. Utilizamos a regressão Ridge como plataforma de teste, por ter solução de forma fechada e pesos interpretáveis, que permitem que os hiperparâmetros ótimos sejam lidos diretamente da busca. Buscamos por comprimento de contexto, normalização local, regularização e aumento de dados em oito referências padrão e encontramos três padrões. (1) O olhar para trás ótimo é fortemente específico da série e frequentemente não monotônico em relação ao horizonte de previsão, com expoentes de lei de potência ajustados variando de +0,46 no ETTm2 a -0,19 no Exchange e Traffic, desafiando a convenção de que horizontes mais longos exigem históricos mais longos. (2) Normalizar sobre uma fração final aprendida do contexto, em vez de sua totalidade, é quase universalmente preferido. (3) Séries dentro do mesmo conjunto de dados frequentemente discordam quanto aos hiperparâmetros; o grau ótimo de compartilhamento entre séries varia desde totalmente compartilhado até totalmente por série. Os modelos resultantes superam previsores lineares anteriores na maioria das entradas de conjunto de dados e horizonte e excedem as linhas de base de Transformer, MLP e CNN em seis de oito referências. Os hiperparâmetros otimizados também servem como diagnóstico dos próprios dados, revelando estruturas que modelos maiores absorvem silenciosamente em seus parâmetros aprendidos.

Propomos o Nemotron-Labs-Diffusion-Image, um modelo de difusão discreta mascarada (MDM) de ponta para síntese de texto para imagem de alta resolução. Em comparação com trabalhos anteriores em geração de imagens mascaradas, o Nemotron-Labs-Diffusion-Image aborda dois desafios principais. Primeiro, ao contrário dos modelos de difusão contínua, que refinam progressivamente representações latentes em toda a imagem, os MDMs padrão carecem de capacidade de autocorreção, pois tokens discretos não podem ser modificados uma vez que são desmascarados. Segundo, embora aumentar o tamanho do vocabulário dos tokenizadores de imagem discretos melhore a fidelidade da reconstrução, isso introduz dificuldades de otimização para a modelagem generativa, pois o sinal de treinamento por token torna-se cada vez mais esparso. Para lidar com o primeiro desafio, o Nemotron-Labs-Diffusion-Image incorpora um mecanismo de edição de tokens que permite ao modelo revisar dinamicamente tokens já desmascarados durante a inferência, de forma similar a como um escultor refina iterativamente seu trabalho. Para enfrentar o segundo desafio, propomos um objetivo de Entropia Cruzada Agrupada (GCE) que atribui sinais de aprendizado positivos a tokens vizinhos ao valor real no espaço de embeddings, aliviando assim a esparsidade do sinal. Para melhorar ainda mais a eficiência do treinamento, implementamos um operador fundido personalizado para GCE que reduz significativamente o uso de VRAM em configurações de vocabulário grande. Resultados experimentais demonstram que essas inovações melhoram substancialmente tanto a eficiência do treinamento quanto a fidelidade da imagem de geradores de imagens discretas mascaradas, alcançando uma pontuação de 0,90 no GenEval, 86,9 no DPG e 10,76 no HPSv3.

O conhecimento matemático está organizado em torno de afirmações e suas dependências, mas essa estrutura é exposta de maneira desigual: artigos informais citam principalmente ao nível do documento, enquanto bibliotecas formais registram dependências refinadas sobre um corpo de matemática muito menor. Apresentamos o TheoremGraph, um grafo de dependências unificado a nível de afirmações que abrange tanto a matemática informal quanto a formal. No lado informal, analisamos 11,7 milhões de ambientes semelhantes a teoremas do arXiv de matemática e recuperamos 18,3 milhões de dependências direcionadas candidatas, cada uma rotulada pelo extrator que a propôs, para que usuários downstream possam equilibrar cobertura e precisão. No lado formal, disponibilizamos o LeanGraph, um extrator a nível de elaborador do Lean 4 que produz 388.105 nós de declaração e 11,3 milhões de arestas tipadas em 25 projetos Lean. Estabelecemos uma ponte entre os dois grafos ao incorporar slogans em linguagem natural gerados em um espaço semântico compartilhado, vinculando afirmações relacionadas entre artigos e através da divisão informal/formal; um juiz LLM confirma 47.952 dessas correspondências acima de um limiar de cosseno de 0,8, com a taxa de aceitação do juiz subindo de 48% nesse limiar para 87% no nível >=0,9. Na recuperação de conceitos formais, nossa representação por nome e assinatura com expansão de grafo fica a 0,5 pp do Recall@10 reordenado do LeanSearch v2 (0,775 vs. 0,780) sem um reordenador LM. Disponibilizamos o conjunto de dados, os extratores, a API HTTP e a interface MCP como infraestrutura para busca matemática, atribuição e raciocínio aumentado por recuperação, em theoremsearch.com e huggingface.co/datasets/uw-math-ai/theorem-matching.

Agentes de LLM processam solicitações de usuários em nome de organizações por meio de chamadas de ferramentas e devem seguir as políticas empresariais declaradas em seus prompts de sistema. Trabalhos anteriores tratam isso como um problema de salvaguarda — verificações externas que bloqueiam ações do agente não conformes. Argumentamos que a adesão às políticas é um problema mais amplo: fluxos de trabalho reais se desenrolam ao longo de muitos turnos, exigem confirmação explícita do usuário e leituras prévias necessárias, e dependem do conteúdo do diálogo, não de um único valor de argumento. Atender a esse padrão requer (i) contexto completo da conversa, (ii) autorreflexão sobre a política e o diálogo corrente, e (iii) remediação específica à conversa que oriente o próximo turno do agente — três capacidades que trabalhos anteriores de salvaguarda frequentemente subestimaram. Apresentamos o POLICYGUARD, um verificador subagente que compartilha a visão do agente sobre o diálogo, raciocina sobre a política em contexto e fornece feedback acionável para o próximo turno do agente. No tau^2-BENCH airline, em três fornecedores (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) com quatro tentativas por configuração, o POLICYGUARD melhora o PASS4 em +12,0 / +6,0 / +12,0 pontos percentuais. Análises por chamada mostram que o POLICYGUARD alcança maior recall de violação de políticas enquanto bloqueia aproximadamente metade das vezes em relação aos guardas em nível de argumento.

Sistemas interativos de geração de vídeo para exploração de mundos controlados por câmera produzem sequências crescentes de quadros latentes de vídeo, entrelaçando a transição de estado com a síntese de observação de alta frequência. Propomos o Caminhar no Implícito, um paradigma centrado na cena que altera a variável de rollout de latentes de quadros para um estado implícito de comprimento fixo e renderizável, denominado Cena Neural Implícita (NIS). Isso fatora a geração interativa em transição estocástica de um estado de cena compacto e renderização determinística condicionada à pose, dado o estado amostrado. Instanciamos este paradigma como NeuWorld: um VAE transformer aprende NIS localmente ancoradas a partir de quadros esparsos com pose, e um transformer de difusão evolui a NIS condicionada a trajetórias futuras da câmera e a histórico recuperado com noção geométrica. Reutilizando o codificador do VAE como um condicionador unificado, o NeuWorld mapeia pistas da câmera, imagens de referência e histórico para a mesma modalidade NIS, evitando codificadores externos heterogêneos. Treinado do zero em dados públicos de visão com pose, sem backbones de vídeo pré-treinados ou reconstrutores 3D auxiliares, o NeuWorld alcança forte consistência de longo horizonte com eficiência de inferência favorável.

RocketSmith é um sistema agêntico que automatiza de forma inteligente o processo de DFAM (Projeto para Manufatura Aditiva) para o desenvolvimento de foguetes de alta potência adequados para lançamento. O sistema utiliza um grande modelo de linguagem para orquestrar a execução de ferramentas de software, validando características de projeto, como estabilidade de voo, e gerando os componentes paramétricos de projeto para a montagem do foguete. Um conjunto de subagentes e habilidades possibilita fluxos de otimização de parâmetros de voo por meio de iteração, tanto em fluxos de trabalho zero-shot quanto com humano no circuito. Com este sistema, quatro foguetes de alta potência distintos, com diversas configurações de motor e montagem, foram desenvolvidos utilizando as capacidades únicas de projeto da manufatura aditiva. Esses componentes de montagem foram fabricados com várias impressoras FDM, avaliados manualmente quanto à prontidão para voo e testados em voo durante um evento de lançamento. A partir desses testes, todos os foguetes alcançaram um lançamento estável e dois dos quatro foguetes foram recuperados com sucesso em condição reutilizável. Os dados do altímetro validaram que os foguetes atingiram uma altitude correspondente a 80% do apogeu esperado, previsto pelo sistema agêntico, estabelecendo consistência entre simulação e experimentação.

Prever a dificuldade de itens humanos é central para a avaliação educacional, onde estimativas confiáveis apoiam a equidade e a construção eficaz de testes. Métodos existentes frequentemente dependem de calibração humana custosa ou de representações textuais no nível do item, fornecendo evidências limitadas sobre os processos cognitivos que tornam os itens difíceis. Argumentamos que a dificuldade deve ser vista não apenas como uma propriedade do texto do item, mas também como uma consequência observável da carga de resolução de problemas que um item impõe. Modelos de Raciocínio em Grande Escala (LRMs) oferecem evidências processuais escaláveis por meio de traços de raciocínio, mas tais evidências precisam ser estruturadas para modelagem interpretável. Para esse fim, introduzimos o Epi2Diff (Episódio para Dificuldade), uma estrutura que mapeia traços de raciocínio de LRMs em sequências de episódios fundamentados cognitivamente. Esses episódios agrupam segmentos de traços em estados funcionais de resolução de problemas, permitindo que a dificuldade seja modelada por meio da escala de raciocínio, alocação de esforço e transições de estado. O Epi2Diff extrai características compactas de dinâmica de episódios e as combina com representações semânticas de itens para previsão de dificuldade humana. Experimentos em quatro conjuntos de dados reais de dificuldade humana mostram que o Epi2Diff supera consistentemente linhas de base fortes, incluindo modelos de linguagem pequenos ajustados, aprendizado em contexto de LLM e adaptação supervisionada de LLM. Em benchmarks de classificação derivados do SAT, o Epi2Diff alcança um ganho relativo médio de 8,1% sobre as linhas de base de ajuste fino supervisionado de LLM. Análises adicionais mostram que itens mais difíceis induzem dinâmicas de episódios mais esforçadas, iterativas e centradas na implementação, em vez de apenas respostas mais longas. Esses resultados demonstram que episódios cognitivos em traços de raciocínio de LRMs fornecem uma representação processual preditiva e interpretável para a dificuldade de itens humanos, oferecendo uma nova perspectiva para a medição educacional com modelos de raciocínio.

Métodos de ancoragem de GUI baseados em MLLM geralmente formulam a localização do alvo como geração autorregressiva de coordenadas, permitindo que os modelos aproveitem as fortes capacidades de compreensão semântica e de seguir instruções dos MLLMs. No entanto, essa formulação exige que o modelo retenha evidências do alvo em nível de região enquanto decodifica tokens de coordenadas com a precisão espacial exigida para cliques em GUI. Nossa análise diagnóstica revela que a consciência da região-alvo emerge nas camadas intermediárias do decodificador, mas não é retida nem traduzida na predição final de coordenadas. Métodos existentes do tipo ZoomIn abordam esse problema por meio de uma passagem externa de recorte e reexecução, que melhora a localização, mas aumenta a latência ponta a ponta e o custo computacional. Para reter os benefícios de precisão do zoom de duas passagens sem esse custo extra, propomos o InnerZoom, uma estrutura de passagem única para ponte de evidência entre camadas. O InnerZoom transforma pistas relacionadas ao alvo da passagem direta original em um estado compacto de evidência entre camadas, depois preserva, refina e reinjeta esse estado ao longo das camadas posteriores do decodificador para guiar a predição de coordenadas. Resultados experimentais extensos sugerem que o InnerZoom-4B alcança desempenho de última geração em todos os seis benchmarks de ancoragem de GUI, obtendo 64,7 no OSWorld-G, 40,2 no UI-Vision, 73,1 no OSWorld-GR e 87,6 no MMBench-GUI, superando os melhores resultados anteriores em 4,1, 3,2, 2,9 e 2,3 pontos, respectivamente. Em um cenário controlado de 4B, o InnerZoom melhora a mesma linha de base SFT+RL em 5,3 pontos em média e supera o ZoomIn de duas passagens em 1,3 pontos em média, ao mesmo tempo que reduz a latência ponta a ponta em até 31,8% e os TFLOPs em cerca de 29%. Código e modelos serão disponibilizados publicamente.

Adaptar um codificador de visão-linguagem fundamental a uma tarefa especializada de recuperação cria uma troca fundamental: ganhos na distribuição alvo ocorrem às custas da ampla generalização do modelo fundamental, e a recuperação de moda é um caso rigoroso desse problema. Apresentamos o ZooClaw-FashionSigLIP2, um modelo SigLIP2-base especializado em moda que resolve essa troca com uma receita simples — ajuste fino completo com destilação de conhecimento em dados internos curados, seguido de interpolação de pesos \wiseft~wortsman2022wiseft com o modelo base — e supera LoRA, backbones maiores (até 1 bilhão de parâmetros) e dados de treinamento externos. Sob avaliação justa, o ZooClaw-FashionSigLIP2 supera todas as linhas de base em todos os benchmarks do nosso conjunto. Além disso, disponibilizamos o ZooClaw-Fashion, um novo benchmark de recuperação de moda de alta qualidade, e uma análise sistemática da qualidade de benchmarks amplamente utilizados, que expõe e mitiga vieses estruturais em seus ground truths públicos. Disponibilizamos em código aberto os pesos do modelo e todos os artefatos de avaliação para facilitar pesquisas futuras.

O design molecular generativo é moldado por benchmarks substitutos simples para propriedades semelhantes a fármacos e por modelos pré-treinados em grandes conjuntos de dados farmacêuticos. Essa combinação gera métricas de benchmark robustas, mas limita a transferibilidade para domínios estruturalmente distintos da descoberta de fármacos. Para superar essa limitação e direcionar a descoberta para alvos reais e cientificamente fundamentados, apresentamos o Benchmark de Otimização Molecular em Nanotecnologia (NMO), que une o aprendizado de máquina (ML) e a ciência dos materiais quânticos. O NMO atua simultaneamente como um ambiente de testes rigoroso para a comunidade de ML e como um motor de descoberta para a pesquisa em nanotecnologia. A suíte substitui oráculos substitutos por simulações quânticas e introduz protocolos estritos que priorizam a utilidade científica em detrimento do sobreajuste orientado a rankings. As tarefas do NMO, baseadas em física, impõem restrições estruturais rígidas e paisagens de adaptação acidentadas, estabelecendo requisitos fundamentalmente novos para modelos generativos. Notavelmente, métodos avançados de otimização molecular apresentam desempenho inferior a abordagens muito mais simples nas tarefas do NMO. Desenvolvemos um novo método de referência que identifica os componentes críticos para resolver as tarefas do NMO, incluindo uma nova representação para modelar restrições estruturais e uma estratégia de pré-treinamento independente de domínio para eliminar o viés de conjuntos de dados farmacêuticos. Nossos resultados superam as propriedades físicas do estado da arte e revelam motivos estruturais anteriormente desconhecidos, oferecendo novos insights para a comunidade de nanotecnologia e demonstrando que o ML pode impulsionar descobertas científicas genuínas.

Em aplicações do mundo real, as barreiras de proteção são frequentemente esperadas para identificar interações inseguras entre usuário e modelo de acordo com políticas de segurança específicas da aplicação, em vez de depender de taxonomias de risco predefinidas. Neste trabalho, estudamos esse cenário sob o paradigma de defesa de políticas no contexto, onde as barreiras de proteção preveem violações de segurança com base em especificações de políticas fornecidas no contexto. Para avaliar sistematicamente essa capacidade, introduzimos o SafePyramid, um benchmark de segurança composto por 1.000 conversas multiturno em 10 domínios e 3.000 políticas específicas de aplicação correspondentes, que juntas contêm 61.699 regras distintas em linguagem natural. O SafePyramid organiza a avaliação em três níveis de dificuldade: L0 avalia a compreensão de regras individuais, L1 avalia o raciocínio sobre dependências entre regras e L2 avalia a adaptação a arcabouços de políticas completamente novos definidos no contexto. Para garantir a qualidade do benchmark, empregamos um pipeline rigoroso de múltiplas etapas para construir e validar o benchmark. Utilizando o SafePyramid, avaliamos 10 LLMs de fronteira e 5 barreiras de proteção configuráveis por políticas e descobrimos que a defesa de políticas no contexto continua sendo altamente desafiadora: mesmo o modelo de melhor desempenho, GPT-5.5, identifica exatamente o conjunto completo de regras violadas em apenas 54,0%, 35,3% e 12,9% dos casos nos níveis L0, L1 e L2, respectivamente. Esses resultados destacam as limitações das barreiras de proteção atuais e clamam por barreiras de proteção de políticas no contexto mais robustas, capazes de executar políticas de forma confiável, resolver dependências entre regras e se adaptar a novos arcabouços de políticas.

O surgimento dos Modelos de Raciocínio em Grande Escala introduziu cadeias de pensamento excepcionalmente longas, criando um ônus de transparência onde a lógica crítica frequentemente se perde sob textos procedimentais massivos. Para lidar com isso, apresentamos o ReasoningLens, uma estrutura de código aberto projetada para a visualização hierárquica e auditoria diagnóstica de cadeias de raciocínio complexas. O ReasoningLens aborda a necropsia de informações por meio de: (1) estruturação de rastros em hierarquias interativas que separam a estratégia de alto nível da execução de baixo nível; (2) utilização de um auditor baseado em agente para detecção automatizada de erros e verificação aumentada por ferramentas; e (3) síntese de perfis sistêmicos de raciocínio para revelar pontos cegos específicos do modelo. Ao transformar paredes não estruturadas de texto em insights acionáveis, o ReasoningLens fornece uma base modular para interpretar, depurar e otimizar a próxima geração de IAs centradas em raciocínio.

Arquiteturas de Mistura de Especialistas (MoE) emergiram como um paradigma poderoso para escalar modelos de difusão na geração visual. Avanços recentes têm se concentrado na alocação adaptativa de recursos computacionais entre tokens diversos para melhorar a eficiência e o desempenho. No entanto, identificamos um problema de atribuição de roteamento em estruturas MoE de difusão existentes: o roteador falha em alocar com precisão mais recursos computacionais para tokens salientes. Nossa análise atribui essa falha à dependência do roteador em características latentes corrompidas por ruído ao longo do processo de remoção de ruído. Esse ruído estocástico obscurece as informações estruturais e texturais críticas, impedindo assim que o roteador distinga efetivamente os tokens salientes. Para resolver isso, propomos o SharpMoE, uma estrutura pós-treinamento com um mecanismo de roteamento preciso que aproveita a saliência, utilizando características latentes limpas como um sinal de orientação livre de ruído para o roteamento. Ao contornar as entradas distorcidas por ruído, o SharpMoE fornece ao roteador uma orientação clara de saliência, permitindo a identificação de tokens salientes mesmo em estágios de alto ruído. Além disso, introduzimos uma perda de roteamento de trajetória para restringir a alocação de computação ao longo da trajetória de remoção de ruído em várias etapas, garantindo uma alocação precisa de recursos ao longo da implementação da geração. Experimentos extensivos demonstram que o SharpMoE atua como uma solução versátil e plug-and-play que aprimora ainda mais os modelos MoE pré-treinados e convergidos, alcançando desempenho de estado da arte na geração visual.

A reconstrução 4D de movimento das mãos a partir de vídeo egocêntrico é limitada por claras deficiências dos métodos existentes: pipelines baseadas em imagens dependem de um detector que falha sob oclusão pesada, enquanto métodos baseados em vídeo dependem de módulos temporais aprendidos apenas a partir de anotações escassas de pose de mãos, um sinal estreito insuficiente para modelar a dinâmica do movimento, o raciocínio de oclusão e a interação mão-objeto. Essas capacidades, no entanto, são exatamente o que os modelos generativos de vídeo devem adquirir implicitamente quando treinados para sintetizar vídeos coerentes em escala da internet. Motivados por isso, apresentamos o ViDiHand, que aproveita as representações de um modelo de difusão de vídeo pré-treinado para reconstruir a pose 4D de duas mãos. Nós o adaptamos por meio de um objetivo de renderização de sobreposição de mãos que especializa suas características para mãos, preservando seus priors mundiais. Um decodificador então recupera a pose em escala métrica a partir das características adaptadas. Toda a pipeline opera diretamente em quadros completos – sem detector, sem preenchedor e sem otimização em tempo de teste. No ARCTIC, HOT3D e HOI4D, o ViDiHand supera substancialmente os métodos anteriores, estabelecendo os modelos de difusão de vídeo como uma nova base poderosa para a reconstrução de movimento das mãos e uma rota promissora para a coleta escalável de dados in-the-wild para IA incorporada. Página do projeto: https://vidihand.github.io.

Modelos Visão-Linguagem-Ação (VLA) possibilitam manipulação robótica guiada por instruções, mas herdam backbones de linguagem superdimensionados de VLMs pré-treinados, cuja capacidade excede em muito o necessário para instruções robóticas curtas. Isso levanta uma questão fundamental: quanto de um modelo VLA é realmente necessário para controle em malha fechada? Neste trabalho, estudamos a redundância arquitetural em modelos VLA utilizando a remoção de blocos transformadores como uma intervenção controlada. Apresentamos o Abandono-Então-Recuperação (DTR), um protocolo de análise que remove blocos selecionados de um modelo VLA pré-treinado e, em seguida, ajusta finamente o modelo resultante para medir se a capacidade removida era necessária para o controle downstream. Para tornar essa intervenção confiável, propomos o GateProbe, uma métrica de sensibilidade de portão virtual de um único disparo que classifica blocos por sua contribuição para a perda de ação downstream. Em múltiplas arquiteturas VLA, benchmarks de manipulação e até cenários industriais reais com robôs, encontramos uma forte assimetria na recuperabilidade pós-remoção: \textit{backbones de linguagem são altamente redundantes para tarefas padrão de manipulação robótica, enquanto as vias de visão e ação são substancialmente menos tolerantes à remoção}. No LIBERO, remover metade dos blocos LLM chega a melhorar o OpenVLA-OFT de 95,0% para 98,3% sob o mesmo orçamento de ajuste fino downstream, e reter apenas dois blocos de linguagem ainda recupera o desempenho no nível basal. Esses resultados sugerem que os atuais benchmarks VLA podem exercer pressão limitada sobre a fundamentação linguística profunda e a compreensão composicional de instruções, e que futuras arquiteturas VLA devem alocar capacidade de forma mais deliberada entre os componentes de linguagem, visão e ação. O código está disponível em https://github.com/s1ghhh/VLADrop.

Sistemas de múltiplos agentes baseados em grandes modelos de linguagem (LLMs) frequentemente dependem de agentes verificadores e críticos para suprimir alucinações, mas a verificação é atrasada. Durante esse atraso, alegações falsas podem se propagar pela rede de agentes. Modelamos esse processo como consenso atrasado em um grafo com nós corretores fundamentados. A decomposição espectral pelo Laplaciano fundamentado produz um limiar de estabilidade de forma fechada para a dose de verificação: correção muito forte ou muito atrasada pode transformar consenso em oscilação. O regime mais instável ocorre quando os atrasos de comunicação e verificação coincidem; para atraso dois, o limiar é a razão áurea inversa. O mesmo arcabouço fornece um objetivo de posicionamento supermodular e uma regra de aproximação gulosa (1-1/e) para atribuir um orçamento limitado de correção a nós influentes. Experimentos em cinco modelos abertos confirmam as oscilações previstas de dose-atraso. Em contraste, a resposta factual fundamentada torna a verdade uma fronteira absorvente e elimina o efeito, sugerindo que a instabilidade é específica de tarefas de crença com sinal, enquanto a verificação fundamentada permanece estabilizadora.

Trabalhos recentes demonstraram o potencial dos modelos de linguagem de grande porte (LLMs) para otimização de programas, um desafio fundamental em linguagens de programação. Propomos um método de adaptação de caixa-preta chamado Retrieval Augmented Search (RAS), que realiza busca em feixe sobre otimizações candidatas; a cada etapa, ele recupera exemplos no contexto de um conjunto de dados de treinamento de pares de programas lentos-rápidos para orientar o LLM. Criticamente, descobrimos que a recuperação contextual baseada em uma descrição em linguagem natural gerada pelo LLM supera significativamente a recuperação baseada no código-fonte. Também propomos AEGIS, um método para melhorar a interpretabilidade ao decompor exemplos de treinamento em "edições atômicas" que são significativamente mais incrementais por natureza. Mostramos que o RAS apresenta desempenho até 2,06 vezes superior ao das estratégias de adaptação de caixa-preta do estado da arte anterior na otimização de programas em C++, e que o AEGIS apresenta desempenho até 1,37 vezes superior, realizando edições significativamente menores. Também mostramos que o uso do RAS melhora o percentil do tempo de execução médio de programas Python em 10,27 em comparação com as linhas de base.

O avanço de modelos de IA generativa capazes de produzir texto e imagem representa um passo crítico no domínio da inteligência multimodal, particularmente para tarefas que envolvem a intercalação de ambas as modalidades. Para avançar essa inteligência ao próximo estágio, é crucial que os modelos gerem autonomamente sequências intercaladas livres de texto e imagem. Neste artigo, apresentamos o ILLUME-X, um paradigma multimodal unificado avançado que possibilita a geração intercalada livre de alta qualidade de texto e imagem ao melhorar a eficiência de dados multimodais e estabilizar o processo de treinamento multimodal. O ILLUME-X compreende três componentes principais: (i) um pipeline de dados de treinamento expandido otimizado para geração intercalada de texto e imagem, (ii) uma estratégia de treinamento progressivo com objetivos autoadaptativos para sequências de tokens multimodais de comprimento livre, e (iii) um método de avaliação objetivo e abrangente, ILScore, para sequências intercaladas de texto e imagem. Notavelmente, nosso ILLUME-X supera modelos unificados anteriores em diversas tarefas de geração intercalada de texto e imagem, como transferência de estilo, decomposição de imagem e narração de histórias.

Auto-colisão continua sendo um desafio persistente na estimativa de pose humana e geração de movimento baseadas em SMPL. Sob articulações extremas ou síntese de movimento estocástico, malhas geradas frequentemente exibem autopenetrações, levando a resultados fisicamente implausíveis. Propomos PoseShield, uma restrição neural de colisão definida diretamente no espaço de poses do SMPL. Formulamos a correção de colisão como um problema de otimização restrita e conectamos a restrição aprendida com a equação Eikonal. A imposição da regularização Eikonal garante gradientes não nulos próximos à fronteira de colisão, melhorando a estabilidade numérica e a robustez do processo de otimização. Diferentemente de métodos anteriores que operam no espaço da malha ou dependem de penalidades heurísticas, nossa abordagem opera diretamente no espaço de baixa dimensionalidade das poses humanas e é teoricamente fundamentada. A mesma restrição aprendida se estende a sequências de movimento humano, fornecendo um corretor de colisão post-hoc, agnóstico em relação ao gerador, sem necessidade de retreinar o modelo de movimento subjacente. Experimentos em um novo benchmark de poses SMPL mostram que nosso método atinge uma taxa de sucesso de 95,8% e supera as linhas de base de última geração.

Os modelos atuais de confiabilidade representacional em populações neurais focam na estabilidade temporal: se os centroides da população são preservados entre sessões e dias. Esse enquadramento deixa uma questão fundamental sem resposta: com que confiabilidade a estrutura de distância pareada entre estímulos se reproduz em observações independentes dentro de uma sessão? Argumentamos que essa propriedade, estabilidade geométrica, constitui um eixo independente de análise representacional que os frameworks existentes não capturam. Formalizamos a estabilidade geométrica como a correlação de postos de Spearman entre matrizes de dissimilaridade representacional split-half (Shesha) e mostramos que ela é empiricamente dissociável tanto da estabilidade temporal quanto da precisão de decodificação. Em 229 observações de área-sessão abrangendo 68 regiões cerebrais em uma tarefa de discriminação visual (Steinmetz et al., 2019), a estabilidade geométrica prevê o acoplamento neural-comportamental tentativa a tentativa (ρ = 0,18, p = 0,005), enquanto a deriva do centroide não (ρ = 0,002, p = 0,976). A hierarquia regional, com o estriado mais estável (S = 0,44) e o hipocampo menos (S = 0,19), é aproximadamente oposta à hierarquia de estabilidade temporal. Dados olfativos direcionalmente consistentes (Bolding & Franks, 2018) motivam um modelo de rede atratora no qual o acoplamento excitatório recorrente amplifica a consistência da MDR split-half ao completar padrões de estímulo a partir de entrada feedforward esparsa (ρ = +0,64, p = 0,010), fornecendo uma explicação em nível de circuito de como a estabilidade geométrica emerge. Esses resultados estabelecem a estabilidade geométrica como uma propriedade funcionalmente relevante e dependente de circuito dos códigos populacionais neurais, ortogonal às medidas de deriva temporal e complementar a relatos recentes de como a conectividade recorrente equilibra a estabilidade representacional com a dinâmica sequencial em circuitos hipocampais.

Estudamos a modelagem do mundo condicionada à ação como uma forma escalável de aprender prioris dinâmicas transferíveis para a aprendizagem robótica. Ao pré-treinar um modelo para prever como as ações direcionam a evolução da cena visual, o modelo de mundo resultante captura dinâmicas de interação reutilizáveis além da geração de vídeos no nível de aparência. Concretamente, pré-treinamos um modelo de mundo difusivo base interativo multivisual, A2World, em dados de manipulação robótica em larga escala com anotações reais de ações. Validamos as prioris dinâmicas aprendidas a partir de duas perspectivas complementares. Primeiro, adaptamos o A2World em um simulador do mundo real especializado em tarefas ou cenas, A2World-sim, cujas trajetórias de longo horizonte suportam a avaliação de políticas baseada em simulador e análise escalável de cenários hipotéticos, substituindo simulações com robô real por simulações com o modelo de mundo. Segundo, partindo dos mesmos pesos pré-treinados, adaptamos o A2World em um modelo de predição conjunta de vídeo-ação, A2World-policy, que prevê ações sob condicionamento visual e instrucional. Experimentos em benchmarks de simulação e cenários com robôs reais demonstram que o pré-treinamento do modelo de mundo condicionado à ação produz prioris dinâmicas transferíveis que beneficiam tanto a aprendizagem robótica centrada no simulador quanto a centrada na política.

Embora a edição de imagens guiada por texto tenha alcançado progressos notáveis, ela ainda é limitada no retoque estrutural de retratos. Descrições textuais têm dificuldade em transmitir alterações sutis em características faciais e proporções corporais. Para abordar essa lacuna, apresentamos o Retoque de Fotos de Retrato Baseado em Exemplares, onde o modelo recebe um par de exemplares e tem a tarefa de inferir e aplicar as mesmas operações de retoque a uma nova imagem de consulta. Métodos existentes de edição baseada em exemplares focam principalmente em tarefas com transformações visuais pronunciadas. Em contraste, o retoque estrutural de retratos envolve modificações extremamente delicadas e localizadas, tornando desafiadora a extração e transferência precisas dessas edições. Para enfrentar isso, propomos o MirrorPPR, uma nova estrutura projetada para capturar e transferir operações sutis de retoque estrutural. Nosso método utiliza um Extrator de Operações de Retoque para capturar as diferenças sutis do par de exemplares. As representações extraídas são então injetadas em um Transformer de Difusão (DiT) pré-treinado por meio de um conector e módulos de Adaptação de Baixo Posto (LoRA). Além disso, a construção de pares de treinamento perfeitamente alinhados entre identidades é severamente prejudicada pelo desalinhamento de operações. Para superar isso, propomos um paradigma avançado de autoaumento de dados que garante operações de retoque estritamente alinhadas. Para aliviar a escassez de dados e apoiar essa nova tarefa, apresentamos o MirrorPPR47M, um conjunto de dados em grande escala com mais de 47 milhões de pares retocados. Ao estruturar o conjunto de dados em subconjuntos simulados e profissionais, possibilitamos o aprendizado curricular progressivo para otimizar suavemente a rede. Extensos experimentos demonstram que o MirrorPPR supera significativamente as linhas de base existentes tanto na qualidade do retoque quanto na preservação da identidade. A página do projeto está disponível em https://sjtu-deng-lab.github.io/MirrorPPR.

Uma representação fiel do mundo 3D deve considerar a geometria em camadas, onde um único raio de câmera pode conter múltiplas superfícies visíveis e geometricamente válidas. A estimativa de profundidade monocular, no entanto, reduz essa estrutura a um escalar de profundidade por pixel. Cenas transparentes tornam essa ambiguidade mensurável: o mesmo raio pode atravessar um vidro em primeiro plano e observar o fundo, transformando o alvo supervisionado em uma convenção de anotação, dados e treinamento, e não em uma verdade intrínseca da cena. Um preditor aprendido expõe essa convenção como sua preferência de camada de profundidade. Apresentamos o MultiDepth-3k (MD-3k), um benchmark ordinal esparso de duas camadas para medir a preferência de camada de profundidade e a precisão da relação espacial multicamadas (ML-SRA). No MD-3k, modelos líderes de profundidade fundamentais exibem preferências de camada diversas sob entrada RGB padrão, mostrando que a mesma geometria em camadas pode ser resolvida de forma diferente entre modelos. Descobrimos ainda que o Laplacian Visual Prompting (LVP), uma transformação espectral de entrada livre de treinamento, pode alterar substancialmente a camada relatada para certos modelos congelados. O par RGB/LVP mais forte, DAv2-L, atinge 75,5% de ML-SRA. Esses resultados sugerem que modelos de profundidade fundamentais podem expressar hipóteses geométricas complementares que a inferência RGB padrão deixa inexpressas. Convidamos a comunidade a repensar a supervisão e a avaliação de profundidade através de uma lente ciente da ambiguidade, onde múltiplas interpretações 3D válidas são tratadas como estrutura geométrica a ser medida, preservada e expressa.

O ajuste fino em dados inofensivos pode desfazer parcialmente comportamentos adquiridos no início do treinamento. A segurança pode ser erodida sob atualizações benignas pós-alinhamento, capacidades desaprendidas podem reemergir, traços latentes podem transferir-se através de supervisão aparentemente não relacionada, e fragilidades pós-alinhamento relacionadas aparecem em outras configurações generativas. Argumentamos que esses fenômenos são utilmente vistos através de uma lente comum de histórico de treinamento. Nossa hipótese é geométrica: fases iniciais de treinamento extenso criam variedades comportamentais dominantes, enquanto fases posteriores de alinhamento ou especialização são deslocamentos mais rasos a partir delas. O ajuste fino subsequente pode, portanto, herdar um componente de reversão persistente que aponta de volta para uma testemunha da variedade dominante. Chamamos isso de interpretação gravitacional da reversão por ajuste fino. Em nossas principais configurações, a deriva representacional adquire rapidamente um componente ao longo de uma direção de reversão definida pelo histórico (v_rev). Em nossa trilha principal, o alinhamento com v_rev sobe de cos = 0,429 ± 0,052 após a primeira atualização para 0,647 ± 0,021 no passo 20. Em 24 pares de execução-passo, todo alinhamento observado excede o p99 de um nulo isotrópico no espaço de ativação. Demonstramos que bloquear seletivamente o movimento ao longo de v_rev altera o alinhamento final em T=100 de 0,648 ± 0,009 para -0,211 ± 0,021 e reduz a nocividade de 19,0% ± 4,0% para 8,5% ± 1,5% com pouco custo de tarefa. Esses resultados apoiam v_rev como um mediador causalmente relevante da reversão precoce pós-alinhamento em nossa configuração. É importante ressaltar que não afirmamos que v_rev seja a direção única de segurança, nem que a variedade dominante seja diretamente observada; em vez disso, identificamos uma direção robusta definida pelo histórico que explica e controla parcialmente as dinâmicas de reversão precoce.

A inspeção de túneis hidrelétricos é essencial para a integridade da infraestrutura, mas permanece ineficiente e perigosa quando realizada por métodos manuais. Propomos o FLISP (Planejador de Caminho Rápido Sincronizado com LiDAR-IMU), um framework de planejamento sem mapa para inspeção cooperativa UGV-UAV. Diferente dos paradigmas tradicionais baseados em mapas, o FLISP apresenta três contribuições principais: (1) uma arquitetura unificada onde um único conjunto LiDAR-IMU montado no UGV impulsiona a geração sincronizada de caminhos para ambas as plataformas; (2) solucionadores específicos para cada plataforma, utilizando um Algoritmo Firefly aprimorado para desvio de obstáculos do UGV e um otimizador iterativo dinâmico para o voo do UAV; e (3) uma estratégia de refinamento hierárquico que garante viabilidade cinemática sem deriva na estimativa de estado. Testes em um túnel operacional de 1,2 km demonstram que o FLISP evita gargalos estruturais dos métodos baseados em mapas, eliminando a sobrecarga de rasterização de mapas (Fast-LIO2 + A*) e a instabilidade de amostragem (LIO-SAM + RRT*). O FLISP atinge uma taxa de sucesso de 100% com latência de 7 ms, representando uma aceleração de 7 vezes em relação às abordagens baseadas em grade e uma melhoria de três ordens de magnitude em relação às linhas de base baseadas em amostragem. Validado em túneis hidrelétricos operacionais, essa abordagem oferece uma solução escalável para inspeção robótica em infraestrutura linear com degradação de características. Um vídeo de demonstração está disponível em https://youtu.be/Y_ezs1PfLJ4 e o código em https://github.com/ArchibaldGuo/FLISP.git.

Os Modelos de Visão de Fundação (VFMs) pré-treinados tornaram-se centrais na visão computacional moderna devido às suas poderosas representações semânticas e forte capacidade de generalização. No entanto, suas saídas transformadas em patches ou com pooling são inerentemente de baixa resolução, limitando sua eficácia em tarefas que exigem raciocínio em nível de pixel de granulação fina. Abordagens existentes de upsampling de características degradam a fidelidade semântica ou dependem de retreinamentos específicos de VFMs e arquiteturas pesadas, prejudicando a eficiência e escalabilidade. Para enfrentar esses desafios, propomos o RaysUp, uma estrutura de upsampling de características ultraleve, agnóstica à tarefa e agnóstica ao VFM, que reconstrói mapas de características de alta resolução em resoluções arbitrárias. Ao contrário de esquemas convencionais de interpolação 2D ou baseados em atenção, o RaysUp eleva a reconstrução de características para um domínio de raios com consciência geométrica. Especificamente, introduzimos um Codificador de Orientação Espacialmente Desacoplado para codificação de orientação ciente da direção, um mecanismo de Atenção Cruzada de Qualquer Resolução para reconstrução flexível à resolução e uma nova Codificação Posicional de Raios (RayPE) que injeta priores geométricos 3D implícitos por meio de coordenadas de raios de Plücker 6D. Por fim, um módulo de Atenção de Vizinhança com Consciência Geométrica garante agregação bilateral adaptativa ao conteúdo, preservando a consistência geométrica. Experimentos extensivos em diversas tarefas de predição densa demonstram que o RaysUp atinge desempenho de ponta usando apenas 16% dos parâmetros do AnyUp e oferecendo inferência aproximadamente 7 vezes mais rápida. Esses resultados destacam uma compensação precisão-eficiência substancialmente melhorada e estabelecem o RaysUp como uma solução prática e escalável para upsampling universal de características. O código está disponível em https://github.com/MAP-RaysUp/RaysUp.

O alinhamento de representações emergiu como uma abordagem eficaz para melhorar Modelos de Linguagem Multimodais de Grande Escala (MLLMs), ao regularizar suas representações internas em direção àquelas de um codificador visual externo. No entanto, os métodos existentes tipicamente alinham uma camada fixa do backbone da linguagem, ignorando a estrutura granular dos modelos Transformer. Neste trabalho, propomos o Alinhamento de Representação por Cabeça (HeRA, do inglês *Head-Wise Representation Alignment*), um método que impõe o alinhamento cross-modal no nível de cabeças de atenção individuais. Nossa abordagem fundamenta-se na Hipótese de Representação Platônica, focando em preservar a estrutura topológica das representações (isto é, suas relações de vizinhança local) entre as modalidades. Seguindo a métrica de alinhamento de Vizinhos Mútuos Mais Próximos (MKNN, do inglês *Mutual K-Nearest Neighbor*), introduzimos um objetivo contrastivo que atua como um proxy diferenciável para corresponder estruturas locais. O HeRA aplica esse objetivo durante o treinamento multimodal a cabeças de atenção específicas no LLM, selecionadas pelo seu escore de alinhamento de acordo com a métrica MKNN. De forma contraintuitiva, descobrimos que alinhar as cabeças menos alinhadas gera os maiores ganhos. Avaliações extensas em múltiplos MLLMs e 18 benchmarks demonstram que o HeRA melhora consistentemente o desempenho em tarefas desafiadoras centradas na visão e serve como um regularizador eficaz contra alucinações visuais, ao conter naturalmente a dependência excessiva de priores linguísticos. Nosso código é disponibilizado publicamente.