Artigos de pesquisa em IA selecionados diariamente com traduções
Apresentamos um quadro de avaliação axiomático para representações latentes de pensamento em LLMs, composto por métricas que são independentes das pontuações de benchmarks downstream e revelam falhas representacionais que a precisão de benchmarks mascara. As avaliações existentes confundem a qualidade da representação com a capacidade do modelo. Portanto, as falhas não podem ser atribuídas à representação em vez de ao modelo que a processa. Formalizamos quatro axiomas funcionais (Causalidade, Minimalidade, Separabilidade e Estabilidade) e definimos uma medida quantitativa para cada um, calculada diretamente na representação independentemente da precisão downstream. Auditamos LLMs de pesos abertos em 23 tarefas de raciocínio (por exemplo, Raciocínio Espacial, QA Factual). Descobrimos que nenhum candidato satisfaz todos os quatro axiomas simultaneamente, que as representações distinguem o tipo de tarefa de forma confiável, mas não conseguem distinguir entre duas perguntas dentro da mesma tarefa, e que as representações codificam pouca informação além do que já está presente no embedding de entrada. A falha é consistente em famílias de modelos densos, destilados para raciocínio e treinados com RL, indicando que a lacuna é estrutural, e não uma propriedade do tamanho do modelo ou do procedimento de treinamento.
Os modelos de geração de vídeo emergiram como um paradigma promissor para a simulação de mundo incorporado. No entanto, tanto geradores de vídeo de domínio geral quanto modelos ajustados com dados específicos de robôs ainda podem produzir manipulações fisicamente implausíveis, incluindo trajetórias de movimento descontínuas e interações inconsistentes entre robô e objetos, o que limita sua confiabilidade como simuladores de mundo. Por meio de experimentos extensivos, descobrimos que essa instabilidade física decorre principalmente de dois fatores: deformação de objetos em movimento e correlações espaço-temporais implausíveis entre entidades em interação, particularmente durante o contato. Com base nessa observação, propomos o PhysisForcing, uma estrutura de treinamento escalável que fortalece a consistência física ao concentrar a supervisão em regiões informativas para a física, por meio da otimização conjunta de características em nível de pixel e semântico. A estrutura consiste em uma perda de alinhamento de trajetória em nível de pixel, que supervisiona as características DiT usando trajetórias de pontos de referência, e uma perda de alinhamento relacional em nível semântico, que alinha as características DiT com relações entre regiões extraídas de um codificador de compreensão de vídeo congelado. Experimentos extensivos em R-Bench, PAI-Bench e EZS-Bench mostram que o PhysisForcing melhora consistentemente a geração de vídeo incorporado em relação a linhas de base fortes, aprimorando os modelos de base Wan2.2-I2V-A14B e Cosmos3-Nano no R-Bench em 22,3% e 9,2% (7,1% e 3,7% sobre o ajuste fino padrão), com a variante Cosmos3-Nano alcançando a melhor pontuação geral. Além da geração, como modelo de mundo sob o protocolo planejador de ações WorldArena, ele eleva a taxa de sucesso em malha fechada de 16,0% para 24,0% e melhora ainda mais o sucesso da política downstream, indicando que modelos de vídeo alinhados fisicamente produzem representações mais fortes para manipulação robótica.
Apresentamos o Qwen-Image-2.0-RL, um pipeline de pós-treinamento que aplica aprendizado por reforço a partir de feedback humano (RLHF) e destilação on-policy (OPD) para melhorar tanto a qualidade visual quanto a capacidade de seguir instruções do modelo de difusão Qwen-Image-2.0. Para fornecer sinais de recompensa confiáveis, construímos modelos de recompensa compostos específicos para cada tarefa, ajustando modelos de visão-linguagem com um paradigma de pontuação pointwise e raciocínio em cadeia de pensamento. Para geração de texto para imagem, os modelos de recompensa abrangem dimensões de alinhamento, estética e fidelidade de retrato. Para tarefas de edição de imagem, o sistema de recompensa aborda a precisão no seguimento de instruções e a preservação da identidade facial. Com base nesse sistema de recompensa, desenvolvemos uma estrutura de treinamento RL escalável baseada em GRPO, incorporando uma estratégia híbrida de orientação livre de classificador (CFG) para preservar o conhecimento pré-treinado, curadoria de prompts via filtragem por intervalo de recompensa intra-grupo e calibração de pesos de recompensa por categoria. Para unificar as políticas de RL especializadas em tarefas de T2I e edição, propomos a destilação on-policy como estágio final de treinamento, que consolida múltiplos professores em um único modelo estudante por meio da correspondência de velocidade em nível de trajetória. Uma avaliação extensa mostra que o Qwen-Image-2.0-RL alcança uma pontuação geral de 57,84 no Qwen-Image-Bench (+2,61 em relação ao modelo base), classificações Elo de 1193 na arena de texto para imagem (+78) e 1349 na arena de edição de imagem (+93), demonstrando ganhos consistentes em qualidade estética, aderência ao prompt e precisão de edição.
Estudamos se é possível aprender habilidades de manipulação inéditas a partir de ações humanas para um robô bimanual com garras paralelas. Dados de ações humanas são baratos, abundantes e diversos, o que os torna um dos recursos mais promissores para escalar o aprendizado robótico. No entanto, transferir habilidades de humanos para robôs continua sendo desafiador: a maioria dos trabalhos anteriores trata humanos como apenas mais uma corporificação bimanual de 6 graus de liberdade (6DoF), onde as estimativas de pose da mão são ruidosas e os padrões de contato dos dedos humanos diferem fundamentalmente daqueles de uma garra paralela. Argumentamos que aprender sinais de ação que incluem rotação a partir de dados humanos é, portanto, subótimo e, em vez disso, propomos uma representação de ação de ponte: a translação relativa do punho no referencial inicial da câmera na cabeça, um espaço de ação compartilhado por humanos e robôs. Para lidar com a possível ausência de certos componentes de ação em diferentes corporificações, construímos um modelo visão-linguagem-ação semelhante ao π_0, com tokens de ação intercalados e mascaramento de atenção. Em um conjunto de tarefas inéditas de manipulação bimanual, nossa ação de ponte transfere conhecimento de manipulação humana para robôs de forma muito mais eficaz do que ações humanas ruidosas de 6DoF e escala com a quantidade de dados humanos.
Modelos fundamentais em linguagem e multimodalidade alcançam forte generalização ao alinhar dados heterogêneos sob uma formulação unificada e treinamento em escala. Neste relatório, investigamos se esta receita de escalonamento pode ser aplicada à manipulação robótica para alcançar uma generalização genuína. Isso é desafiador porque, diferentemente do texto, os dados de manipulação são heterogêneos por natureza, caros de coletar e estreitos em diversidade, tornando o alinhamento e a escala simultaneamente difíceis. Apresentamos o Qwen-RobotManip, um modelo fundamental Visão-Linguagem-Ação generalizável construído sobre o Qwen-VL. O Qwen-RobotManip introduz uma estrutura de alinhamento unificada nas dimensões de representação, movimento e comportamental da manipulação, tornando o treinamento multi-fonte em grande escala coerente em vez de conflitante. Essa capacidade de alinhamento, por sua vez, permite que o Qwen-RobotManip absorva dados de manipulação em uma escala que os regimes de treinamento anteriores não conseguiam sustentar. Um pipeline de síntese humano-para-robô converte demonstrações manuais egocêntricas em trajetórias robóticas em 15 plataformas, e um pipeline de curadoria rigorosa harmoniza conjuntos de dados heterogêneos. Usando apenas conjuntos de dados de código aberto e vídeos humanos, sem coleta de dados proprietária, o Qwen-RobotManip constrói um corpus de pré-treinamento de aproximadamente 38.100 horas e exibe capacidades de generalização emergentes, incluindo seguimento de instruções zero-shot, robustez a perturbações, recuperação reativa de erros e transferência entre corporificações. Descobrimos que benchmarks padrão não conseguem capturar a qualidade do pré-treinamento e, em vez disso, adotam configurações OOD, incluindo RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF e RoboTwin-XE. O Qwen-RobotManip supera substancialmente os modelos de última geração anteriores, incluindo o π0.5, em todas as configurações OOD, classifica-se em 1º no RoboChallenge com uma melhoria relativa de 20% e é validado em plataformas robóticas reais, incluindo AgileX ALOHA, Franka, UR e ARX.
Sistemas de navegação agentivos exigem um modelo base de navegação cuja estratégia de observação possa ser externamente reconfigurada no momento da inferência, pois o seguimento de instruções, a busca de objetos, o rastreamento de alvos e a direção autônoma compartilham a mesma base de percepção e planejamento, mas demandam estratégias fundamentalmente diferentes para consumir o fluxo visual. Apresentamos o Qwen-RobotNav, um modelo de navegação escalável construído sobre o Qwen-RobotNav que aborda essa questão por meio de uma interface parametrizada com duas dimensões complementares: múltiplos modos de tarefa que selecionam o comportamento de navegação, e parâmetros de observação controláveis (ex.: orçamento de tokens, pesos por câmera) que regulam como o histórico visual é codificado. Com randomização durante o treinamento sobre todos os parâmetros, o Qwen-RobotNav é robusto a qualquer configuração de inferência, sem exigir nenhuma modificação arquitetural na base do Qwen-RobotNav. Treinamos o Qwen-RobotNav em 15,6 milhões de amostras; o co-treinamento com dados de visão-linguagem evita o colapso em mapeadores reativos de sequências de ações observado no treinamento apenas com trajetórias. A interface parametrizada também torna o Qwen-RobotNav um bloco natural para sistemas agentivos: para cenários de longo horizonte, um planejador de nível superior decompõe objetivos em sub-tarefas e alterna dinamicamente o modo de tarefa e a estratégia de contexto do Qwen-RobotNav no meio do episódio, compondo comportamentos complexos a partir de chamadas repetidas ao mesmo modelo. Extensos experimentos mostram que o Qwen-RobotNav estabelece novos resultados de estado da arte nos principais benchmarks de navegação. O modelo exibe um escalonamento favorável de 2B para 8B parâmetros, com treinamento conjunto em múltiplas tarefas desenvolvendo um substrato compartilhado de planejamento espacial que se transfere entre famílias de tarefas, e demonstra forte generalização zero-shot para robôs do mundo real em diversos ambientes.
Modelos de linguagem (LMs) representam tokens utilizando matrizes de embedding que escalam linearmente com o tamanho do vocabulário. Para restringir a pegada de parâmetros, trabalhos anteriores propõem o hashing de muitos tokens em um único vetor dentro de modelos apenas com encoder. Embora isso ofereça eficiência de parâmetros, colisões muitos-para-um impedem seu uso em LMs causais. Neste artigo, propomos o MultiHashFormer, uma nova estrutura que permite autorregressão baseada em hash. Cada token é representado como uma assinatura hash única, uma sequência curta de IDs hash discretos, gerada por múltiplas funções hash independentes. Um Codificador Hash comprime essa assinatura em um único vetor latente para processamento por um decodificador Transformer. Em seguida, um Decodificador Hash gera a assinatura hash do próximo token, que é então mapeada de volta para texto. Avaliamos nossa abordagem nas escalas de 100M, 1B e 3B parâmetros, demonstrando que o MultiHashFormer supera consistentemente os LMs Transformer padrão em vários benchmarks. Além disso, mostramos que nosso modelo lida com expansão de vocabulário multilíngue com uma pegada de parâmetros constante, sem quaisquer modificações.
Modelos de visão-linguagem (VLMs) estão cada vez mais sendo implantados em aplicações de consumo, médicas, financeiras e empresariais. Essa ampla implantação expande a superfície de segurança: riscos podem surgir de respostas a perguntas multimodais, respostas de assistentes e composição cross-modal, enquanto as políticas de moderação podem variar entre produtos, regiões e estágios de implantação. A maioria das proteções existentes depende de taxonomias fixas ou visa apenas um conjunto restrito de configurações de interação, o que limita sua adaptabilidade quando as regras de segurança mudam no momento da implantação. Apresentamos o SingGuard, uma família de modelos de proteção multimodal adaptáveis a políticas para avaliação de segurança em conversas multimodais. O SingGuard trata a política ativa como uma entrada em tempo de execução: dadas regras em linguagem natural, ele verifica o conteúdo alvo em relação à política ativa, regra por regra, e prevê tanto o rótulo de segurança quanto a regra acionada. Para equilibrar eficiência e interpretabilidade, o SingGuard suporta regimes de inferência rápida, híbrida e lenta ao longo de um espectro de raciocínio rápido-para-lento, variando de julgamentos diretos de segurança a deliberação fundamentada em política. Otimizamos ainda esse comportamento com aprendizado por reforço desacoplado rápido-lento. Também apresentamos o SingGuard-Bench, um benchmark de proteção multimodal com 56.340 exemplos abrangendo mais de 80 tipos de risco detalhados em configurações de QA multimodal, ataque adversarial e avaliação dinâmica de regras, incluindo casos de risco conjunto cross-modal onde cada modalidade é inofensiva isoladamente, mas sua composição implica intenção insegura. Em seis famílias de benchmark (35 conjuntos de dados), o SingGuard alcança o F1 médio estado da arte em cada família. A avaliação dinâmica de regras mostra ainda precisão melhorada de seguimento de política de 0,6465 para 0,7415 sob mudanças de política em tempo de execução. Nosso código está disponível em https://github.com/inclusionAI/Sing-Guard.
Sistemas multiagentes (MAS) construídos sobre modelos de linguagem de grande porte (LLMs) fornecem uma estrutura promissora para resolver tarefas complexas por meio de especialização de papéis e interação estruturada. No entanto, seu desempenho é frequentemente limitado por má coordenação e, mais fundamentalmente, pela falta de atribuição refinada de crédito entre os agentes. Abordagens existentes tipicamente dependem de feedback grosseiro, dificultando a identificação de quais agentes ou etapas de interação são responsáveis por erros. Propomos Gradient-Based Connections (GBC), uma abordagem para atribuição e otimização refinadas de sistemas multiagentes. O GBC modela um MAS como um grafo computacional e introduz pesos de conexão baseados em gradientes para quantificar a influência da saída de cada agente nos agentes downstream no nível de token. Ao construir um grafo de atribuição e propagar sinais de perda específicos da tarefa para trás, nosso método permite a identificação precisa das fontes de erro e a otimização direcionada de prompts. Desenvolvemos ainda o AgentChord, uma implementação eficiente que aproveita o cálculo de gradiente baseado em prefixo. Experimentos no MultiWOZ e no τ-bench mostram que o GBC melhora o desempenho multiagente e supera fortes baselines monoagente e multiagente, e que uma maior qualidade de atribuição está associada a uma maior eficácia de otimização. O código está disponível em: https://github.com/yxc-cyber/AgentChord.
Robôs operando em ambientes de mundo aberto devem integrar perfeitamente localização, raciocínio espacial, navegação e planejamento de longo horizonte. Embora modelos especialistas se destaquem em tarefas individuais, implantar uma pilha de múltiplos modelos é computacionalmente caro e propenso a erros em cascata. Apresentamos o Vesta, um generalista corporificado unificado que consolida essas capacidades em um único modelo de base. Nossa abordagem combina um corpus diverso e massivo, cuidadosamente curado para induzir ancoragem espacial, e um harness de memória multimodal simples que possibilita raciocínio ao longo de horizontes temporais estendidos. Em diversos benchmarks, o Vesta supera, em média, as linhas de base SOTA individuais em mais de 20% e supera um ensemble das melhores linhas de base por categoria em mais de 10% — demonstrando assim que um modelo generalista pode igualar ou exceder especialistas. Em tarefas robóticas do mundo real que exigem memória e raciocínio, o Vesta melhora o sucesso das tarefas em mais de 35%. Nosso trabalho demonstra, portanto, que um único generalista é uma alternativa viável, escalável e, argumentavelmente, preferível à combinação de especialistas.
A detoxificação de texto, ou seja, a detecção e mitigação automatizadas de conteúdo abusivo e prejudicial, é essencial para garantir a segurança das comunidades online e proteger os usuários. No entanto, línguas de baixos recursos, como o tártaro, têm recebido pouca atenção em pesquisas. Neste artigo, apresentamos o Tatoxa, um novo sistema de estado da arte para detoxificação de texto na língua tártara. Experimentos comparativos demonstram que a abordagem proposta supera os LLMs comerciais proprietários e de código aberto existentes em métricas-chave de qualidade. Também introduzimos um novo conjunto de dados para detoxificação de texto em tártaro, projetado para ajuste fino e avaliação em cenários de baixos recursos. Por fim, experimentos de transferência interlinguística indicam que a transferência a partir de outras línguas, incluindo o russo, que é culturalmente próximo, apresenta desempenho significativamente inferior ao treinamento com dados nativos do tártaro, mesmo quando um grande corpus em russo está disponível.
A resposta visual a perguntas baseada em conhecimento (KB-VQA) exige que modelos combinem compreensão de imagem com conhecimento externo. A maioria dos métodos anteriores utiliza um pipeline fixo de recuperação-geração com um recuperador pré-selecionado e uma configuração estática de top-k, que não é adaptável durante o raciocínio. Propomos ProMSA, um agente de busca multimodal progressivo para KB-VQA. Dado um par imagem-pergunta, o agente escolhe iterativamente busca por imagem, busca por texto ou parada, sob orçamentos explícitos de chamadas de ferramentas e com deduplicação para evitar recuperação redundante. Para treinamento, primeiro usamos SFT com amostragem por rejeição para aprender formatos válidos de uso de ferramentas, depois otimizamos o agente com TN-GSPO, um objetivo de RL em nível de sequência que normaliza as atualizações tanto pelo comprimento da geração quanto pela profundidade da interação com ferramentas. Experimentos em E-VQA e InfoSeek mostram ganhos consistentes em relação a fortes baselines de RAG e agentes, e melhoria na precisão da recuperação e ponta a ponta. O código está disponível em https://github.com/DingWu1021/Promsa.
Os agentes de voz enfrentam uma tensão fundamental: o raciocínio, a recuperação e o uso de ferramentas que tornam os modelos fundacionais capazes são iterativos e lentos, enquanto a interação conversacional exige respostas em uma escala de milissegundos. Modelos menores e em tempo real atendem ao requisito de latência, mas não conseguem igualar os modelos fundacionais em tarefas complexas, deixando os agentes de voz atuais em um dilema entre capacidade de resposta e capacidade. Introduzimos o preenchimento conversacional (*conversational infill*), onde um pequeno modelo falante tanto gera imediatamente respostas contextualmente fundamentadas para ocultar a latência de um modelo raciocinador externo quanto integra fluentemente o conhecimento transmitido pelo raciocinador em suas respostas durante a inferência. Curadoria de um conjunto de dados sintético de 290.571 exemplos abrangendo seis domínios e demonstramos que essa tarefa é aprendível em sete modelos de linguagem pequenos amplamente utilizados, variando de 135M a 1,7B parâmetros. Nossa implementação do sistema, ConvFill, mantém um tempo de primeira resposta em nível de milissegundos enquanto reduz a diferença de precisão para dentro de 6,3% do desempenho do raciocinador de fronteira correspondente. Em um estudo de usuário ao vivo (n=18) com implantações do modelo falante executadas em um Apple M2 SoC, os participantes classificam o ConvFill como equivalente aos modelos de fronteira em geral, preferem-no para tarefas pesadas de recuperação e o avaliam como significativamente mais responsivo. Esses resultados mostram que o preenchimento conversacional desbloqueia um novo ponto na fronteira de Pareto latência-capacidade, oferecendo um caminho prático para agentes de voz que sejam tanto responsivos quanto altamente capazes. Código, modelos e conjuntos de dados estão disponíveis em https://github.com/vysri/conversational-infill.
Os benchmarks para agentes web medem, de forma esmagadora, a profundidade — fixando uma resposta obscura atrás de uma cadeia de restrições —, enquanto a amplitude, que consiste em enumerar exaustivamente um conjunto fechado e preencher os atributos de cada item, é raramente avaliada, especialmente fora do inglês. A amplitude também é difícil de construir: certificar que um conjunto ouro é completo e que cada célula está correta é muito mais custoso do que verificar uma única resposta. Apresento Ko-WideSearch, um benchmark de busca por amplitude em coreano, construído por um pipeline automatizado de síntese e verificação. Cada tarefa nomeia uma entidade pai de conjunto — uma temporada de TV, uma dinastia, uma liga, uma região administrativa, uma eleição — e solicita sua filiação completa mais uma tabela de atributos por item, avaliada por Item-F1, Coluna-F1 e Linha-F1. Abrange 228 tabelas em 190 entidades e dezesseis categorias em três níveis de dificuldade, definidos por dois botões estruturais que manipulo independentemente — largura da tabela e uma chave composta 2-D —, de modo que a pertinência ao produto cartesiano aumenta de 0% a 100% entre os níveis. Um único comparador ciente de normalização é compartilhado entre a construção do ouro e a avaliação, garantindo que colunas estáveis de data e contagem não sejam descartadas indevidamente apenas devido à formatação. Em vinte agentes web, a falha é consistente: os agentes recuperam o conjunto, mas não as linhas (por exemplo, Item-F1 92,8 contra Linha-F1 53,7), a precisão cai constantemente à medida que os botões se endurecem, e nem mais busca nem mais gasto fecham a lacuna. Detalhando por célula, a parte difícil é encontrar o valor correto, não formatá-lo: células de texto livre abertas falham mais, enquanto células com uma resposta padrão, como uma data ou um nome, geralmente saem corretas.
Treinar e avaliar políticas de robôs no mundo real é caro e difícil de escalar. Apresentamos o SimFoundry, um sistema modular e automatizado para construção zero-shot de cenários do real para a simulação a partir de um vídeo. O SimFoundry gera gêmeos digitais prontos para simulação e oferece suporte à edição de objetos, cenários e tarefas, permitindo a geração automatizada de diversos primos digitais: variações que preservam a affordance de cenários do mundo real reconstruídos. Políticas treinadas com dados do SimFoundry transferem-se zero-shot para tarefas reais desafiadoras que envolvem manipulação em múltiplas etapas, interação com objetos articulados e interação bimanual, e seus primos digitais (variações do cenário, objetos e tarefas originais) facilitam a generalização para novas condições do mundo real. Em 7 tarefas de manipulação e 5 arquiteturas de política, as avaliações de simulação do SimFoundry preveem fortemente o desempenho no mundo real, com correlação média de Pearson de 0,911 e violação média máxima de classificação de 0,018. Ao avaliar políticas treinadas em simulação zero-shot no mundo real, políticas treinadas com primos de objetos, cenários e tarefas em simulação apresentam melhorias médias na taxa de sucesso das tarefas de 17%, 21% e 40%, respectivamente. Detalhes adicionais em https://research.nvidia.com/labs/gear/simfoundry/.
Para que agentes aprendam continuamente a partir da interação com o mundo durante o teste, eles devem ser capazes de explorar eficazmente, adquirir novos conhecimentos e habilidades sobre o mundo, reter experiências episódicas relevantes e planejar em horizontes longos. Para avaliar essas habilidades-chave de agentes de aprendizado contínuo em tempo de teste, apresentamos o AgentOdyssey, uma nova estrutura de avaliação que gera proceduralmente jogos de texto abertos com entidades ricas, dinâmicas de mundo e tarefas de horizonte longo. Criticamente, o AgentOdyssey vai além da suposição convencional de aprendizado de máquina de que não há aprendizado durante o teste, colocando os agentes em um cenário contínuo e de longo horizonte que intercala aprendizado e inferência ao longo da implantação. Propomos ainda uma metodologia de avaliação multifacetada que mede não apenas o progresso no jogo, mas também oferece testes diagnósticos sobre aquisição de conhecimento do mundo, memória episódica, exploração de objetos e ações, diversidade de ações e custo do modelo. Avaliamos diversos paradigmas de agentes nos jogos gerados. Nossos resultados experimentais revelam limites críticos nas habilidades-chave dos agentes, bem como fatores que influenciam seu horizonte significativo. Embora o desempenho escale com modelos base mais fortes, mesmo o melhor agente permanece muito abaixo do desempenho humano, deixando margem substancial para melhoria. Entre os mecanismos dos agentes, descobrimos que a memória de curto prazo beneficia múltiplos paradigmas de agentes e é um componente importante do treinamento do agente em tempo de teste.
A inteligência artificial está impulsionando uma revolução na descoberta científica, acelerando desde a geração de hipóteses até a demonstração de teoremas matemáticos. No entanto, essa rápida aceleração está criando um desafio sistêmico: a revisão por pares humana tradicional não consegue escalar para acompanhar o fluxo da ciência assistida por IA. Em última análise, para resolver essa tensão, devemos também implantar a IA para acelerar o próprio processo de verificação e revisão. Para estruturar a discussão em torno dessa transição, propomos uma taxonomia composta por quatro níveis progressivos de colaboração entre IA e humanos na avaliação científica, e discutimos diversas compensações envolvidas em cada um deles. Como um passo em direção a esse futuro, apresentamos a Ferramenta Assistente de Artigos (PAT, do inglês Paper Assistant Tool), um framework de IA agentiva projetado para revisão e verificação científica aprofundadas. O PAT processa manuscritos científicos completos e produz uma avaliação abrangente, verificando resultados teóricos, validando experimentos, sugerindo melhorias e identificando possíveis falhas. Ao utilizar técnicas de escalonamento de inferência, o PAT é capaz de identificar problemas mais profundos do que uma única chamada de modelo, alcançando uma melhoria de 34% no recall zero-shot para erros matemáticos no benchmark SPOT. Implantações piloto do PAT como ferramenta de pré-submissão para autores em duas importantes conferências de Ciência da Computação — STOC e ICML — demonstram sua capacidade de identificar erros críticos e sugerir melhorias substanciais em artigos de pesquisa. Ao detectar erros precocemente, o PAT alivia a carga cognitiva imposta aos revisores, preservando ao mesmo tempo seu controle sobre os resultados do processo de revisão.
Modelos Visão-Linguagem-Ação (VLA) conseguem generalizar para diversas tarefas de manipulação, mas suas políticas baseadas em aprendizado por imitação permanecem frágeis em interações físicas precisas devido a erros de execução compostos. Será que uma política de aprendizado por reforço treinada puramente em simulação pode melhorar a robustez de VLAs do mundo real sem necessidade de ajuste adicional (zero-shot)? O RL residual, que aprende uma política corretiva sobre um VLA congelado, oferece uma estrutura natural, mas abordagens existentes enfrentam um dilema fundamental de sim-para-real: métodos baseados em estado privilegiado exigem destilação com perdas para implantação; métodos baseados em imagem sofrem com a lacuna de domínio visual; e RL no mundo real é caro e inseguro. Propomos uma estrutura de RL residual centrada em objetos, que refina as ações do VLA usando poses de objetos, permitindo um espaço de observação compacto que transfere consistentemente entre simulação e realidade. Para alinhar os dois domínios, adicionalmente reproduzimos as mesmas demonstrações de teleoperação em simulação para treinar um equivalente simulado do VLA do mundo real. A política de RL residual é treinada apenas em simulação com injeção de ruído de pose e dropout, e transfere-se sem ajuste (zero-shot) para o robô real. Em cinco tarefas de manipulação em um robô real Franka Research 3 (FR3), nosso método melhora a taxa de sucesso de 42% para 76% sem ajuste, e as trajetórias melhoradas podem ser reutilizadas para retreinar o VLA base para autoaperfeiçoamento, sem necessidade de teleoperação adicional. Página do projeto: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
Descrevo minha solução para o LeHome Challenge 2026, uma competição da ICRA 2026 sobre dobragem bimanual de peças de vestuário. O sistema ficou em 1º lugar entre 62 equipes na rodada online (simulação) e em 2º lugar na final no mundo real. Ele melhora uma política visão-linguagem-ação (VLA) com um loop de aprendizado por reforço. A política é sua própria função de valor: a mesma rede que prevê ações também prevê sucesso, progresso e algumas quantidades futuras relevantes para a tarefa, e essas previsões orientam a estimativa de vantagem, detecção de falhas em tempo real e seleção de candidatos. O trabalho combina principalmente ideias existentes de RL com contribuições de engenharia e otimização que podem ser usadas juntas como uma receita ou individualmente: AWR + RECAP combinados para VLA de correspondência de fluxo; um pipeline assíncrono de treinamento distribuído/rollout através do HuggingFace Hub; otimização de hiperparâmetros em tempo de inferência via amostragem de Thompson; uma receita de sim-para-real com ferramentas de alinhamento de câmera, aumento pesado de dados e coleta de dados HIL do tipo DAgger.
A geração autoregressiva (AR) de tokens contínuos no espaço de pixels modela diretamente imagens como sequências de patches de pixels brutos, evitando tokenização discreta ou um tokenizador pré-treinado separado. No entanto, enfrenta desafios acoplados: a geração de patches de alta dimensionalidade causa grandes erros de etapa única, e o treinamento forçado pelo professor cria uma lacuna treinamento-inferência que faz com que esses erros se acumulem ao longo das etapas AR. Correções existentes, como predição-x e injeção de ruído na entrada, apenas mitigam parcialmente esses problemas. O treinamento exato com rollout corresponde melhor às condições de inferência, mas é impraticável devido à amostragem sequencial proibitivamente lenta. Propomos a Aproximação Paralela de Rollout (PRA), uma estrutura escalável que aborda ambos os desafios em conjunto. A PRA gera estados intermediários de baixa dimensionalidade em vez de patches de pixels de alta dimensionalidade e, em seguida, os mapeia de volta para tokens no espaço de pixels com um decodificador de pixels, preservando uma interface AR pixel-in, pixel-out. Ela também constrói entradas de pixels no estilo de inferência por meio do mesmo caminho de estado intermediário para pixel usado na inferência, independentemente entre posições, aproximando a interface de feedback de pixels encontrada durante o rollout em inferência, enquanto mantém o treinamento paralelo forçado pelo professor. Na geração condicional de classe ImageNet-1K na resolução 256×256, o PRA-S com 135M parâmetros atinge um FID de 2,58, superando o resultado AR no espaço de pixels anterior de escala de bilhões de parâmetros (3,60). A escalada para PRA-L com 511M parâmetros melhora ainda mais o FID para 1,94, estabelecendo um novo estado da arte entre modelos AR no espaço de pixels. Além da geração, o PRA atinge maior precisão de sondagem de classificação ImageNet do que outras linhas de base AR e de difusão, sugerindo seu potencial para geração e compreensão unificadas de imagens no espaço de pixels.
A implantação eficiente de modelos de linguagem grandes (LLMs) em produção impõe uma troca entre precisão e custo. Os operadores frequentemente recorrem a um único modelo, que é caro para consultas fáceis ou insuficiente para as difíceis. Para enfrentar esse desafio, propomos uma solução em cascata de dois estágios. O Estágio 1 agrupa as consultas recebidas e atribui cada grupo ao seu modelo mais custo-efetivo. O orçamento de custo para esse processo de roteamento é definido por um hiperparâmetro interpretável, ajustado offline. O Estágio 2 adiciona uma cascata de estimativa de qualidade (QE); quando uma saída do Estágio 1 é considerada de baixa qualidade, a consulta é escalada para um modelo mais forte. Isso garante que apenas casos difíceis ou de baixa confiança cheguem aos modelos caros. Nos conjuntos de dados de teste, o sistema em cascata mantém 97-99% da precisão do modelo mais forte, enquanto reduz o Tempo por Token de Saída (TPOT). Ele requer apenas rótulos de correção de tarefa e se adapta a mudanças no conjunto de modelos sem reconfiguração manual.
Modelos de geração de vídeo aspiram simular ambientes dinâmicos, e diversos benchmarks atualmente avaliam a consistência de memória entre quadros. No entanto, a maioria avalia a consistência apenas enquanto o alvo permanece visível, e os poucos que forçam objetos a sair de quadro avaliam cenas estáticas, onde nada muda durante a oclusão. Para preencher essa lacuna, apresentamos o MemoBench, um benchmark diagnóstico construído em torno do paradigma de desaparecimento e reaparecimento em ambientes dinamicamente mutáveis: um objeto alvo passa por um processo físico, desaparece de vista e deve ser corretamente recuperado em seu estado atualizado ao reaparecer. Curadoria de 360 clipes de referência verdadeira abrangendo cenas sintéticas e do mundo real, e projetamos um conjunto de avaliação que combina métricas automatizadas com avaliação baseada em VQA em quatro pilares diagnósticos. A avaliação de oito modelos de última geração revela insights fundamentais e desafios em aberto relacionados à consistência de memória sob o paradigma de desaparecimento e reaparecimento.
O pós-treinamento por aprendizagem por reforço (RL) melhora o alinhamento de recompensa de geradores baseados em fluxo, mas frequentemente degrada a qualidade perceptual de maneiras que não são capturadas pelo proxy de recompensa. Identificamos uma assinatura estrutural simples desse desvio: em três métodos de pós-treinamento (NFT, AWM, DPO), o ajuste fino por RL infla a norma da velocidade por passo |v_θ| em 5% a 15% em relação à referência. Uma forma de inflação de norma foi estudada na orientação sem classificador (CFG), onde o redimensionamento da velocidade de volta a uma norma de referência no momento da inferência pode mitigar os artefatos resultantes. No entanto, essa correção no momento da inferência não se transfere de forma limpa para RL: redimensionar v_θ para igualar |v_{ref}| na inferência não melhora a recompensa nem corrige a degradação de qualidade, pois a inflação está coadaptada aos pesos do modelo. Além disso, uma análise de sensibilidade adjunta mostra que o redimensionamento da magnitude da velocidade não carrega um sinal de recompensa de primeira ordem coerente no nível de lote, indicando que suprimir a inflação da norma dificilmente removerá um componente que consistentemente carrega recompensa. Como a renormalização na inferência falha enquanto a supressão da norma não acarreta custo de recompensa, a intervenção durante o treinamento é a estratégia adequada. Em conjunto, essas descobertas motivam o \methodname, uma penalidade de dobradiça que é ativada apenas quando |v_θ| excede |v_{ref}| e se compõe aditivamente com qualquer perda base local à velocidade. Em dois modelos base, três métodos de pós-treinamento e dois proxies de recompensa, o \methodname melhora consistentemente a qualidade de imagem julgada por MLLM e o realismo forense, preservando a recompensa, com ganhos que se amplificam sob inferência de poucos passos e não são explicados por parada antecipada.
Agentes de código baseados em LLM navegam em repositórios por meio de busca por palavras-chave, mas ignoram as relações estruturais — como grafos de chamada, hierarquias de herança e dependências de configuração — que definem como o software realmente funciona. Isso torna a navegação do agente estocástica e difícil de reproduzir entre execuções. Investigamos se a análise estática leve pode fornecer âncoras determinísticas para esses agentes: fatos estruturais estáveis injetados como comentários em texto simples que restringem a exploração probabilística e tornam a navegação mais previsível. Partindo de uma linha de base forte, o Codex da OpenAI, injetamos sistematicamente granularidades variadas de anotações estruturais e medimos seus efeitos sobre a localização, o comportamento da trajetória e a estabilidade entre execuções. Nosso estudo identifica o que chamamos de efeito de ancoragem determinística: a estrutura estática ajuda menos por tornar os agentes "mais inteligentes" e mais por disciplinar e tornar reprodutível sua navegação. Três observações sustentam esse achado: (1) A ancoragem funciona: a topologia leve de chamada/herança melhora a localização ao nível de função (+2,2 p.p. Func@5) e encurta as trajetórias (-1,6 rodadas de interação); (2) A ancoragem é sensível à escala: a granularidade e a direcionalidade ótimas dependem das características do repositório, onde semânticas mais densas apresentam retornos decrescentes e projetos com muitos hubs se beneficiam de links apenas inversos que expõem "quem me chama" sem arestas diretas; (3) A ancoragem estabiliza: as tags elevam a taxa de seguimento de links de 0,15–0,18 para 0,21–0,24, reduzem aproximadamente pela metade a variância entre execuções e melhoram a confiabilidade de execução única (Pass@1 +3,4 p.p.) em repositórios de médio porte, ao custo de aproximadamente 10% mais tokens de entrada. Essas observações sugerem diretrizes práticas: usar topologia leve como padrão em projetos médios, podar arestas diretas em repositórios grandes e reservar tags densas para casos de dependência implícita.
A atenção esparsa pode reduzir o custo da inferência em contextos longos, mas a maioria das variantes introduz novos componentes arquitetônicos. Apresentamos a Atenção Esparsa Simplificada (SSA), uma abordagem mais simples para atenção esparsa que não exige alterações arquitetônicas. Concretamente, primeiro realizamos pré-treinamento continuado em sequências intercaladas com tokens de essência. Otimizamos a perda padrão de próximo token como de costume, mas os tokens de essência utilizam uma máscara de atenção para restringir a quais partes do contexto o modelo de linguagem pode atender; isso ensina o modelo a compactar as informações importantes de cada bloco nos tokens de essência. No momento da inferência, o SSA pontua blocos por meio da atenção entre a consulta atual e o pequeno conjunto de tokens de essência, expandindo seletivamente os k blocos principais ao reintroduzir seus tokens brutos correspondentes. Como a consulta é pontuada apenas contra os tokens de essência, evitamos o custo de largura de banda de memória associado à pontuação ingênua contra o cache KV completo, sem exigir a abordagem de cache KV auxiliar utilizada por métodos de atenção esparsa. No LongBench, o SSA supera consistentemente as linhas de base de compressão e atenção esparsa em tempo de inferência sob a mesma taxa de compressão. Mais notavelmente, na geração aumentada por recuperação, o SSA pode até superar a atenção completa após o pré-treinamento continuado em mais de 5,7 pontos. Atribuímos isso à capacidade de expansão seletiva do SSA, que concentra a atenção nos blocos relevantes para a consulta e filtra efetivamente o ruído. O SSA se estende ainda a uma variante hierárquica de essência-da-essência (H-SSA) que alcança complexidade de decodificação log-linear enquanto mantém ou melhora a precisão em altas taxas de compressão de até 32x. O código está disponível em https://github.com/yuzhenmao/simplified-sparse-attention/.
A tokenização é central para a adaptação de dados científicos a modelos fundamentais baseados em transformadores, mas seu impacto sobre as representações aprendidas ainda é pouco compreendido. Comparamos quatro estratégias de tokenização — Affine, AIM, JetFormer e VQ-VAE — dentro de uma estrutura unificada de transformadores para imagens astronômicas. Utilizando 640.000 imagens de galáxias do DESI Legacy Survey e um backbone AstroPT compartilhado, avaliamos cada método quanto à fidelidade de reconstrução e à predição de propriedades físicas. Nossos resultados revelam compromissos entre as abordagens. O JetFormer, baseado em fluxo, alcança maior qualidade de reconstrução, enquanto o VQ-VAE apresenta forte desempenho como sonda para propriedades físicas de galáxias. Já Affine e AIM preservam melhor informações morfológicas localizadas. Constatamos que a qualidade da reconstrução e a qualidade da representação são desacopladas, e nenhum método único apresenta desempenho consistentemente superior em todas as tarefas aqui consideradas. Ao embasar nossa avaliação em grandezas físicas medidas independentemente, esperamos que este estudo sirva para destacar o potencial dos dados científicos como base para a construção de benchmarks interpretáveis para modelos fundamentais.
Agentes baseados em LLM para reparo de programas são cada vez mais construídos sobre um paradigma de "gerar-executar-revisar", executando testes iterativamente para avaliar e refinar patches. Essa abordagem baseada em execução tornou-se prática padrão em sistemas de última geração. No entanto, execuções podem ser demoradas e custosas, e seu impacto nesses agentes permanece pouco explorado. Neste artigo, realizamos um estudo empírico em dois estágios sobre o comportamento de execução em reparo de programas baseado em LLM. Para caracterizar o comportamento de execução em escala, primeiro analisamos 7.745 rastros de agentes de submissões ao ranking do SWE-bench. Em segundo lugar, avaliamos 3.000 tentativas de reparo ponta a ponta em 200 instâncias do SWE-bench e três agentes (Claude Code, Codex e o código aberto OpenCode) sob quatro paradigmas de execução, o que permite uma comparação detalhada de desempenho e custo. Nossa análise revela três observações principais: (1) A execução de código é utilizada em todos os agentes e modelos analisados, com uma média de 8,8 execuções de teste por tarefa. O comportamento de execução varia substancialmente entre agentes e modelos, com frequência variando de 2 a 19 por tarefa, e execuções em estágio tardio alcançam consistentemente taxas de sucesso mais altas do que as em estágio inicial. (2) Restrições de execução têm pouco efeito no sucesso do reparo: em agentes comerciais com modelos de última geração, a diferença na taxa de resolução entre Proibido e Irrestrito é de apenas 1,25 pontos percentuais e não é estatisticamente significativa, enquanto Proibido economiza custos substanciais de tokens e tempo real. (3) O benefício da execução é concentrado, e não uniforme. Esses padrões sugerem que os agentes atuais aplicam execução indiscriminadamente, arcando com seu custo em instâncias onde ele fornece pouco benefício. Portanto, a execução deve ser tratada como um recurso com uma compensação explícita de custo-benefício, e não como uma capacidade padrão.
Modelos omnimodais podem ingerir vídeo, áudio e texto, mas o acesso unificado a múltiplas modalidades não garante que um modelo utilize as evidências corretas. Essa lacuna é especialmente acentuada em perguntas e respostas de vídeos sociais, onde a resposta pode depender de um gesto, tom vocal, dica temporal ou incompatibilidade entre o que é dito e o que é visualmente expresso. Apresentamos o CogniRoute, uma estrutura de Mistura de Especialistas guiada por esquema para raciocínio omni social. O CogniRoute utiliza um esquema cognitivo exclusivo de treinamento que fatora cada exemplo por relação cross-modal, demanda de raciocínio e escopo temporal, e alinha assinaturas de roteamento globais com essa estrutura durante o ajuste fino supervisionado. Além disso, introduzimos o aprendizado por reforço consciente de rotas, que otimiza conjuntamente a geração de tokens e a alocação de especialistas usando recompensas por correção da resposta, raciocínio consistente entre modalidades e ancoragem temporal cognitiva. Para apoiar o treinamento e a avaliação, construímos o OmniSocialBench, um recurso de QA de vídeo social diagnóstico com 118 mil exemplos de treinamento estruturados, traços de raciocínio fundamentados, rótulos de esquema, intervalos de evidência temporal e uma divisão de avaliação verificada manualmente. O CogniRoute atinge 59,38% de acurácia média no OmniSocialBench, superando a linha de base proprietária mais forte em 15,33 pontos percentuais e a linha de base omni de código aberto mais forte em 26,77 pontos, com os maiores ganhos em perguntas que exigem coordenação audiovisual, resolução de conflitos e inferência social ancorada temporalmente.
Grandes modelos de linguagem (GMLs) podem tornar o software científico mais fácil de usar. No entanto, um modelo geral não sabe automaticamente quais medições um sensor específico pode suportar, quais algoritmos estão implementados no software atual ou quais conclusões são justificadas por um resultado computado. Essas distinções são especialmente importantes para a eletroencefalografia (EEG) de baixo canal, onde a cobertura espacial esparsa e a qualidade de sinal variável tornam fácil produzir interpretações plausíveis, porém não fundamentadas. Apresentamos o NeuraDock Agent, uma arquitetura de código aberto que separa um mecanismo determinístico local de EEG de uma camada de linguagem consciente do hardware. O mecanismo numérico processa gravações, realiza controle de qualidade, executa fluxos de trabalho espectrais revisados e escreve artefatos legíveis por máquina. O GML recebe apenas um resumo compacto em lista de permissões e um pacote de contexto versionado. O contexto descreve o hardware de sete canais, os fluxos de trabalho revisados, os campos de resultado, os limites de implementação, as limitações científicas e os casos de referência. O EEG bruto e os arrays densos por amostra permanecem locais. Avaliamos o sistema em três níveis. Primeiro, 12 gravações produziram resultados estruturados idênticos ao longo de dez repetições numéricas, e uma execução completa de Repouso/Tarefa produziu hashes idênticos de resultado, relatório e figura ao longo de três repetições. Segundo, experimentos de captura de requisição e injeção de falhas confirmaram o limite de dados testado e a preservação de artefatos locais sob falhas HTTP, de saída malformada e de conexão. Terceiro, um benchmark de consciência de limites testou 36 perguntas comuns e adversariais sob quatro ablações de contexto e dois GMLs, gerando 288 saídas. Esses resultados apoiam a fundamentação consciente do hardware e da implementação como um mecanismo prático para calibrar o que um agente de EEG aceita, qualifica ou recusa; eles não estabelecem validade clínica ou um índice absoluto validado de carga cognitiva.