Papers Diários

Agentes LLM operam cada vez mais em grandes ecossistemas de ferramentas, onde tarefas do mundo real exigem descobrir ferramentas relevantes, inferir subobjetivos implícitos e adaptar-se a ambientes dinâmicos ao longo de horizontes temporais extensos. No entanto, benchmarks existentes raramente avaliam o planejamento sob visibilidade limitada de ferramentas por recuperação. Para preencher essa lacuna, introduzimos o PlanBench-XL, um benchmark interativo composto por 327 tarefas de varejo sobre 1.665 ferramentas, que testa se os agentes conseguem recuperar iterativamente ferramentas utilizáveis, acioná-las para descobrir evidências intermediárias para chamadas subsequentes em direção ao objetivo final. O PlanBench-XL também incorpora um mecanismo opcional de bloqueio que simula a imprevisibilidade do mundo real por meio de funções de ferramentas ausentes, falhas ou distractoras, forçando os agentes a detectar caminhos interrompidos e se adaptar em tempo de execução. Experimentos com dez LLMs líderes mostram que o planejamento com grande quantidade de ferramentas continua desafiador: enquanto o GPT-5.4 atinge 51,90% de precisão em cenários sem bloqueio, seu desempenho cai para 11,36% sob a condição de bloqueio mais severa. Análises adicionais revelam que os agentes são especialmente vulneráveis quando as falhas carecem de sinais de erro explícitos ou quando a recuperação exige caminhos alternativos mais longos de uso de ferramentas. Esses resultados estabelecem o PlanBench-XL como um ambiente de teste para diagnosticar falhas de planejamento agentivo e destacam a necessidade de planejamento adaptativo robusto em tarefas de longo horizonte com grandes ambientes de ferramentas imperfeitas.

Os sistemas de agentes modernos frequentemente sofrem com estados de tempo de execução fragmentados: transcrições, efeitos de ferramentas, eventos de memória, posicionamento em área de trabalho, proveniência de ramificações e evidências de reprodução são registrados separadamente e tornam-se difíceis de inspecionar ou reproduzir. O OpenRath aborda esse problema com um modelo de programação inspirado no PyTorch para sistemas multiagente e multissessão. A analogia diz respeito ao papel de uma abstração central de tempo de execução de primeira classe, e não ao cálculo de tensores. Sua abstração central é a Session (Sessão), o valor de tempo de execução transmitido entre agentes e fluxos de trabalho. Uma Session é ramificável, inspecionável, reproduzível, ciente do backend e componível. Ela registra trechos de conversa, posicionamento em sandbox, metadados de linhagem, uso de tokens, trabalho pendente e evidências de ferramentas, ao mesmo tempo que define onde as interações de memória entram no registro de tempo de execução. Como esse estado é carregado pelo mesmo valor utilizado na execução do programa, as operações de ramificação (fork), mesclagem (merge) e reprodução (replay) tornam-se operações explícitas de tempo de execução, em vez de estados reconstruídos a partir de traços externos. O OpenRath define ainda Sandbox, Tool (Ferramenta), Agent (Agente), Memory (Memória), Workflow (Fluxo de Trabalho) e Selector (Seletor), sendo que o Selector transforma o fluxo de controle em decisões roteadas em tempo de execução. Este relatório apresenta o modelo de programação, a arquitetura, os marcos auditados e o protocolo de evidências. Suas afirmações limitam-se a propriedades controladas de tempo de execução, enquanto comparações quantitativas amplas, qualidade do provedor ativo, disponibilidade de backend opcional e qualidade da memória são deixadas para avaliação posterior. A tese central é que a Session fornece aos sistemas de agentes um valor de tempo de execução de primeira classe para composição auditável.

Fluxos multimodais massivos não estruturados sofrem de alta "entropia de dados", dificultando tanto a aquisição eficiente de conhecimento humano quanto o pós-treinamento de IA de alta qualidade. Os paradigmas passivos de anotação existentes, fortemente dependentes de regras heurísticas ou VLMs genéricos, são custosos, monótonos e não conseguem desbloquear a lógica procedural profunda embutida nos dados brutos. Elevamos o processamento de dados a uma capacidade aprendível, propondo uma mudança de paradigma em direção ao Agentic Data Tailoring, que refina e estrutura dados ativamente para alinhar-se com diversas intenções de usuários e aplicações downstream. Para superar o gargalo da escassez de dados no treinamento dessas capacidades de alta ordem, projetamos um pipeline em dois estágios que fundamenta a síntese semântica generativa em Âncoras Factuais determinísticas, gerando um conjunto de dados em larga escala abrangendo cinco domínios físicos e digitais centrais. Com base nisso, o modelo DataClaw_0-9B sinergiza o Ajuste Fino Supervisionado (SFT) com a Otimização de Política Relativa em Grupo (GRPO), alcançando um alinhamento robusto com intenções complexas de refinamento e adaptação. Para quantificar sistematicamente essa capacidade, construímos o DataClaw_0-val, o primeiro benchmark dedicado ao refinamento de dados. Crucialmente, adotamos o pós-treinamento downstream como a pedra de toque de validação final. Avaliações em geração de vídeo, VQA do mundo real e navegação GUI confirmam que o DataClaw_0 fornece dados adaptados de alta densidade informacional, facilitando a adaptação eficiente do modelo a novas tarefas sob regimes de dados de treinamento limitados. Página do projeto: https://czjdsg.github.io/MakeAnyData

Agentes empresariais cada vez mais operam em espaços de trabalho: leem arquivos heterogêneos, invocam ferramentas e entregam artefatos de negócios. Apresentamos o EnterpriseClawBench, um benchmark para agentes empresariais construído a partir de sessões reais e proprietárias de agentes. Partindo de um grande arquivo de sessões de trabalho, o EnterpriseClawBench gera 852 tarefas reproduzíveis, cada uma acompanhada de dispositivos recuperados, instruções reescritas, classes de papéis, subclasses de habilidades, regras rígidas e rubricas semânticas. Como as sessões contêm conteúdo empresarial interno, não divulgamos os dados do benchmark; em vez disso, nossa contribuição reutilizável é o protocolo de construção e avaliação. No EnterpriseClawBench, a melhor configuração alcança apenas 0,663 (Codex com GPT-5.5). Esses resultados mostram que a avaliação de agentes empresariais deve reportar combinações de modelo e estrutura de teste, entrega de artefatos, qualidade visual, custo, tempo de execução e comportamento de transferência de habilidades, em vez de colapsar o desempenho em uma única pontuação. Código: https://github.com/FrontisAI/EnterpriseClawBench

A autoatenção é central para o desempenho do Transformer e frequentemente é a parte mais dispendiosa do Transformer em contextos longos, pois suas interações pareadas de tokens escalam quadraticamente com o comprimento da sequência. A atenção densa padrão também aplica o mesmo conjunto de cabeças de atenção a cada token, independentemente da dificuldade do token ou do conteúdo da informação. Essa ativação uniforme pode desperdiçar poder computacional, especialmente à medida que as sequências se alongam e o custo da atenção aumenta rapidamente. Propomos os Especialistas de Consulta Agrupada (Grouped Query Experts, GQE), uma camada de mistura de especialistas sobre a atenção de consulta agrupada (Grouped-Query Attention, GQA). Dentro de cada grupo GQA, um roteador seleciona k especialistas de cabeça de consulta por token, enquanto todas as cabeças chave-valor (KV) permanecem densas e inalteradas. Assim, o GQE mantém os benefícios do cache KV do GQA e reduz apenas o cálculo ativo das cabeças de consulta. Com um orçamento fixo de 30B tokens na escala de 250M parâmetros, o GQE iguala a linha de base do GQA totalmente ativo em precisão downstream, enquanto ativa metade das cabeças de consulta por token.

À medida que os sistemas de recuperação escalam, a reordenação de alta qualidade torna-se cada vez mais importante. No entanto, a maioria dos reordenadores existentes, sejam baseados em codificadores ou decodificadores, codifica conjuntamente a consulta e a passagem, acoplando fortemente seu processamento e limitando a eficiência de implantação, bem como a flexibilidade. Apresentamos o KaLM-Reranker-V1, um reordenador rápido, mas não de interação tardia (FBNL), que desacopla o processamento da consulta e da passagem, mantendo uma modelagem expressiva de relevância. Construído sobre uma arquitetura codificador-decodificador, o KaLM-Reranker-V1 utiliza o codificador para pré-codificar passagens com pooling de embeddings Matryoshka, enquanto o decodificador modela a instrução do sistema, a instrução do usuário e a intenção da consulta; a atenção cruzada captura então a relevância entre o contexto da consulta e as representações das passagens. Este design torna o KaLM-Reranker-V1 eficiente por meio da codificação desacoplada de passagens, mas não de interação tardia, preservando uma modelagem rica de relevância por meio da atenção cruzada. Instanciamos o KaLM-Reranker-V1 em três tamanhos: Nano, Small e Large, com 0,27B, 1B e 4B parâmetros ativados, respectivamente. Experimentos extensivos em BEIR, MIRACL e LMEB demonstram que o KaLM-Reranker-V1 alcança um forte desempenho de reordenação com eficiência superior. No BEIR, o KaLM-Reranker-V1 atinge desempenho de estado da arte, comparável a modelos industriais robustos, como a série Qwen3-Reranker; no MIRACL, apesar de não ter sido extensivamente treinado em dados multilíngues, o KaLM-Reranker-V1 ainda demonstra excelente desempenho de reordenação. Além disso, no LMEB, os modelos de reordenação mostram uma clara vantagem, com até mesmo o modelo Nano de 0,27B permanecendo competitivo com modelos de embeddings de 7-12B.

Modelos de Ação Mundial (WAMs) são modelos preditivos de ação corporificados que disponibilizam uma previsão do futuro para a ação. WAMs recentes reaproveitam grandes modelos de geração de vídeo, e uma linha paralela depende de backbones de linguagem ou visão-linguagem sem um núcleo de geração de vídeo. Essa rápida expansão turvou a fronteira entre modelos mundiais amplos, modelos de geração de vídeo, modelos mundiais de vídeo fundamentados em ação, políticas de Visão-Linguagem-Ação e WAMs. Esta pesquisa oferece ao campo uma descrição comum. Primeiramente, esclarece essas fronteiras e, em seguida, organiza os trabalhos existentes por meio de duas perspectivas complementares. A primeira perspectiva questiona o que cada método precisa gerar, abrangendo futuros renderizados, futuros latentes e raciocínio de ação sem geração de vídeo. A segunda perspectiva decompõe cada método por substrato preditivo, backbone, acoplamento de ação e regime de implantação. Essa anatomia sustenta uma discussão unificada sobre interatividade, causalidade, persistência, plausibilidade física e generalização, seguida por dados, avaliação e desafios em aberto. Ao longo desses eixos, surge um padrão de design consistente: WAMs não são simplesmente geradores de vídeo com cabeças de ação, mas métodos de ação preditiva cujas escolhas de design equilibram riqueza representacional com custo computacional, de memória, latência e de rótulos de ação. O campo está avançando em direção a métodos que geram menos do futuro, preservando o que o controle requer. A página inicial da pesquisa está disponível em https://world-action-models.github.io/.

Embora agentes terminais baseados em LLMs tenham demonstrado capacidades promissoras recentemente, a escassez de dados de treinamento executáveis e de alta qualidade continua sendo um gargalo crítico. Os pipelines de síntese existentes tipicamente escalam adaptando artefatos superficiais em tarefas, frequentemente resultando em instruções ambíguas, caminhos de execução rasos e testes frágeis que fornecem sinais de aprendizado fracos. Para superar isso, apresentamos o CLI-Universe, um motor de síntese baseado em princípios que constrói tarefas para agentes terminais. O CLI-Universe gera tarefas candidatas amostrando combinações em uma taxonomia de capacidades multidimensionais (domínio, tipo de habilidade, capacidade e pilar de engenharia), e então fundamenta cada candidata por meio de pesquisa aprofundada guiada por evidências em materiais técnicos do mundo real. Para garantir uma supervisão rigorosa, os planos validados são instanciados em ambientes Dockerizados e submetidos a um pipeline de verificação executável em múltiplos estágios, apresentando construção de testes orientada por rubrica, filtragem condicional por dicas e verificação estrita do tipo falha-para-sucesso. Ao longo de todo o pipeline, desde a geração de candidatos até a verificação, aproximadamente dois terços das candidatas são descartados, retendo apenas aquelas que são genuínas, verificáveis e desafiadoras de forma não trivial. Para validar nossa estrutura, instanciamos um conjunto de dados altamente destilado de 6.000 trajetórias chamado CLI-Universe-6K. Notavelmente, o ajuste fino do Qwen3-32B no CLI-Universe-6K alcança 33,4% no Terminal-Bench 2.0. Isso estabelece um novo estado da arte para modelos treinados em dados de código aberto com 32B parâmetros ou menos, e supera vários modelos de ordens de grandeza maiores, demonstrando a profunda eficiência de dados da síntese estruturada e de alta fidelidade.

Os modelos de embedding existentes são inerentemente estáticos: eles codificam segmentos de texto de forma isolada, ignorando o contexto circundante e a ordem temporal. Este artigo apresenta o EvoEmbedding, um modelo de embedding inovador que gera representações evolutivas para recuperação de informação. Ele é adaptado para cenários de contexto longo, onde a informação é dinâmica, sequencial e requer monitoramento contínuo do estado. Nosso design é simples: o EvoEmbedding mantém uma memória latente continuamente atualizada à medida que processa entradas sequencialmente, e a utiliza em conjunto com o conteúdo bruto para gerar embeddings evolutivos. Consequentemente, para uma mesma consulta, nosso modelo adapta sua representação para recuperar alvos distintos com base no contexto em evolução, indo além da busca semântica estática. Para equipar o modelo com essa capacidade, construímos o EvoTrain-180K, um conjunto de dados diversificado para a otimização conjunta da memória latente e da recuperação. Além disso, introduzimos uma fila de memória para evitar o colapso de representação durante a codificação recorrente, juntamente com técnicas de agrupamento em lote por segmentos que lidam com a variação significativa de comprimento e aceleram o treinamento em 3,8 vezes. Experimentos extensivos mostram que nosso modelo não apenas supera especialistas de maior escala (por exemplo, Qwen3-Embedding-8B e KaLM-Embedding-Gemma3-12B) em uma série de benchmarks de recuperação de contexto longo, mas também generaliza bem para tarefas downstream (por exemplo, personalização) com contextos 10 vezes mais longos que sua janela de treinamento. Notavelmente, o EvoEmbedding integra-se perfeitamente a fluxos de trabalho agentivos para melhorar o desempenho. Por exemplo, um pipeline RAG ingênuo equipado com nosso modelo supera sistemas de memória agentivos dedicados. Página do Projeto: https://clare-nie.github.io/EvoEmbedding.

A complexidade quadrática da atenção impõe um gargalo crítico para o processamento de contextos longos, despertando interesse em designs híbridos de atenção. A maioria dos modelos híbridos de código aberto adota uma estratégia por camadas. No entanto, trabalhos anteriores notaram a dificuldade inerente de integrar Atenção Linear (LA) com Atenção Total (FA), sugerindo que o espaço de projeto da hibridização da atenção permanece pouco explorado. Para investigar esse espaço, realizamos análises de interpretabilidade e observamos que as camadas exibem similaridade funcional em blocos, enquanto cabeças individuais dentro da mesma camada apresentam especialização funcional distinta, apesar de compartilharem características de entrada. Essa heterogeneidade ao nível das cabeças sugere que a dimensão das cabeças fornece uma granularidade natural e fundamentada para fundir sinais de atenção heterogêneos. Com base nessa percepção, apresentamos o HydraHead, uma nova arquitetura que hibridiza FA e LA ao longo do eixo das cabeças. O HydraHead apresenta duas inovações principais: (1) uma estratégia de seleção orientada por interpretabilidade que identifica cabeças críticas para recuperação e preserva FA apenas para elas, e (2) um módulo de fusão com normalização de escala que reconcilia a lacuna distribucional entre as saídas das cabeças FA e LA. Ao alavancar um pipeline de transferência de três estágios com reutilização de parâmetros e destilação, alcançamos modelos híbridos de alto desempenho com mínimo custo de treinamento. Sob uma configuração de treinamento unificada, o HydraHead supera outros designs híbridos em tarefas de contexto longo, mantendo um raciocínio geral forte. Com a seleção de cabeças orientada por interpretabilidade, ele iguala o desempenho em contexto longo de um híbrido por camadas na proporção 3:1 com uma proporção LA para FA de 7:1. Crucialmente, treinado em apenas 15B tokens, o HydraHead alcança mais de 69% de melhoria em relação à linha de base em comprimento de contexto de 512K, aproximando-se do Qwen3.5, um modelo líder de tamanho comparável com comprimento de contexto nativo de 256K. Isso destaca o significativo potencial de escalabilidade da hibridização ao nível das cabeças.

Agentes de Uso de Computador (CUAs) são cada vez mais implantados em ambientes interativos dinâmicos, criando uma necessidade crescente de aprendizado contínuo de habilidades durante a interação. Abordagens recentes enfrentam esse desafio aprendendo habilidades reutilizáveis a partir de trajetórias bem-sucedidas. No entanto, esses métodos de aprendizado de habilidades assumem em grande parte ambientes estáticos e seguros, desconsiderando riscos provenientes de interações adversariais (por exemplo, injeções de prompt) e dinâmicas ambientais (por exemplo, pop-ups). Em cenários dinâmicos, tais suposições podem levar a um aprendizado arriscado de habilidades e a uma execução frágil, comprometendo a confiabilidade dos CUAs. Isso levanta a pergunta: como os CUAs podem aprender e usar habilidades de forma segura em ambientes dinâmicos? Para abordar esse problema, propomos o SkillHarness, uma estrutura para aproveitamento seguro de habilidades em ambientes dinâmicos. O SkillHarness vai além das abstrações estáticas de habilidades ao modelar o aprendizado e a utilização de habilidades como um processo de interação restrito por segurança. Especificamente, introduzimos o limite de habilidade, que aproveita sinais de supervisão de múltiplas fontes para identificar habilidades seguras a partir de trajetórias de interação, e construímos restrições de segurança autoaprimoráveis ao longo do ciclo de vida da habilidade. Além disso, o SkillHarness introduz a reutilização seletiva de habilidades, onde as tarefas são orientadas a se decompor de acordo com o contexto e concluídas por meio da ativação seletiva de subconjuntos de habilidades. Nossos experimentos demonstram que o SkillHarness reduz significativamente a taxa de insegurança das habilidades aprendidas em 57,1% e melhora consistentemente a estabilidade de execução sob mudanças ambientais dinâmicas, superando as bases de referência existentes.

A geração autorregressiva em modelos de linguagem de grande porte (LLMs) convencionalmente decodifica a partir da camada final, assumindo que representações mais profundas produzem previsões do próximo token mais confiáveis. Revisitamos essa suposição ao revelar uma dinâmica recorrente de Palpite-Refinamento-Perturbação: camadas iniciais formam palpites grosseiros, camadas intermediárias refinam semânticas relevantes ao raciocínio, e camadas finais podem perturbar essas previsões refinadas em direção a tokens genéricos ou preferidos por alinhamento. Apresentamos a Decodificação Confiante, uma estratégia de decodificação sem treinamento que seleciona dinamicamente a camada quase final mais confiável por meio de uma busca retroativa conservadora guiada por entropia. Além disso, fornecemos uma formulação teórica da seleção de camada como um problema de parada ótima, mostrando que, sob ruído de projeção limitado e perturbação de alinhamento dominante em estágio tardio, nossa regra de busca filtra a perturbação enquanto limita a perda em relação à camada de refinamento ideal. Experimentos em LLMs densos e de Mistura de Especialistas demonstram ganhos consistentes em benchmarks desafiadores de raciocínio, incluindo GPQA-Diamond, Omni-MATH e HLE, com zero de sobrecarga de memória e aumento de latência inferior a 2%. Esses resultados sugerem que contornar dinamicamente as perturbações da camada final pode desbloquear um comportamento de raciocínio mais forte em LLMs alinhados.

A autodestilação melhora o raciocínio em modelos de linguagem de grande escala ao utilizar as próprias trajetórias geradas pelo modelo como sinal de treinamento, tipicamente por meio de alinhamento implícito no nível dos logits que minimiza a divergência KL em relação a uma distribuição alvo privilegiada. No entanto, como essa supervisão é gerada por amostragem não controlada, ela não fornece insights diagnósticos sobre os erros específicos do modelo nem orientação corretiva para seus padrões individuais de falha. Consequentemente, o modelo aprende a imitar uma distribuição privilegiada em vez de receber correções refinadas que identifiquem onde e por que seu raciocínio falha. Neste artigo, propomos a Otimização de Política Aumentada por Trajetórias (TAPO), que avança a autodestilação do alinhamento distribucional implícito para a construção explícita de trajetórias. Durante o treinamento por RL, o modelo produz trajetórias corretas e incorretas para a mesma consulta, e o TAPO aproveita essa estrutura contrastiva para construir correções microrreflexivas — novas trajetórias de treinamento que retêm o raciocínio errôneo do modelo até o ponto de falha, inserindo em seguida um diagnóstico em linguagem natural e um raciocínio corrigido, guiados por uma referência correta do mesmo grupo de amostragem. Como cada trajetória está ancorada no próprio prefixo e nas soluções do aprendiz, o sinal corretivo preserva a distribuição on-policy do modelo em maior medida do que o alinhamento posicional imposto por métodos baseados em KL. Para integrar essas trajetórias, o TAPO introduz uma seleção de candidatos ciente da dificuldade no limite da capacidade do modelo e uma estimativa de vantagem desacoplada para evitar a contaminação do gradiente. Experimentos no AIME 2024, AIME 2025 e HMMT 2025 mostram que o TAPO atinge melhorias consistentes em relação ao GRPO sob o mesmo número de passos de treinamento. Análises adicionais demonstram que o TAPO fortalece tanto o raciocínio de primeira passagem quanto a eficácia da correção de erros.

Recentemente, modelos OCR ponta a ponta, exemplificados pelo DeepSeek OCR, colocaram novamente o OCR em destaque. Uma opinião amplamente difundida é que utilizar um modelo de linguagem grande (LLM) como decodificador permite que o modelo aproveite a distribuição a priori da linguagem, resultando em melhor desempenho do OCR. No entanto, a desvantagem é igualmente evidente: à medida que a sequência de saída se alonga, o cache KV acumulado aumenta o consumo de memória e desacelera progressivamente a geração. Isso contrasta fortemente com os humanos, que não apresentam tal declínio na eficiência durante tarefas de cópia de longo horizonte. Neste relatório técnico, propomos o Unlimited OCR, um modelo projetado para emular a memória de trabalho de parsing humano. Tomando o DeepSeek OCR como referência, substituímos todas as camadas de atenção no decodificador pela nossa proposta Atenção de Janela Deslizante de Referência (R-SWA), que reduz os custos de computação da atenção enquanto mantém um cache KV constante durante todo o processo de decodificação. Ao combinar a alta taxa de compressão do codificador do DeepSeek OCR com o nosso design de cache KV constante, o Unlimited OCR pode transcrever dezenas de páginas de documentos em uma única passagem direta sob um comprimento máximo padrão de 32K. Mais importante, a R-SWA é um mecanismo de atenção de parsing de propósito geral — além do OCR, é igualmente aplicável a tarefas como ASR, tradução, etc. Códigos e pesos do modelo estão disponíveis publicamente em http://github.com/baidu/Unlimited-OCR.

Agentes de pesquisa profunda são sistemas baseados em Modelos de Linguagem de Grande Escala (LLM) projetados para raciocínio científico autônomo em múltiplas etapas, e possuem um imenso potencial para acelerar a pesquisa nas ciências físicas. No entanto, ainda faltam avaliações abrangentes e aprofundadas de suas capacidades nesse domínio. Para preencher essa lacuna, apresentamos o PhySciBench, um benchmark altamente relevante para a pesquisa em ciências físicas, composto por 200 questões selecionadas por especialistas, equilibradas entre física e química, abrangendo seis categorias de tarefas que refletem fluxos de trabalho científicos reais. Avaliações de modelos e sistemas de agentes do estado da arte no PhySciBench revelam desempenho limitado; mesmo a linha de base mais forte, o Gemini Deep Research, alcança uma precisão de apenas 33,5%. A análise dos casos de falha identifica três deficiências recorrentes: fragilidade em cadeias de raciocínio extensas, transferência limitada de conhecimento entre etapas e falta de autoverificação fundamentada na física. Motivados por essas descobertas, desenvolvemos o DelveAgent, um framework multiagente modular equipado com um loop de planejamento adaptativo, memória de dupla granularidade e um mecanismo de reflexão hierárquica fundamentada na física. Em quatro benchmarks científicos, o DelveAgent melhora a precisão em até 7,5 pontos percentuais, ao mesmo tempo que reduz os custos de inferência para aproximadamente um terço da linha de base mais forte. Esses resultados estabelecem a relevância do PhySciBench como um benchmark crítico para avaliar sistemas de IA nas ciências físicas e demonstram que a especialização arquitetural pode efetivamente aumentar a confiabilidade da pesquisa científica autônoma.

Tarefas de longo horizonte são comuns em implantações robóticas no mundo real, mas a detecção de falhas para tais tarefas ainda é pouco explorada. Detectar falhas em tarefas robóticas de longo horizonte é particularmente desafiador porque o início da falha é frequentemente ambíguo e anotações temporais densas geralmente não estão disponíveis. Apresentamos o Foresight, uma estrutura de detecção de falhas que monitora trajetórias de manipulação usando representações latentes de um modelo de mundo condicionado à ação. O Foresight é treinado utilizando apenas rótulos finais de sucesso ou falha em nível de tarefa. Ao aproveitar embeddings preditivos do modelo de mundo, nosso método fornece uma estrutura unificada para detecção de falhas em diferentes políticas. Além disso, utilizamos predição conformal funcional (FCP) para calibrar limiares de detecção de forma adaptativa. Avaliamos o Foresight com políticas state-of-the-art de visão-linguagem-ação em simulação no LIBERO-Long, ManiSkill-Long e BEHAVIOR-1K, comparando-o com métodos state-of-the-art de detecção de falhas, e o validamos em robôs reais com três tarefas de longo horizonte em um braço ReactorX-200 e uma tarefa em um braço Franka. Nossos resultados sugerem que embeddings de modelos de mundo condicionados à ação fornecem uma representação escalável para monitoramento confiável de falhas em manipulação de longo horizonte.

Traços longos de agentes compostos por cadeias de pensamento e chamadas de ferramentas acumulam conteúdo obsoleto que ancora gerações subsequentes e, eventualmente, excede a janela de contexto. Arcabouços existentes mitigam isso com compactação em intervalos fixos acionada por um limite de tokens. Esses gatilhos ignoram a estrutura da trajetória, arriscando o descarte de resultados parciais no meio de uma derivação ou de uma busca. Propomos o SelfCompact, um arcabouço que permite ao próprio modelo decidir quando e como compactar. Especificamente, ele combina dois elementos de inferência: (i) uma ferramenta de compactação que o modelo invoca para resumir o contexto acumulado, e (ii) uma rubrica leve que especifica quando acionar (uma subtarefa foi resolvida, ou a trajetória está convergindo) e quando suprimir (no meio de uma derivação, ou quando em ponto morto). Ambos são necessários. A ferramenta sozinha é usada de forma desigual entre modelos de peso aberto, frequentemente invocada em momentos inúteis ou nem sequer utilizada; a rubrica sozinha não consegue agir. Juntos, eles elicitam compactação adaptativa eficaz sem qualquer ajuste fino ou supervisão externa. Apresentamos resultados empíricos em seis benchmarks (matemática competitiva e busca agentiva) e sete modelos. Nossos resultados mostram que o SelfCompact iguala ou supera a sumarização em intervalos fixos a uma fração do custo de tokens, melhorando em até 18,1 pontos em matemática e 5-9 pontos em busca agentiva em relação a uma linha de base sem sumarização, com 30-70% menos custo por pergunta. Nossos resultados expõem uma lacuna metacognitiva: embora modelos não instruídos não consigam determinar de forma confiável quando seu próprio contexto está se deteriorando, uma rubrica leve fecha essa lacuna, reformulando o momento da compactação como uma capacidade que arcabouços podem fornecer sem treinamento.

Os telefones estão se tornando uma superfície de execução importante para agentes de propósito geral, mas treinar modelos abertos para uso confiável de telefones continua difícil porque o ambiente que importa na implantação — dispositivos reais executando aplicativos reais — é lento, com estados, propenso a efeitos colaterais e difícil de redefinir ou verificar, enquanto ambientes simulados escaláveis apenas se aproximam do comportamento real. Apresentamos o PhoneBuddy, uma receita de treinamento e uma linha de modelos abertos para uso agêntico de telefones que combina um ambiente de aplicativos reais com um ambiente de aplicativos simulados, o PhoneWorld, que reconstrói aplicativos simulados executáveis a partir da estrutura de uso real de GUI. O PhoneBuddy primeiro constrói um estágio compartilhado de ajuste fino supervisionado a partir de trajetórias coletadas em ambos os ambientes e, em seguida, compara o RL em aplicativos reais com o RL combinado em ambos os ambientes. Em uma avaliação humana de 150 tarefas em telefones reais, abrangendo aplicativos, mini-aplicativos e fluxos de trabalho entre aplicativos, a taxa de sucesso de tarefas melhora de 36,67% após o ajuste fino supervisionado para 40,67% após o RL em aplicativos reais e para 45,33% após o RL combinado. No AndroidWorld, a mesma progressão sobe de 60,3% para 77,2% para 83,2%. Esses resultados mostram que o treinamento em aplicativos simulados não substitui o RL em aplicativos reais, mas é uma fonte complementar de interação escalável, redefinível e verificada automaticamente. Os ganhos são mais fortes em tarefas de aplicativos e mini-aplicativos, enquanto fluxos de trabalho entre aplicativos de longo horizonte continuam sendo um desafio importante em aberto.

Fluxos de trabalho de descoberta científica geralmente incluem e dependem fortemente de notas de laboratório, onde pesquisadores registram observações, interpretam resultados incertos e planejam experimentos de acompanhamento. Essas notas de laboratório informativas preservam o raciocínio científico em evolução e a incerteza do autor, em vez de resultados finais refinados exibidos em publicações, oferecendo uma oportunidade valiosa para a IA se envolver em exploração científica em um nível mais abrangente e profundo. No entanto, a maioria dos trabalhos anteriores sobre texto científico concentra-se em artigos, protocolos ou bancos de dados estruturados, deixando notas de laboratório informais subexploradas como entradas para agentes de IA na ciência. Essa lacuna é importante porque as notas de laboratório frequentemente misturam observações validadas, julgamentos provisórios e possíveis próximos passos experimentais dentro do mesmo trecho. Se esses sinais forem confundidos, um agente de IA pode interpretar julgamentos científicos incertos como conclusões confirmadas ou ações executáveis. Para isso, apresentamos o Notes2Skills, uma estrutura de dois estágios para transformar cadernos de laboratório em habilidades verificáveis para agentes de IA científica, preservando a certeza do autor. Em sete condições e três sessões de laboratório úmido, o Notes2Skills é a única configuração que não confunde notas incertas com instruções firmes nem descarta instruções firmes. Mostramos que a preservação da certeza é a peça que faltava entre cadernos de laboratório e habilidades confiáveis de agentes, abrindo caminho para sistemas mais seguros de co-cientistas de IA.

Agentes de Busca (Search Agents, SAs) tipicamente utilizam grandes modelos de linguagem (large language models, LLMs) para apoiar tarefas complexas de busca de informação, explorando fontes web de forma autónoma e sintetizando informações em respostas abrangentes. Para a avaliação de SAs, benchmarks anteriores focam-se principalmente em tarefas especializadas que dificilmente surgem em cenários reais de utilização. Além disso, a sua dependência de rubricas gerais ao nível da tarefa limita frequentemente a interpretabilidade da avaliação. Para colmatar esta lacuna, apresentamos o DailyReport, um benchmark de resposta aberta para avaliar as capacidades dos SAs em tarefas de pesquisa do quotidiano. Contém 150 tarefas abertas com 3.546 rubricas associadas, capturando necessidades de informação amplamente discutidas e atuais dos utilizadores reais. Cada tarefa é decomposta em sub-tarefas e avaliada com rubricas em cascata em dimensões separadas. Através da atribuição de desempenho em cascata e da agregação centrada no utilizador, obtemos pontuações altamente interpretáveis para cada dimensão, juntamente com uma pontuação de preferência do utilizador. Os nossos resultados em 17 sistemas agentivos mostram que os sistemas atuais ainda ficam aquém das expectativas dos utilizadores. Para facilitar investigação futura, disponibilizamos publicamente o nosso conjunto de dados e código em https://github.com/AGI-Eval-Official/DailyReport.

Agentes que utilizam terminal rapidamente se tornaram a aplicação downstream mais popular de modelos de linguagem (LMs). Apesar de sua prevalência, relativamente pouco trabalho acadêmico examinou o treinamento baseado em RL desses modelos, provavelmente devido a benchmarks difíceis, falta de dados e falta de receitas baseline simples. Apresentamos Tmax, a receita de RL aberta mais forte para agentes de terminal até o momento, aproximando receitas de dados abertos da fronteira. Embora simples, nossa receita alcança 27% no Terminal-Bench 2.0 com apenas 9B parâmetros, superando modelos muito maiores de trabalhos anteriores. Concretamente, geramos dados usando uma nova taxonomia, combinando controle de dificuldade, personas e diversificação de verificadores, o que nos permite gerar barato grandes quantidades de ambientes de terminal para treinamento RL e SFT. Disponibilizamos como código aberto nosso conjunto de dados de terminal, que é mais de 2,5 vezes maior que conjuntos de dados de agentes de terminal lançados anteriormente. Em seguida, treinamos modelos de pesos abertos usando RL com nossos dados, utilizando uma receita simples, apenas baseada em resultado. Liberamos nossos dados, modelos e código como uma base sólida para futuros trabalhos acadêmicos abertos sobre agentes de terminal em https://github.com/hamishivi/tmax.

Alinhar modelos de correspondência de fluxo texto-imagem com preferências humanas via retropropagação direta de recompensas é eficiente em termos de amostras, mas é prejudicado por duas patologias bem conhecidas: as ativações não podem ser armazenadas ao longo de toda a trajetória de amostragem na escala moderna dos modelos, e os produtos Jacobianos encadeados entre etapas inflam o gradiente da recompensa à medida que ele retrocede aos índices iniciais. Métodos baseados em conectores, como o LeapAlign, abordam esses problemas substituindo a trajetória completa de retropropagação por um caminho curto e fixo, destacando uma separação útil entre amostragem e otimização. No entanto, a qualidade do gradiente resultante depende da precisão com que esse caminho curto aproxima a execução completa, especialmente em intervalos longos. Propomos o FlowBP, uma estrutura unificada de trajetória substituta que trata a própria trajetória de retropropagação como objeto de design. O FlowBP mantém uma execução armazenada em cache sem gradiente para amostragem e, em seguida, constrói um substituto leve de retropropagação a partir de velocidades armazenadas em cache e reenviadas seletivamente. Essa visão separa quatro escolhas: a entrada do modelo de recompensa, o conjunto ativo, os pesos de integração e o acoplamento de ponte, e recupera métodos anteriores de gradiente direto como configurações particulares. Dentro dessa estrutura, instanciamos três variantes: FlowBP-Sparse usa reconstrução esparsa de Euler, FlowBP-Bridge adiciona acoplamento de ponte controlado e FlowBP-Lagrange eleva a ordem da quadratura de salto. Todas as três limitam a memória pelo tamanho do conjunto ativo e restringem o encadeamento de gradientes a no máximo um fator Jacobiano. Em SD3.5-M, FLUX.1-dev e FLUX.2-Klein-base, em métricas de preferência, qualidade e composicionalidade, as três variantes melhoram em relação às linhas de base de gradiente direto na maioria das métricas.

O flow matching emergiu recentemente como um paradigma forte para a geração de texto-para-imagem (T2I) de ponta, permitindo a geração de alta qualidade com um pequeno número de etapas de amostragem. À medida que esses modelos são cada vez mais integrados em aplicações do mundo real, garantir a geração de conteúdo seguro e não sensível tornou-se um requisito crítico. No entanto, adaptar métodos de segurança e remoção de conceitos a este novo arcabouço de geração permanece um desafio em aberto. Especificamente, métodos anteriores dependem em grande parte do direcionamento iterativo da trajetória ao longo de várias etapas de remoção de ruído ou da manipulação da incorporação do prompt centrada em CLIP. Essas suposições de projeto impõem gargalos fundamentais para a segurança na geração T2I baseada em flow matching, onde as etapas limitadas de amostragem restringem a correção iterativa e os codificadores de texto modernos cientes do contexto diminuem a eficácia das intervenções no nível da incorporação. Neste artigo, propomos o VESFlow, um método de segurança sem treinamento adaptado ao flow matching com extremamente poucas etapas de amostragem. Aproveitando o fato de que modelos de flow matching aprendem a velocidade marginal, editamos diretamente o campo de velocidade por meio de um posterior condicional seguro. O VESFlow direciona a trajetória para saídas seguras enquanto mantém o prompt condicionante inalterado. Com base na observação de que o VESFlow mantém as saídas inalteradas sob prompts benignos, introduzimos ainda uma filtragem baseada em pontuação de risco que ignora a edição de velocidade para reduzir o custo computacional enquanto preserva a geração de prompts benignos. Com base nessa filtragem, propomos o VESFlow+, uma variante mais forte do VESFlow que não apenas edita a velocidade na direção segura, mas também a afasta da direção insegura. Resultados experimentais mostram que o VESFlow+ remove o conceito alvo, reduzindo a taxa de sucesso de ataque pelo NudeNet para 6,3% no Ring-A-Bell e 6,8% no MMA-Diffusion no modelo MeanFlow de 4 etapas, enquanto preserva a fidelidade em prompts benignos.

Modelos de Linguagem de Grande Escala (LLMs) de pesos abertos possibilitam o progresso científico e a ampla implantação. No entanto, eles dificultam o controle de acesso a capacidades sensíveis. A prática atual ou suprime capacidades perigosas antes da liberação ou media o acesso por meio de serviços fechados que utilizam variantes especializadas de modelos, monitores de entrada/saída e permissões de API. A primeira abordagem é suscetível a jailbreaks, além de sacrificar a capacidade para todos os usuários para mitigar os riscos representados por poucos, e a segunda é fundamentalmente incompatível com a liberação de pesos abertos. Neste artigo, propomos Modelos de Linguagem em Camadas (TLMs), nos quais um único conjunto de pesos liberados suporta múltiplos níveis de capacidade. Em sua configuração pública padrão, um TLM se comporta como um LLM convencional. Uma chave secreta compacta especifica uma permutação sobre um subconjunto pequeno de parâmetros, induzindo um grafo computacional alternativo sobre os mesmos pesos que expõe capacidades adicionais. Desenvolvemos um protocolo de treinamento que pré-treina conjuntamente ambas as configurações do zero e, em seguida, ajusta finamente a configuração chaveada em dados privados com regularização para preservar o comportamento do modelo público. Pré-treinamos TLMs com 180 milhões e 650 milhões de parâmetros e demonstramos que a configuração chaveada pode adquirir um novo idioma, ganhar capacidade de seguir instruções e memorizar conhecimento factual privado, enquanto a configuração pública não exibe nenhuma dessas capacidades. Além disso, mostramos que nossa abordagem se estende naturalmente a múltiplos níveis hierárquicos. Como a autorização opera na estrutura de pesos do modelo, em vez de no espaço de entrada, o mecanismo resiste à extração baseada em ajuste fino e ao comprometimento parcial da chave. Em geral, os TLMs dão um passo em direção a reconciliar a liberação de pesos abertos com o controle seletivo de capacidades.

O pré-treinamento de ações latentes aprende representações de mudanças visuais a partir de pares de observações, mas métodos existentes geralmente codificam cada transição como uma representação única e não estruturada que entrelaça a extensão da transição e o modo da transição. Apresentamos as Ações Latentes Polares com Estrutura Radial (PoLAR), que impõem uma estrutura radial-direcional sobre as ações latentes, incentivando o raio a codificar a extensão da transição e a direção a reter o modo da transição. O PoLAR usa o deslocamento temporal entre duas observações como uma proxy fraca para a extensão da transição, incentivando que ações latentes provenientes de pares de observações separados por maiores intervalos temporais ocupem raios maiores. Materializamos essa estrutura no espaço hiperbólico, cujo volume em expansão com o raio oferece um ajuste natural para modos de transição mais diversos em maiores extensões. Em cenários de pré-treinamento intra-tarefa e em larga escala, o PoLAR melhora o desempenho de políticas subsequentes em simulações e experimentos robóticos no mundo real, superando linhas de base de ações latentes e VLAs pré-treinados robustos. Esses resultados sugerem que a geometria do espaço de ações latentes é uma escolha de design importante para transferir o pré-treinamento visual para o aprendizado de políticas robóticas subsequentes.

Este trabalho apresenta uma estrutura geral para treinar grandes modelos de linguagem (LLMs) a "Conectar os Pontos" (CoD), uma meta-capacidade necessária para agentes de longo ciclo de vida: à medida que um agente de IA baseado em LLM é implantado em um ambiente, ele resolve uma longa sequência de tarefas enquanto explora continuamente o ambiente, aprende com suas próprias experiências e atualiza iterativamente seu contexto sobre o ambiente, alcançando assim um desempenho progressivamente melhor em tarefas futuras condicionadas ao contexto atualizado. Os principais componentes da estrutura CoD incluem: (1) projeto de algoritmos e infraestrutura para aprendizagem por reforço (RL) de ponta a ponta com longas sequências de rollout que intercalam episódios de resolução de tarefas e atualização de contexto; (2) tarefas e ambientes para incentivar e eliciar a meta-capacidade alvo nos LLMs durante o treinamento, bem como para medir fielmente o progresso durante a avaliação. Apresentamos implementações de prova de conceito da estrutura CoD, incluindo um algoritmo RL no estilo GRPO com atribuição de crédito granular, além de tarefas e ambientes adaptados à meta-capacidade alvo (em vez de capacidades LLM específicas de domínio ou RL padrão tarefa por tarefa). Resultados empíricos validam a eficácia do treinamento RL de ponta a ponta no contexto CoD e demonstram o potencial de generalização fora da distribuição — dentro dos domínios de treinamento, entre diferentes domínios, e de CoD para configurações de loop Ralph — da meta-capacidade elicitada. Nossa investigação sobre CoD conecta várias linhas de trabalhos anteriores e abre novas oportunidades para avançar LLMs e agentes de IA. Para facilitar futuras pesquisas e aplicações, disponibilizamos nossas implementações em https://github.com/agentscope-ai/Trinity-RFT/tree/research/cod/examples/research_cod.

Tentativas recentes de combinar grandes modelos de linguagem (LLMs) com descoberta causal pedem que os modelos infiram direções aos pares, proponham estruturas de grafo ou injetem saídas de modelos de linguagem como prioris e restrições. Essas abordagens prometem uma análise mais rápida, mas também obscurecem se uma evidência causal é suportada por dados e pressupostos ou por associações textuais, artefatos de prompt e mecanismos alucinados. Argumentamos por um papel diferente para agentes na descoberta causal. Agentes devem inspecionar dados, recuperar contexto, explicar pressupostos do método e esclarecer as saídas do grafo, mas não devem fornecer arestas, orientações, prioris, restrições ou conclusões causais. Propomos o princípio de que os agentes auxiliam o fluxo de trabalho, enquanto as afirmações causais permanecem fundamentadas em dados, pressupostos explícitos, algoritmos formais, diagnósticos e decisões do usuário ou de especialistas no domínio. Instanciamos esse princípio no causal-learn+, uma plataforma online que coordena análise de dados, pré-processamento, recomendação de métodos, incorporação de conhecimento especializado, descoberta formal e interpretação em torno do ecossistema algorítmico do causal-learn. Um estudo de caso sobre dados de personalidade dos Cinco Grandes Fatores ilustra um pipeline assistido por agente de descoberta causal sem transformar a falta de confiabilidade do modelo de linguagem em evidência causal. A plataforma está disponível em causallearn.com.

Modelos de linguagem modernos, incluindo variantes baseadas em transformadores, recorrentes e com memória, compartilham um chassi comum: uma pilha de camadas idênticas nas quais os parâmetros são alocados uniformemente ao longo da profundidade. Trata-se de um padrão herdado do transformador original e praticamente inalterado desde então, mas um crescente conjunto de evidências sugere que as camadas contribuem de forma não uniforme para a saída final, com as camadas posteriores refinando o fluxo residual em vez de transformá-lo. Perguntamos se a capacidade de parâmetros deveria refletir essa assimetria. Nosso experimento controlado mostra que, sob um orçamento fixo, alocar mais capacidade às camadas iniciais e menos às posteriores melhora a perplexidade em relação a uma linha de base de largura uniforme, enquanto a alocação inversa a prejudica. Com base nesse resultado, introduzimos os Modelos de Linguagem Afunilhados (Tapered Language Models – TLMs), um princípio arquitetural no qual um componente portador de parâmetros é monotonicamente afunilado ao longo da profundidade sob um orçamento total fixo. Os MLPs são o local natural para essa instanciação: eles dominam a contagem de parâmetros em todas as famílias modernas de modelos de linguagem e expõem a largura como um eixo de variação único e limpo. Em três escalas de modelo e quatro arquiteturas (Transformer, Gated Attention, Hope-attention e Titans), afunilar a largura dos MLPs por meio de um agendamento cosseno suave melhora consistentemente a perplexidade e o desempenho em benchmarks downstream em relação às linhas de base uniformes, sem custo adicional de parâmetros ou computação. Esses achados estabelecem a alocação de capacidade ciente da profundidade como um eixo simples e independente de arquitetura no projeto de modelos de linguagem, uma alavanca gratuita escondida à vista de todos.

À medida que sistemas agentivos enfrentam tarefas multi-etapa cada vez mais complexas, avaliar suas trajetórias representa um gargalo significativo — a anotação humana de uma única trajetória em benchmarks populares para agentes pode levar horas, dificultando a escala das avaliações para medir desempenho ou selecionar dados de treinamento. Isso tem impulsionado uma dependência generalizada de abordagens automatizadas, como o LLM como juiz (LLMJ), para criticar agentes nos níveis de processo e resultado em larga escala; no entanto, a solidez das críticas do LLMJ frequentemente não é medida. Apresentamos aqui o Counsel, o primeiro conjunto de dados público de meta-avaliações para tarefas agentivas. O Counsel consiste em críticas em nível de processo de LLMJs de peso aberto em dois benchmarks para agentes: tau-bench (agentes de atendimento ao cliente) e DA-Code (agentes de codificação), além de meta-avaliações humanas dessas críticas. Anotadores humanos rotulam cada crítica sobre um erro sinalizado como "preciso", "localização correta, mas raciocínio pobre" ou "não deveria ter sido sinalizado", alcançando concordância confiável entre anotadores (alfa de Krippendorff de 0,78). O conjunto de dados resultante estratifica as críticas dos LLMJs por alinhamento humano, tanto em relação à localização do erro dentro de uma trajetória quanto à qualidade do raciocínio, servindo como dados valiosos para calibrar, melhorar ou treinar LLMJs para agentes. Ao comparar juízes de peso aberto, descobrimos que modelos juízes mais capazes e maior esforço de raciocínio contribuíram para uma melhor concordância humana, com o juiz mais forte alcançando cerca de 88% de concordância quanto à localização e cerca de 65% quanto ao raciocínio. O Counsel é gerado usando modelos de peso aberto e possui licença permissiva para amplo uso pela comunidade, o que esperamos permitir estudos rigorosos e melhor alinhamento de avaliadores baseados em LLM para sistemas agentivos.

A Pergunta e Resposta Visual 3D Multivisão (MV3D-VQA) exige a integração de observações parciais em uma representação coerente de cena 3D e a seleção de pontos de vista informativos para raciocínio espacial em múltiplas etapas. No entanto, os LLMs multimodais atuais são tipicamente treinados com supervisão esparsa no nível das respostas, o que frequentemente resulta em raciocínio entre vistas inconsistente e seleção frágil de pontos de vista. Apresentamos o DR-MV3D (Recompensa Densa para MV3D-VQA), um framework de aprendizado baseado em mapas que fornece recompensas densas e verificáveis para supervisionar o processo de raciocínio. Nossa abordagem decompõe o MV3D-VQA em (i) construção de mapa global alocêntrico, (ii) planejamento de trajetória de visão condicionado à pergunta e (iii) ancoragem egocêntrica para predição de resposta. Para tornar as etapas intermediárias aprendíveis sem anotações manuais, introduzimos duas recompensas: uma recompensa de consistência global que alinha o mapa previsto com alvos pseudo consistentes geometricamente, obtidos de modelos fundamentais de visão 3D congelados (por exemplo, VGGT + SAM3), e uma recompensa de trajetória local que supervisiona a seleção ordenada de pontos de vista. Otimizamos todo o pipeline com otimização de política no nível da trajetória (GRPO). Experimentos em MindCube, VSI-Bench e BLINK (MV) mostram que o DR-MV3D melhora consistentemente em relação a fortes baselines multi-imagem, corroborando a eficácia da supervisão densa no nível do processo para raciocínio 3D multivisão.

Modelos Visão-Linguagem-Ação (VLA) fornecem um paradigma unificado para manipulação robótica, porém sua implementação no mundo real é frequentemente limitada pela eficiência de execução. Embora os esforços existentes se concentrem predominantemente na eficiência centrada em computação para reduzir a latência de inferência por etapa, a eficiência política intrínseca desses modelos permanece amplamente inexplorada. A eficiência política é fundamentalmente afetada por dois fatores: o comprimento executável efetivo dos blocos de ação previstos e o total de etapas físicas necessárias para concluir uma tarefa. Esses dois fatores determinam conjuntamente o número total de chamadas de inferência direta durante a execução. Observamos que as políticas VLA atuais enfrentam problemas de falta de confiabilidade no planejamento e redundância de ações, sofrendo com degradações severas na previsão no final dos blocos de ação e tendendo a gerar etapas físicas desnecessariamente redundantes. Para resolver isso, propomos o PolicyTrim, um framework de pós-treinamento baseado em aprendizado por reforço que estende o comprimento confiável dos blocos de ação e reduz as etapas físicas redundantes. Para a extensão confiável de blocos, empregamos uma estratégia de exploração dinâmica que recompensa explicitamente a conclusão bem-sucedida de comprimentos executáveis mais longos, gradualmente ampliando o horizonte de previsão confiável até seu limite empírico. Para a eficiência das etapas, projetamos uma recompensa sensível à redundância que favorece diretamente conclusões bem-sucedidas de tarefas com menos etapas, enquanto penaliza atalhos não reproduzíveis, eliminando efetivamente ações físicas redundantes. Experimentos extensivos em três benchmarks e três modelos VLA demonstram que o PolicyTrim melhora a utilização de blocos de ação em 3 vezes e reduz as etapas de execução física em 51,4%. Por fim, nosso framework proporciona uma aceleração de implantação ponta a ponta de até 5,83 vezes, sem comprometer as taxas de sucesso das tarefas.

É tentador supor que qualquer tarefa solucionável por um programa curto possa ser ensinada a um modelo como sua cadeia de pensamento: escrever os passos, ajustar finamente, e o modelo segue. Este artigo mostra que essa suposição falha para uma classe identificável de procedimentos. O ambiente de teste são nove tarefas de raciocínio, cada uma proveniente de um gerador determinístico; divisões públicas e ocultas compartilham geradores, de modo que os dados retidos servem como proxy para a precisão do teste. Eu engenharia reversa dos geradores em solucionadores Python, os converto em cadeia de pensamento e destilo em um LoRA de posto ≤ 32 sobre um modelo Nemotron de 30B (3,5B ativos). Tarefas computáveis para frente se instalam prontamente: consulta/aritmética e uma tarefa booleana de 8 bits transferem (≥ 0,99 e 0,68). A criptoaritmética não: destilar sua busca com retrocesso se mantém em 0,01-0,07 em onze projetos de cadeia de pensamento, aprendizado por reforço a partir de recompensas verificáveis e autotreinamento, mesmo que um solucionador de busca responda a 71% das instâncias. Isso não é uma lacuna de capacidade. O modelo realiza a aritmética em 97-100% das linhas e classifica a cifra correta entre as oito principais em 71%; ele não consegue conduzir a busca adiante como uma derivação da esquerda para a direita. O ajuste fino aprende a forma de uma etapa de eliminação verificável enquanto seus vereditos se tornam modelos incondicionais, corretos apenas 16-57% das vezes ("veredito-como-token"). O teto se mantém entre arquiteturas de 3B a 671B e entre ajuste fino e prompting; uma intervenção controlada isola a causa: revelar a chave da cifra, que torna a derivação direta, eleva as mesmas instâncias de 0,03 para 0,57. Quando a única solução de um procedimento é a busca sobre uma estrutura isenta de informação, não existe nenhuma cadeia de pensamento direta fiel para imitar. A tarefa se torna aprendível apenas removendo a busca, pré-calculando seu núcleo combinatório em um catálogo e reduzindo o traço a recordação mais verificação; a solução em primeiro lugar atinge 0,92 no Private LB dessa forma. O que se destila é memorização e verificação, não busca.

Modelos de difusão de vídeo permitiram progressos notáveis na geração e edição de vídeos. No entanto, a preservação de conteúdo continua sendo um desafio central: os métodos existentes regeneram cada pixel e frequentemente alteram elementos que deveriam permanecer inalterados, como personagens ou cenas de fundo. Apresentamos Vera, uma estrutura de difusão em camadas para edição de vídeo com preservação de conteúdo. Em vez de regenerar o vídeo inteiro, a Vera gera uma camada de edição juntamente com um alfa mate para composição com o vídeo de origem, separando a edição criativa da preservação de conteúdo por design. Para incentivar uma composição coerente com o vídeo de origem, estendemos o DiT texto-para-vídeo para uma arquitetura Mixture-of-Transformers (MoT), com DiTs separados para cada camada que interagem por meio de autoatenção conjunta. Para apoiar o treinamento da Vera, construímos ainda um conjunto de dados em camadas de alta qualidade com alfa mates precisos, cenas e dinâmicas diversas, e efeitos visuais. Em nossa avaliação quantitativa e estudo de preferência humana, a Vera supera modelos de edição de vídeo de código aberto líderes na preservação de conteúdo, mantendo-se competitiva na qualidade de edição, utilizando 486 mil quadros de dados de treinamento em camadas.

A aprendizagem por reforço (RL) é uma abordagem central para melhorar as capacidades de raciocínio em modelos de linguagem de grande porte (LLMs), onde a eficiência do treinamento depende criticamente de como os problemas são amostrados durante a otimização. Métodos existentes de aprendizagem curricular adaptativa tipicamente priorizam prompts de dificuldade intermediária, tratando a seleção de problemas como um problema de bandido padrão com braços independentes e ignorando a natureza estruturada e heterogênea do espaço de tarefas. Neste trabalho, enquadramos a amostragem de problemas como um problema de bandido com estrutura de variedade e não estacionariedade endógena: os problemas estão relacionados através do espaço de representação latente do modelo, e as decisões de amostragem podem direcionar como os sinais de aprendizado evoluem nesse espaço. Para operacionalizar essa perspectiva, introduzimos o Currículo Bayesiano de Variedade (BMC), um arcabouço ciente da estrutura que organiza os problemas em uma árvore hierárquica de tarefas e aplica a aprendizagem bayesiana para guiar a amostragem. Empiricamente, descobrimos que diferentes estratégias de amostragem induzem compromissos não triviais entre produtividade (sinal de aprendizado), diversidade (cobertura da variedade de tarefas) e utilidade (relevância para avaliação). Esses resultados mostram que priorizar apenas a dificuldade é insuficiente para um bom desempenho downstream, destacando a importância de incorporar consciência de estrutura e tipo na amostragem de problemas.

Sondas lineares são amplamente utilizadas em pesquisas de interpretabilidade e frequentemente comparadas pela similaridade de cosseno. A similaridade de cosseno de Mahalanobis (MCS) entre duas direções, que repondera o produto interno pela covariância dos dados de teste, é um refinamento natural consciente da tarefa. Ying et al. (2026) relatam que a MCS de uma sonda em relação a uma sonda de referência treinada nos dados fora da distribuição (OOD) prediz de forma quase perfeitamente linear a AUROC OOD da sonda (R² = 0,98). Aqui, estendemos essa descoberta empírica entre modelos, camadas e domínios conceituais, e provamos esse fenômeno geral de forma fechada: para classes balanceadas cujas projeções são Gaussianas, a AUROC OOD e a MCS em relação à sonda de referência são lineares porque ambas são funções em forma de sigmoide da relação sinal-ruído (SNR) da sonda nos dados de teste. A teoria também prevê quando essa linearidade falha, o que verificamos empiricamente. A MCS oferece uma alternativa teoricamente fundamentada e empiricamente eficaz à similaridade de cosseno euclidiana para comparar sondas lineares.

Embora conjuntos de dados grandes e diversos tenham impulsionado avanços recentes em modelos de grande escala, identificar a mistura de dados ideal para pré-treinamento e pós-treinamento continua sendo um problema em aberto significativo. Abordamos esse desafio com o FASTMIX, uma nova estrutura que automatiza a descoberta de mistura de dados enquanto treina apenas um único modelo proxy. Em vez de depender de heurísticas predefinidas ou simulações com uso intensivo de recursos, o FASTMIX otimiza conjuntamente os coeficientes de mistura e os parâmetros do modelo, melhorando substancialmente a eficiência e a escalabilidade em relação às abordagens anteriores. No cerne do FASTMIX está uma reformulação da seleção de mistura como um problema de otimização bilevel. Sob essa reformulação, mostramos que otimizar as proporções da mistura é matematicamente equivalente a atribuir pesos de perda por fonte sob amostragem uniforme de fontes. Isso incorpora os coeficientes de mistura diretamente no objetivo iterativo diferenciável de otimização, permitindo uma otimização eficiente baseada em gradiente tanto da mistura quanto do modelo. Para resolver o problema de otimização, o FASTMIX implementa um procedimento de otimização iterativa aproximada, alternando entre (i) atualizar os parâmetros do modelo em dados amostrados de acordo com as proporções atuais da mistura (loop interno) e (ii) atualizar as proporções da mistura com base no feedback de validação (loop externo). Tanto no pré-treinamento quanto no pós-treinamento, o FASTMIX supera as referências enquanto reduz drasticamente o custo de busca. Código (https://github.com/hrtan/fastmix)

Os Transformadores de Visão (ViT) dominam a visão computacional. No entanto, sua dependência de projetores de patches rígidos dificulta a transferência para a Observação da Terra (OT), onde as modalidades, escalas e resoluções de entrada variam amplamente. Apresentamos o UniverSat, uma arquitetura baseada em ViT construída em torno de um Codificador de Patches Universal que mapeia patches de resoluções espaciais, espectrais e temporais arbitrárias, tanto de sensores ópticos quanto não ópticos, em um espaço de embeddings compartilhado com um conjunto compartilhado de pesos. Isso permite treinar um único modelo em corpora multimodais heterogêneos por meio de autossupervisão, gerando características espaciais robustas e agnósticas ao sensor. Validamos essa abordagem com resultados expressivos em classificação e segmentação nos benchmarks padrão de OT do GeoBench, PANGEABench e SpectralEarth. Nosso código e modelos estão disponíveis em https://github.com/gastruc/UniverSat.

À medida que os laboratórios de IA se aproximam de um teto de dados onde a capacidade computacional supera a taxa de geração de novos textos de alta qualidade, o pré-treinamento de modelos de linguagem está se movendo em direção a um regime de dados limitados e abundância computacional, que exige um treinamento produtivo de múltiplas épocas em corpora fixos. O pré-treinamento autoregressivo (AR) padrão sofre de overfitting severo neste cenário, atingindo seu ponto ótimo precocemente e depois se deteriorando continuamente. Investigamos a aumento de dados durante o treinamento como um regularizador para mitigar esse overfitting e permitir um treinamento produtivo por centenas de épocas nos mesmos dados. Introduzimos três categorias ortogonais de aumento para pré-treinamento AR: ruído no nível de token (mascaramento, substituição aleatória), permutações de sequência (predição da direita para a esquerda, Preenchimento no Meio) e predição de deslocamento do alvo (x_{t+i} para i > 1). Por meio de ablações sistemáticas, descobrimos que aumentos individuais atrasam o overfitting e reduzem a perda de validação em relação à linha de base, com a substituição aleatória de tokens alcançando a melhor perda mínima entre os métodos individuais. Combinar categorias de aumento reduz ainda mais a perda mínima de validação. Nossos experimentos demonstram que os aumentos de dados mitigam a ineficiência de dados do pré-treinamento AR e oferecem uma solução promissora para o regime de dados limitados~\footnote{Todo o código e dados estão disponíveis em https://github.com/michaelchen-lab/data-augmentations-for-pretraining.}

Agentes de LLM em resposta a perguntas com uso intensivo de conhecimento realizam ações de recuperação e raciocínio com conhecimento incompleto sobre se sua resposta atual é incerta, não fundamentada ou já completa. Isso produz dois modos de falha: comprometer-se com respostas confiantes, mas não fundamentadas, o que prejudica a precisão, e recuperar em excesso quando as evidências já disponíveis são suficientes, resultando em desperdício computacional. Para fornecer aos agentes uma visão mais completa do espaço de estados em que operam, introduzimos a telemetria de verificador calibrado (CalVerT), que aumenta o estado do agente com telemetria adicional: uma pontuação de autoconfiança calibrada e uma pontuação do verificador de fundamentação. Mostramos que o CalVerT pode melhorar agentes tanto em configurações sem treinamento quanto baseadas em treinamento. Em quatro referenciais de QA, descobrimos que o CalVerT eleva o F1 ao acionar a recuperação em casos onde os agentes confiam excessivamente no conhecimento paramétrico, enquanto reduz a recuperação redundante em casos onde os agentes possuem contexto suficiente para responder. Demonstramos que o CalVerT pode aumentar estruturas de QA existentes sem treinamento. Além disso, o CalVerT também melhora sistemas treinados: ao simplesmente aumentar o estado de um agente com telemetria, observamos melhorias após aprendizado por reforço, em comparação com um agente com treinamento idêntico, mas sem telemetria CalVerT.

A otimização discreta de acionadores textuais — a busca por sequências de texto que, quando ingeridas por um modelo, o direcionam a um objetivo específico — fundamenta atividades como teste de penetração (red teaming) em modelos (por exemplo, jailbreaks de LLMs), bem como auditoria e interpretabilidade. No entanto, o estado atual dos otimizadores discretos dificulta sua adoção e avanço. Primeiro, os otimizadores existentes, quando disponibilizados como código aberto, estão dispersos em bases de código de pesquisa amarradas a modelos, objetivos e domínios de problema específicos. Segundo, proliferam variantes de otimizadores, cada uma exigindo custos de engenharia para uso ou extensão, e permanecendo de difícil comparação direta. Juntos, esses fatores elevam a barreira para adotar otimizadores em domínios existentes ou novos, e para avançá-los por meio de novas estratégias. Abordamos essas lacunas com o TROPT, o primeiro framework de código aberto que unifica a execução de otimizadores discretos e padroniza seu desenvolvimento sob uma única interface. O TROPT facilita a personalização de receitas completas de otimização ao permitir a troca de qualquer componente — modelos, objetivos e otimizadores — ampliando seu alcance entre domínios e novas aplicações. Atualmente, o TROPT oferece mais de 30 receitas de otimização — abrangendo aplicações como jailbreaking e sondagem de mecanismos internos de modelos — construídas a partir de mais de 15 otimizadores (que vão de acesso caixa-branca a caixa-preta) e mais de 15 funções de perda, desde métodos fundamentais até os mais recentes. Demonstrando sua utilidade, empregamos o TROPT em diversos estudos: (i) experimentos controlados em larga escala que comparam e aprimoram estratégias de otimização para jailbreaks de LLMs, revelando técnicas potentes, porém subutilizadas; e (ii) adaptação de otimizadores de um domínio (por exemplo, jailbreak de LLM) para novos domínios (por exemplo, modelos de embeddings para envenenamento de corpus). Em suma, o TROPT reduz significativamente a barreira para adoção e avanço da otimização discreta textual.

Agentes LLM de horizonte longo podem falhar silenciosamente: eles se fixam em uma interpretação da evidência precocemente e passam o resto da execução defendendo-a. Chamamos isso de compromisso prematuro. A pontuação da resposta final ignora o modo de falha porque vê apenas a resposta, e não se o processo já colapsou para um caminho estável. Definimos compromisso representacional como convergência de estado oculto entre execuções em uma etapa fixa de raciocínio, e o utilizamos como diagnóstico precoce de consistência de trajetória. No Llama-3.1-70B rodando ReAct no HotpotQA, a similaridade do estado oculto no passo 4 prevê consistência comportamental downstream (r = -0,35, r parcial = -0,45), com uma assinatura temporal e por camadas localizada. O sinal se replica nos Qwen-2.5-72B e Phi-3-14B, e no StrategyQA (r = -0,83). Ele não rastreia a correção: perguntas comprometidas-erradas e comprometidas-corretas não são separáveis pela similaridade de ativação. Esse limite é central para a alegação. O compromisso nos diz se um agente se estabilizou, não se está certo. Um monitor de tempo de execução detecta trajetórias inconsistentes a partir de estados ocultos com AUROC de até 0,97 (0,85–0,88 sob uma divisão mais rigorosa), e uma intervenção de prompting reduz a variância comportamental em 28% em comparação com um controle pareado por token, mantendo a precisão estatisticamente inalterada. Também testamos se o sinal pode direcionar o cálculo de autoconsistência; em um benchmark mais difícil, ele ajuda apenas modestamente e é igualado por uma linha de base mais simples baseada em saída. O resultado é um diagnóstico para uma falha de processo oculta, com limites claros, em vez de uma alavanca geral de precisão.

Agentes de uso de computador (CUAs) agora atuam em nome do usuário em aplicações pessoais como e-mail, calendários e listas de tarefas. Esse acesso entre aplicações é útil, mas também cria um risco de privacidade amplamente negligenciado: quando um agente opera em um contexto, ele pode extrair informações de outro contexto que sejam inadequadas para aquele contexto. Assim, apresentamos o AgentCIBench, uma estrutura de avaliação que transforma esse risco em cenários executáveis e pontuados de forma determinística. Focamos em três modos comuns de falha em CUAs: co-localização visual, onde o agente captura itens proibidos posicionados próximos ao alvo da tarefa na interface; compartilhamento excessivo por ambiguidade da tarefa, onde o agente despeja um estado pessoal denso em resposta a um comando subespecificado; e desalinhamento de destinatário, onde o agente envia conteúdo a um destinatário para o qual esse conteúdo é inadequado. Avaliamos 15 agentes de fronteira e encontramos uma taxa de falha surpreendentemente alta: 11 dos 15 agentes vazam informações em mais de 50% dos cenários, com um vazamento médio de 67,9%, e as mesmas falhas persistem quando os agentes atuam de ponta a ponta no ambiente para concluir a tarefa. Disponibilizamos o AgentCIBench para incentivar o desenvolvimento de agentes de uso de computador mais seguros e posicionamos o teste de divulgação contextual como uma verificação de segurança pré-implantação.

Modelos 3D condicionados por texto e imagem agora geram ativos convincentes, mas ainda oferecem pouco controle direto sobre o espaço que um objeto deve ocupar ou evitar. Na autoria, essa intenção espacial é frequentemente conhecida antes do início da geração. Uma cadeira deve se encaixar em um envelope de assento, um adereço deve deixar espaço para movimento, ou uma peça deve expor uma superfície de contato. Prompts e visualizações de imagem são veículos inadequados para tais restrições, exigindo a necessidade de uma interface de controle explícita. Apresentamos o Arbor, um anexo treinável para geração 3D latente condicionada por texto. O Arbor introduz malhas de restrição como uma interface de controle 3D nativa. A interface utiliza regiões de envoltória onde a geometria deve existir, regiões de evitação que devem permanecer vazias e regiões de toque que o objeto deve contactar. Diferentemente de preenchimento ou controle de arcabouço de objeto inteiro, essas malhas não são evidências-alvo. Elas são requisitos locais tipificados e podem incluir regiões onde nenhuma superfície deve aparecer. O Arbor mantém esse sinal como geometria, convertendo malhas de restrição em tokens e aprendendo um anexo roteado dentro de um desruificador congelado. Cada região latente pode, portanto, receber a parte da restrição relevante para sua localização espacial. Avaliamos o Arbor em benchmarks de controle automáticos e com curadoria artística, utilizando restrições de envoltória, evitação e toque, e comparamos as tendências métricas com um estudo de preferência do usuário. Mesmo sem perdas dedicadas de conformidade, o Arbor melhora a obediência às restrições, preservando a qualidade e a variação do objeto sob restrições fixas.

Malhas estão entre as representações de cenas 3D mais comuns, mas gerar malhas diretamente é desafiador porque a representação contém simetrias importantes, incluindo invariância a permutações de faces e vértices. MeshFlow aprende a gerar malhas triangulares diretamente como sopas de triângulos, evitando a necessidade de serializar malhas em longas sequências autorregressivas. Adotamos modelos de correspondência de fluxo com transporte ótimo equivariantes que respeitam as simetrias-chave das sopas de triângulos: permutações arbitrárias de faces e permutações dos vértices dentro de cada face. Para esse objetivo, propomos uma modificação simples, porém eficaz, na arquitetura do Transformador de Difusão, resultando em uma rede escalável capaz de modelar um campo de velocidade enquanto mantém a equivariância desejada. Introduzimos ainda um objetivo de treinamento baseado em transporte ótimo que melhora a convergência ao eliminar sinais de supervisão que violam essas simetrias. MeshFlow atinge qualidade de malha comparável aos geradores de malha autorregressivos de última geração, ao mesmo tempo que proporciona uma aceleração de cerca de 18 vezes durante a inferência. A página do projeto está em https://qiisun.github.io/MeshFlow/.

Com a rápida disseminação da geração aumentada por recuperação e da busca semântica, a escolha da configuração adequada de embeddings e recuperação torna-se cada vez mais difícil. Grandes benchmarks de recuperação são abrangentes, mas pesados demais para serem reexecutados durante o desenvolvimento, e há pouca infraestrutura para comparar configurações de produção — redução de dimensionalidade, quantização, reordenamento — entre muitos modelos sob condições idênticas. Apresentamos o HAKARI-Bench, um benchmark leve que reconstrói suites de recuperação existentes em pequenos conjuntos de dados (Nano-sets): 35 benchmarks e 551 tarefas em 43 idiomas em um formato unificado, permitindo a comparação, sob as mesmas condições e de forma independente do modelo, de cinco famílias de recuperação (BM25, densa, esparsa, interação tardia, reordenadores) e suas variantes de eficiência. Em 55 modelos, sua classificação geral reproduz o MTEB retrieval v2 oficial, o MMTEB v2 retrieval e o English BEIR (completo) com Spearman >0,97. O HAKARI-Bench não substitui a avaliação completa; ele permite seleção rápida de modelos, detecção de regressão e leitura da fronteira Pareto qualidade-eficiência. Código, dados e _leaderboard_ são disponibilizados sob a licença MIT.

A reconstrução de objetos não rígidos dinâmicos a partir de vídeos monoculares requer a integração de pistas visuais de observações diretas com priors orientados por dados sobre geometria e aparência. Abordagens anteriores aprendem a prever diretamente representações 4D a partir da entrada visual ou inicializam uma representação 3D que subsequentemente é deformada e refinada com base nas evidências do vídeo. No entanto, as primeiras são limitadas pela escassez de dados de treinamento 4D, enquanto as últimas utilizam priors apenas para a reconstrução inicial e dependem exclusivamente da supervisão do vídeo depois disso; nenhuma delas lida bem com cenários complexos do mundo real, com grandes deformações e oclusões. Apresentamos o Lift4D, uma estrutura de otimização em tempo de teste que aborda ambas as limitações. Primeiro, adaptamos um modelo existente de reconstrução 3D a partir de uma única visão para produzir previsões temporalmente consistentes quadro a quadro por meio de condicionamento latente causal, fornecendo uma inicialização coerente para uma representação deformável de Gaussian Splatting 3D. Em seguida, "esculpimos" essa representação para corresponder ao vídeo de entrada por meio de uma otimização consciente de oclusão que recupera fielmente os detalhes visíveis da superfície, enquanto completa as regiões não observadas usando um prior de difusão condicionado à visão. Demonstramos que o Lift4D melhora claramente em relação aos métodos anteriores de reconstrução 4D, particularmente em sequências desafiadoras do mundo real com oclusões severas e movimento não rígido.

Os sistemas de música generativa podem agora produzir áudio impressionante a partir de prompts textuais, mas as saídas de áudio são difíceis de inspecionar, editar e diagnosticar como estrutura musical. Apresentamos o Libretto, um framework orientado a agentes para geração e revisão de música simbólica. O Libretto utiliza uma gramática nativa de LLM com slots explícitos de onset, vozes e organização ao nível do compasso, e em seguida avalia cada peça num espaço estatístico calibrado por corpus sobre ritmo, harmonia, melodia, textura, forma e variação. Os mesmos eixos estruturais suportam recuperação, diagnóstico, controle de risco de cópia e autorrevisão iterativa. Em tarefas de preenchimento de lacunas, geração de peças completas guiada por referência, transformação gradual e geração de música educacional, o Libretto transforma a música simbólica de uma sequência bruta de tokens em um objeto mensurável e editável para agentes de modelo de linguagem.

A produção cinematográfica exige controle preciso de movimento e composição de imagens de referência – capacidades que os métodos existentes tratam separadamente. Modelos de imagem para vídeo condicionados por point-tracks restringem a inserção de conteúdo ao primeiro quadro, enquanto modelos de referência para vídeo carecem de controle espaço-temporal refinado sobre como o conteúdo de referência se integra ao longo dos quadros. Apresentamos o Go-with-the-Track, que unifica ambas as capacidades ao condicionar conjuntamente múltiplas imagens de referência e point-tracks ancorados em referência – estendendo os point-tracks convencionais para estabelecer explicitamente correspondências entre quadros gerados e imagens de referência, permitindo assim composição e controle de movimento precisos ao longo do vídeo. Para isso, introduzimos embeddings de point-tracks espacialmente conscientes que codificam a sequência completa de coordenadas dos point-tracks usando um MLP coordenada a coordenada seguido de pooling temporal. Esta representação captura as características espaciais de cada point-track (servindo como um identificador único), enquanto a similaridade do embedding se correlaciona diretamente com a proximidade espacial, melhorando a capacidade do modelo de distinguir e associar point-tracks. Injetamos esses embeddings de point-tracks em um transformer de difusão de vídeo por meio de um adaptador leve, resolvendo a incompatibilidade de resolução pixel-a-patch enquanto evita a perda substancial de detalhes de movimento inerente à subamostragem ingênua de point-tracks. Utilizamos uma estratégia de treinamento híbrido para treinar conjuntamente em conjuntos de dados de vídeo de cenas dinâmicas, estáticas e sintéticas para aumentar a controlabilidade do movimento. Experimentos demonstram que o Go-with-the-Track alcança controle superior de movimento e referência em um único modelo e possibilita novas capacidades: geração de vídeo condicionada a múltiplas referências com composição orientada por point-tracks, bem como controle de câmera para cenas estáticas e dinâmicas. Página do projeto: https://eyeline-labs.github.io/Go-with-the-Track/

Otimizar a composição dos dados de pré-treinamento é fundamental para a generalização de LLMs. Embora a mistura dinâmica supere as estratégias estáticas ao capturar dinâmicas de treinamento em evolução, os métodos atuais não conseguem conciliar eficiência computacional com eficiência amostral e flexibilidade estrutural para pipelines diversos. Apresentamos o Actor--Critic Online Data Mixing (AC-ODM), que aborda a mistura de dados a partir de uma perspectiva de aprendizado por reforço com uma política parametrizada que provamos teoricamente atuar como um substituto linear dinâmico que maximiza a interferência construtiva dos gradientes. Para aumentar a flexibilidade prática, o AC-ODM suporta dois modos operacionais: (i) um modo proxy para corpora fixos e pré-preparados, onde uma política aprendida em um modelo pequeno é transferida para um alvo maior; e (ii) um modo não proxy para treinamento direto ponta a ponta do zero sem conhecimentos prévios. Empiricamente, o AC-ODM supera significativamente os métodos anteriores em velocidade de convergência e precisão downstream em várias arquiteturas. No Pythia-1B, ele atinge a perplexidade de validação ideal usando até 66% menos passos de treinamento do que as linhas de base competitivas, proporcionando uma melhoria relativa de 27,5% na precisão do MMLU e um pass@1 2,23x maior no HumanEval, tudo isso com um aumento praticamente insignificante (0,4%) no tempo de execução por passo e apenas 2% de sobrecarga adicional de memória. O código está disponível em https://github.com/DANG-ai/AC-ODM.

À medida que os Carros Autônomos continuam a se expandir internacionalmente e a utilizar sistemas multimodais, como os VLMs, como espinha dorsal cognitiva para seus Modelos de Ação, qual será a capacidade desses sistemas de generalizar em novos cenários, especialmente em situações extremas fora da distribuição (OOD) em novas geografias? Neste artigo, investigamos essa questão em aberto por meio de uma análise fatorial completa envolvendo motoristas humanos de Lima, motoristas humanos da Cidade de Nova York e VLMs, exibindo a eles filmagens de câmeras de painel coletadas em Lima e Nova York, e os instigando com uma variedade de perguntas dentro de um paradigma de Perguntas e Respostas Visuais (VQA). Em particular, escolhemos essas duas cidades por serem locais de direção altamente desafiadores, onde nenhuma empresa de Carros Autônomos opera atualmente, e formulamos perguntas que abrangem quatro categorias: Factual, Avaliações, Contrafactual e Raciocínio. Constatamos que humanos e VLMs divergem em suas respostas – embora isso seja modulado pelo tipo de perguntas feitas – e que os humanos respondem de forma semelhante, independentemente de sua origem (Lima/NYC). Para nossa surpresa, não encontramos uma forte diferença nas respostas (humanos ou VLMs) modulada pela geografia, provavelmente devido à sua natureza altamente fora da distribuição. Nosso conjunto de dados está disponível em: https://huggingface.co/datasets/Artificio/robusto-2

Apresentamos o ShotcreteDepth, um conjunto de dados bimodal do domínio da construção civil que captura tanto o processo ativo de shotcrete quanto ambientes gerais de construção. O conjunto de dados compreende imagens estéreo RGB e nuvens de pontos LiDAR adquiridas em condições adversas do mundo real, incluindo alta turbidez e baixa iluminação. Tais condições afetam negativamente as medições dos sensores, resultando em observações incompletas e ruidosas que impõem desafios significativos para sistemas de percepção em aplicações autônomas. Juntamente com o conjunto de dados, disponibilizamos uma ferramenta de anotação leve projetada para rotulagem eficiente em termos de tempo de nuvens de pontos LiDAR. O ShotcreteDepth consiste em 11.252 amostras de dados temporalmente sincronizadas, das quais 220 são anotadas para fins de avaliação. O conjunto de dados apoia pesquisas em correspondência estéreo, completamento de profundidade e estimativa de profundidade sob condições que refletem de perto as complexidades operacionais encontradas em ambientes industriais. Repositório do projeto: https://github.com/dtu-pas/shotcrete-depth

Descrevemos a nossa inscrição na categoria de eficiência do Grand Challenge de Texto-para-Música Académico (ATTM) no ICME 2026. Para além do protocolo do desafio, que inclui as métricas FAD-CLAP e CLAP, adicionamos uma recompensa de preferência humana aprendida a partir do TuneJury, um ranqueador pareado duplo treinado em conjuntos de dados abertos de preferência musical. Esta recompensa serve tanto como sinal de condicionamento durante o treino como critério de seleção de amostras. O pipeline combina cinco decisões de engenharia num modelo base FluxAudio-S com 120 M de parâmetros, quatro durante o treino e uma na inferência: (i) condicionamento por recompensa durante o treino que funciona também como eixo CFG na inferência; (ii) uma varredura por cinco arquiteturas de condicionamento por pontuação, onde treino e inferência utilizam variantes diferentes; (iii) iteração especializada no decil superior; (iv) uma passagem curta de ajuste de preferência (CRPO) para alinhamento áudio-texto; e (v) pós-processamento na inferência via CFG conjunta, separação de fontes e normalização de loudness. A decomposição por etapas em 100 prompts Song Describer mostra que o condicionamento por recompensa durante o treino funciona como um eixo de condicionamento funcional, a iteração especializada é o contribuidor dominante, a passagem de ajuste de preferência adiciona apenas ganho ao nível do ruído, e o escalar de pontuação na inferência já está saturado no final da cadeia.

Grandes modelos de linguagem (LLMs) são cada vez mais utilizados para apoiar o desenvolvimento de software, mas sua utilidade prática em contextos aplicados de desenvolvimento de jogos permanece pouco explorada, especialmente quando o código gerado precisa ser integrado a um sistema de software de jogo existente. Este artigo apresenta um estudo de caso empírico exploratório do GPT-4o em um corredor infinito personalizado em Python/Pygame. O estudo examina seis tarefas de desenvolvimento selecionadas: três tarefas de refatoração localizada e três tarefas envolvendo geração de funcionalidades de jogabilidade. As implementações resultantes foram avaliadas por meio de métricas de software, testes unitários e avaliações manuais de jogabilidade. Neste estudo de caso, todas as três tarefas de refatoração selecionadas foram concluídas com sucesso em termos funcionais, enquanto apenas uma das três tarefas de geração de funcionalidades de jogabilidade resultou em uma funcionalidade corretamente integrada. Os resultados sugerem que, neste contexto, o GPT-4o lidou com transformações localizadas de forma mais confiável do que com tarefas que exigiam novas interações de jogabilidade entre múltiplos sistemas existentes. Dado o delineamento exploratório de caso único, esses resultados são melhor interpretados como observações indicativas, e não como evidência generalizável do desempenho do modelo em nível de categoria. No geral, o artigo contribui com um relato transparente baseado em caso sobre as oportunidades e limitações da refatoração assistida por LLM e da geração de funcionalidades de jogabilidade em um sistema de software de jogo existente.

À medida que as áreas urbanas se expandem, o monitoramento automático de estacionamentos torna-se essencial para cidades eficientes e sustentáveis. Este trabalho propõe uma abordagem auto-supervisionada para reconhecimento de ocupação de vagas de estacionamento que não requer amostras rotuladas do estacionamento alvo. Com base em um protocolo de ajuste fino de aprendizagem por transferência auto-supervisionada, a estratégia de treinamento proposta consiste em duas etapas auto-supervisionadas: primeiro em dados genéricos não rotulados e depois em dados específicos do alvo não rotulados, seguidas de ajuste fino supervisionado utilizando apenas rótulos de estacionamentos genéricos. Adotamos o SimCLR com um codificador ResNet-50 e avaliamos o método sob um protocolo de validação cruzada leave-one-out por ambiente em três conjuntos de dados públicos: PKLot, CNRPark-EXT e PLds. Também introduzimos uma estratégia de implantação em dois estágios, na qual um Modelo Geral Forte é inicialmente implantado, seguido por um Modelo Especializado que incorpora imagens não rotuladas coletadas durante os primeiros N dias de implantação de forma auto-supervisionada. Resultados experimentais mostram que apenas o Modelo Geral Forte supera as linhas de base supervisionadas e auto-supervisionadas, alcançando uma acurácia média de 97,2%, que melhora ainda mais para 97,8% com a estratégia de dois estágios proposta. Esses resultados demonstram que a aprendizagem auto-supervisionada possibilita uma solução escalável e eficiente em termos de rótulos para o monitoramento de ocupação de estacionamentos em cenários reais. Nossos modelos treinados e código-fonte estão disponíveis publicamente em https://github.com/LoanMaikon/Parking-Spot-Occupancy-Recognition.