Papers Diários

Apresentamos o Qwen-Image-2.0, um modelo fundamental de geração de imagens com capacidade total que unifica geração de alta fidelidade e edição precisa de imagens em um único arcabouço. Apesar do progresso recente, os modelos existentes ainda enfrentam dificuldades com renderização de textos ultralongos, tipografia multilíngue, fotorrealismo em alta resolução, seguimento robusto de instruções e implantação eficiente, especialmente em cenários ricos em texto e composicionalmente complexos. O Qwen-Image-2.0 enfrenta esses desafios ao acoplar o Qwen3-VL como codificador de condição a um Transformador de Difusão Multimodal para modelagem conjunta condição-alvo, apoiado por curadoria de dados em larga escala e um pipeline de treinamento personalizado em múltiplos estágios. Isso possibilita uma forte compreensão multimodal, preservando ao mesmo tempo capacidades flexíveis de geração e edição. O modelo suporta instruções de até 1K tokens para gerar conteúdo rico em texto, como slides, pôsteres, infográficos e quadrinhos, ao mesmo tempo que melhora significativamente a fidelidade do texto multilíngue e a tipografia. Também aprimora a geração fotorrealista com detalhes mais ricos, texturas mais realistas e iluminação coerente, e segue prompts complexos de forma mais confiável em diversos estilos. Avaliações humanas extensas mostram que o Qwen-Image-2.0 supera substancialmente os modelos Qwen-Image anteriores tanto em geração quanto em edição, marcando um passo em direção a modelos fundamentais de geração de imagens mais gerais, confiáveis e práticos.

Após a recente conquista de desempenho no nível de medalha de ouro na IMO por modelos de linguagem de fronteira (LLMs), a comunidade busca o próximo alvo significativo e desafiador para medir o raciocínio de LLMs. Enquanto problemas no estilo olímpico medem apenas o raciocínio passo a passo, problemas em nível de pesquisa utilizam esse raciocínio para avançar a própria fronteira do conhecimento matemático, emergindo como uma alternativa convincente. No entanto, benchmarks matemáticos em nível de pesquisa ainda são escassos, pois tais problemas são difíceis de obter (por exemplo, Riemann Bench e FrontierMath-Tier 4 contêm 25 e 50 problemas, respectivamente). Para apoiar uma avaliação confiável de modelos de fronteira de próxima geração, apresentamos Soohak, um benchmark de 439 problemas, criado do zero por 64 matemáticos. Soohak compreende dois subconjuntos. No subconjunto Challenge, modelos de fronteira como Gemini-3-Pro, GPT-5 e Claude-Opus-4.5 alcançam 30,4%, 26,4% e 10,4%, respectivamente, deixando espaço substancial para melhoria, enquanto modelos de peso aberto líderes como Qwen3-235B, GPT-OSS-120B e Kimi-2.5 permanecem abaixo de 15%. Notavelmente, além da resolução padrão de problemas, Soohak introduz um subconjunto de recusa que investiga uma capacidade intrínseca à matemática de pesquisa: reconhecer problemas mal colocados e pausar, em vez de produzir respostas confiantes, mas injustificadas. Nesse subconjunto, nenhum modelo ultrapassa 50%, identificando a recusa como um novo alvo de otimização que os modelos atuais não abordam diretamente. Para evitar contaminação, o conjunto de dados será divulgado publicamente no final de 2026, com avaliações de modelo disponíveis mediante solicitação nesse ínterim.

Abordagens recentes de "Raciocínio com Vídeo" utilizam Modelos de Geração de Vídeo (VGMs) para raciocínio visual, produzindo Cadeias de Quadros temporalmente coerentes como artefatos de raciocínio. No entanto, mesmo VGMs robustos apresentam dois modos recorrentes de falha em tarefas orientadas a objetivos: deriva de longo horizonte em tarefas de múltiplos passos e erros de simulação no meio do clipe que se acumulam. Ambos decorrem da ausência de raciocínio explícito baseado no prior visual de curto horizonte do VGM, papel naturalmente desempenhado por Modelos de Visão-Linguagem (VLMs), mas onde posicionar o VLM não é trivial: planos iniciais comprometem antes mesmo de qualquer quadro ser gerado, e críticas post-hoc sobre vídeos completos intervêm tarde demais. Propomos o CollabVR (VLM-VGM Collaborative Video Reasoning), uma estrutura de malha fechada que acopla o VLM ao VGM com granularidade ao nível do passo: o VLM planeja a próxima ação imediata, inspeciona o clipe que o VGM gera e incorpora o diagnóstico do verificador diretamente no prompt da próxima ação para reparar falhas detectadas. No Gen-ViRe e no VBVR-Bench, o CollabVR melhora tanto VGMs de código aberto quanto fechado em relação a inferência única, Pass@k e linhas de base anteriores de escalonamento em tempo de teste, com o mesmo custo computacional, obtendo os maiores ganhos nas tarefas mais difíceis. Ele também gera melhorias adicionais sobre um VGM ajustado para raciocínio, indicando que a supervisão do VLM ao nível do passo é ortogonal e empilhável com o ajuste fino orientado a raciocínio. Fornecemos amostras de vídeo e resultados qualitativos adicionais em nossa página do projeto: https://joow0n-kim.github.io/collabvr-project-page.

A ampliação em tempo de teste tornou-se um paradigma eficaz para melhorar a capacidade de raciocínio de grandes modelos de linguagem ao alocar computação adicional durante a inferência. Abordagens estruturadas recentes avançaram ainda mais esse paradigma ao organizar a inferência em múltiplas trajetórias, rodadas de refinamento e feedback baseado em verificação. No entanto, os métodos estruturados existentes de ampliação em tempo de teste ou coordenam fracamente trajetórias de raciocínio paralelas, ou dependem de informações históricas ruidosas sem decidir explicitamente o que deve ser retido e reutilizado, limitando sua capacidade de equilibrar exploração e aproveitamento. Neste trabalho, propomos TMAS, uma estrutura para ampliar a computação em tempo de teste por meio de sinergia multiagente. O TMAS organiza a inferência como um processo colaborativo entre agentes especializados, permitindo um fluxo estruturado de informações entre agentes, trajetórias e iterações de refinamento. Para apoiar a colaboração eficaz entre trajetórias, o TMAS introduz memórias hierárquicas: o banco de experiências reutiliza conclusões intermediárias confiáveis de baixo nível e feedback local, enquanto o banco de diretrizes registra estratégias de alto nível previamente exploradas para orientar lançamentos subsequentes, evitando padrões de raciocínio redundantes. Além disso, projetamos um esquema de aprendizado por reforço com recompensa híbrida adaptado ao TMAS, que preserva conjuntamente a capacidade básica de raciocínio, melhora a utilização de experiências e incentiva a exploração além das estratégias de solução previamente tentadas. Experimentos extensivos em benchmarks desafiadores de raciocínio demonstram que o TMAS alcança uma ampliação iterativa mais forte do que as linhas de base existentes de ampliação em tempo de teste, enquanto o treinamento com recompensa híbrida melhora ainda mais a eficácia e a estabilidade da ampliação ao longo das iterações. O código e os dados estão disponíveis em https://github.com/george-QF/TMAS-code.

O pós-treinamento contínuo visa estender modelos de linguagem de grande porte (LLMs) com novos conhecimentos, habilidades e comportamentos, mas ainda não está claro quando atualizações sequenciais possibilitam a transferência de capacidades e quando causam esquecimento catastrófico. Métodos existentes mitigam o esquecimento por meio de ajuste fino sequencial, repetição, regularização ou fusão de modelos, mas oferecem critérios limitados para determinar quando incorporar novas atualizações é benéfico ou prejudicial. Neste trabalho, estudamos o pós-treinamento contínuo de LLMs por meio de três questões: O que causa o esquecimento? Quando as capacidades adquiridas sequencialmente são transferidas ou sofrem interferência? Como a compatibilidade pode ser usada para controlar a integração de atualizações? Abordamos essas questões por meio da geometria de tarefas: representamos cada tarefa de pós-treinamento por sua atualização de parâmetros e estudamos a geometria de covariância induzida pela atualização. Nossa descoberta central é que: o esquecimento pode ser considerado uma falha de integração de atualização relativa ao estado, e surge quando as geometrias de covariância induzidas pelas tarefas se desalinharem com a geometria do estado do modelo em evolução. As atualizações sequenciais transferem quando permanecem compatíveis com o estado do modelo modelado por atualizações anteriores, e interferem quando o conflito de geometria relativa ao estado se torna elevado. Motivados por essa descoberta, propomos o Geometry-Conflict Wasserstein Merging (GCWM), um método de integração de atualizações sem dados que constrói uma métrica de Wasserstein compartilhada via baricentros gaussianos de Wasserstein e usa o conflito geométrico para ativar uma correção ciente da geometria. Em configurações contínuas de domínio e de capacidade com Qwen3 0,6B–14B, o GCWM supera consistentemente as linhas de base sem dados, melhorando a retenção e o desempenho final sem dados de repetição. Esses resultados identificam o conflito geométrico tanto como um sinal explicativo para o esquecimento quanto como um sinal de controle prático para o pós-treinamento contínuo de LLMs.

Estudamos leis de escala empíricas para a fusão de modelos de linguagem medida por entropia cruzada. Apesar de seu amplo uso prático, a fusão carece de uma regra quantitativa que prediga os retornos à medida que adicionamos especialistas ou escalamos o tamanho do modelo. Identificamos uma lei de potência compacta que relaciona o tamanho do modelo e o número de especialistas: o piso dependente do tamanho diminui com a capacidade do modelo, enquanto a cauda da fusão exibe retornos decrescentes claros no número de especialistas. A lei se mantém intra-domínio e inter-domínio, ajusta-se precisamente às curvas medidas em diversas arquiteturas e métodos (Average, TA, TIES, DARE) e explica duas regularidades robustas: a maioria dos ganhos ocorre no início, e a variabilidade diminui à medida que mais especialistas são incluídos. Com base nisso, apresentamos uma teoria simples que explica por que os ganhos caem aproximadamente como 1/k e relaciona o piso e a cauda a propriedades do modelo base e à diversidade entre domínios. Essa lei possibilita o planejamento preditivo: estimar quantos especialistas são necessários para atingir uma perda alvo, decidir quando parar de adicionar especialistas e fazer compensações entre escalar o modelo base e adicionar especialistas sob um orçamento fixo – transformando a fusão de uma prática heurística em uma alternativa computacionalmente eficiente e planejável ao treinamento multitarefa. Isso sugere um princípio de escala para IA generativa distribuída: ganhos previsíveis podem ser alcançados pela composição de especialistas, oferecendo um caminho complementar em direção a sistemas de nível de IAG.

Um manuscrito LaTeX que compila sem erros não está necessariamente pronto para publicação. Os PDFs resultantes frequentemente sofrem de floats mal posicionados, equações transbordando, escalonamento inconsistente de tabelas, linhas viúvas e órfãs e mau balanceamento de páginas, forçando os autores a repetir ciclos de compilar-inspecionar-editar. Ferramentas baseadas em regras são cegas para os visuais renderizados, operando apenas sobre o código-fonte e arquivos de log. LLMs exclusivamente textuais realizam edição de texto em malha aberta, incapazes de prever ou verificar as consequências bidimensionais do layout de suas alterações. Portanto, uma otimização confiável da composição tipográfica requer uma malha fechada visual com verificação após cada edição. Formalizamos esse problema como Otimização Visual de Composição (VTO), a tarefa de transformar um artigo LaTeX compilável em um PDF visualmente polido e em conformidade com o orçamento de páginas por meio de verificação visual iterativa e revisão em nível de código-fonte, e introduzimos uma taxonomia de cinco categorias de defeitos de composição para orientar o diagnóstico. Apresentamos PaperFit, um agente com visão na malha que renderiza páginas iterativamente, diagnostica defeitos e aplica correções restritas. Para avaliar o VTO, construímos PaperFit-Bench com 200 artigos abrangendo 10 modelos de veículos de publicação e 13 tipos de defeito em diferentes níveis de dificuldade. Experimentos extensivos mostram que PaperFit supera todas as linhas de base por uma ampla margem, estabelecendo que preencher a lacuna entre o código-fonte compilável e o PDF pronto para publicação requer otimização com visão na malha e que o VTO constitui um estágio crítico ausente no pipeline de automação de documentos.

Sistemas comerciais de geração de vídeo, como Seedance2.0 e Veo3.1, melhoraram rapidamente, fortalecendo a visão de que os geradores de vídeo podem estar evoluindo para "simuladores de mundo". No entanto, a comunidade ainda carece de um benchmark que teste diretamente se um modelo consegue raciocinar sobre como um mundo observado deve evoluir ao longo do tempo. Apresentamos o WorldReasonBench, que reformula a avaliação de geração de vídeo como previsão de estado do mundo: dado um estado inicial e uma ação, o modelo pode gerar um vídeo futuro cuja evolução de estado permaneça fisicamente, socialmente, logicamente e informacionalmente consistente? O WorldReasonBench contém 436 casos de teste selecionados com anotações estruturadas de QA (pergunta-resposta) de referência, abrangendo quatro dimensões de raciocínio e 22 subcategorias. Avaliamos os vídeos gerados com uma metodologia bipartida alinhada a humanos: a Verificação de Raciocínio Ciente do Processo utiliza QA estruturada e diagnósticos de fase de raciocínio para detectar falhas temporais e causais, enquanto a Avaliação de Qualidade Multidimensional pontua a qualidade do raciocínio, a consistência temporal e a estética visual para ranqueamento e modelagem de recompensa. Apresentamos ainda o WorldRewardBench, um benchmark de preferência com aproximadamente 6 mil pares anotados por especialistas em mais de 1,4 mil vídeos, apoiando a avaliação de modelos de recompensa por pares e por pontos. Entre geradores de vídeo modernos, nossos resultados expõem uma lacuna persistente entre plausibilidade visual e raciocínio sobre o mundo: vídeos podem parecer convincentes enquanto falham em dinâmica, causalidade ou preservação de informação. Disponibilizaremos nossos benchmarks e kit de ferramentas de avaliação para apoiar a pesquisa da comunidade em geração de vídeo genuinamente ciente do mundo em https://github.com/UniX-AI-Lab/WorldReasonBench/.

A capacidade de seguir instruções é uma característica fundamental dos modelos de linguagem de grande escala (LLMs), mas aprimorá-la continuamente ainda é um desafio. Métodos existentes geralmente dependem de supervisão externa cara, fornecida por humanos ou modelos professores fortes, ou de treinamento por auto-play com instruções de dificuldade estática, que não evoluem conforme as capacidades do modelo melhoram. Para superar essas limitações, propomos o SEIF (Aprendizado por Reforço Auto-Evolutivo para Seguimento de Instruções), uma estrutura auto-evolutiva para melhorar a capacidade de seguir instruções dos LLMs. O SEIF forma um ciclo fechado de auto-evolução que aprimora a habilidade do modelo de seguir instruções, no qual a evolução da dificuldade das instruções e a evolução das capacidades do modelo se reforçam mutuamente. O SEIF é composto por quatro papéis: um Instrutor, que gera instruções cada vez mais desafiadoras; um Filtro, que remove instruções conflitantes ou inválidas para garantir a qualidade dos dados; um Seguidor, que aprende a seguir instruções evoluídas; e um Avaliador, que fornece sinais de recompensa para o aprendizado por reforço. O Instrutor e o Seguidor são treinados alternadamente e coevoluem ao longo do processo. Experimentos em múltiplas escalas de modelo e arquiteturas mostram que o SEIF melhora consistentemente o desempenho em seguir instruções, sugerindo forte generalidade. Análises adicionais revelam as fontes de melhoria e identificam uma estratégia eficaz de treinamento para auto-evolução em tarefas abertas: treinamento inicial suficiente para construir uma base sólida, seguido de treinamento moderado em fases tardias para mitigar o sobreajuste e alcançar melhor desempenho final. O código e os dados estão publicamente disponíveis em https://github.com/Rainier-rq1/SEIF.

Arquiteturas recorrentes de LLM surgiram como uma abordagem promissora para melhorar o raciocínio, pois permitem a computação em múltiplas etapas no espaço de embeddings sem gerar tokens intermediários. Modelos como o Ouro realizam raciocínio atualizando iterativamente representações internas, enquanto mantêm um cache padrão de Chave-Valor (KV) através das iterações, fazendo com que o consumo de memória cresça linearmente com a profundidade do raciocínio. Consequentemente, aumentar o número de iterações de raciocínio pode levar a um uso proibitivo de memória, limitando a escalabilidade prática de tais arquiteturas. Neste trabalho, propomos o Memory-Efficient Looped Transformer (MELT), uma nova arquitetura que desacopla a profundidade do raciocínio do consumo de memória. Em vez de usar um cache KV padrão por camada e por laço, o MELT mantém um único cache KV por camada que é compartilhado entre os laços de raciocínio. Esse cache é atualizado ao longo do tempo por meio de um mecanismo de portão aprendível. Para permitir um treinamento estável e eficiente sob esta arquitetura, propomos treinar o MELT usando treinamento por blocos em um procedimento de duas fases: transição interpolada, seguida de destilação alinhada por atenção, ambas do modelo inicial LoopLM para o MELT. Empiricamente, mostramos que modelos MELT ajustados a partir de parâmetros pré-treinados do Ouro superam LLMs padrão de tamanho comparável, enquanto mantêm uma pegada de memória comparável a esses modelos e dramaticamente menor que a do Ouro. No geral, o MELT alcança raciocínio iterativo com memória constante sem sacrificar o desempenho do LoopLM, utilizando apenas um procedimento leve de pós-treinamento.

Avanços recentes em modelos generativos 3D rapidamente melhoraram a qualidade da síntese de imagem para 3D, possibilitando geometria de maior resolução e aparência mais realista. No entanto, a fidelidade, que mede a precisão em nível de pixel do ativo 3D gerado em relação à imagem de entrada, ainda permanece um gargalo central. Argumentamos que isso decorre de um problema implícito de correspondência 2D-3D: a maioria dos geradores nativos 3D sintetiza forma no espaço canônico e injeta pistas de imagem via atenção, deixando as associações pixel-3D ambíguas. Para enfrentar esse problema, inspiramo-nos na reconstrução 3D e propomos Pixal3D, um paradigma de geração 3D alinhado por pixel para criação de ativos 3D de alta fidelidade a partir de imagens. Em vez de gerar em uma pose canônica, o Pixal3D gera diretamente em 3D de forma alinhada por pixel, consistente com a vista de entrada. Para viabilizar isso, introduzimos um esquema de condicionamento por retroprojeção de pixel que eleva explicitamente características de imagem em múltiplas escalas para um volume de características 3D, estabelecendo correspondência direta pixel-3D sem ambiguidade. Mostramos que o Pixal3D não é apenas escalável e capaz de produzir ativos 3D de alta qualidade, mas também melhora substancialmente a fidelidade, aproximando-se do nível de fidelidade da reconstrução. Além disso, o Pixal3D se estende naturalmente à geração multivista ao agregar volumes de características retroprojetados entre vistas. Por fim, demonstramos que a geração alinhada por pixel beneficia a síntese de cenas e apresentamos um pipeline modular que produz cenas 3D de alta fidelidade e com separação de objetos a partir de imagens. O Pixal3D demonstra pela primeira vez a geração alinhada por pixel nativa 3D em escala e fornece um novo caminho inspirador para a geração 3D de alta fidelidade de objetos ou cenas a partir de imagens únicas ou multivistas. Página do projeto: https://ldyang694.github.io/projects/pixal3d/

Alinhar modelos generativos multimodais com preferências humanas exige sinais de recompensa que respeitem a estrutura composicional e multidimensional do julgamento humano. Abordagens predominantes de RLHF reduzem essa estrutura a rótulos escalares ou aos pares, colapsando preferências matizadas em proxies paramétricas opacas e expondo vulnerabilidades ao reward hacking. Embora métodos recentes de Rubricas como Recompensa (RaR) tentem recuperar essa estrutura por meio de critérios explícitos, gerar rubricas que sejam simultaneamente confiáveis, escaláveis e eficientes em termos de dados continua sendo um problema em aberto. Apresentamos o Auto-Rubric as Reward (ARR), uma estrutura que reformula a modelagem de recompensas, passando da otimização implícita de pesos para uma decomposição explícita baseada em critérios. Antes de qualquer comparação aos pares, o ARR externaliza o conhecimento de preferência internalizado de um VLM como rubricas específicas do prompt, traduzindo a intenção holística em dimensões de qualidade verificáveis de forma independente. Essa conversão da estrutura de preferência implícita em restrições inspecionáveis e interpretáveis suprime substancialmente os vieses de avaliação, incluindo o viés posicional, possibilitando tanto a implantação zero-shot quanto o condicionamento few-shot com supervisão mínima. Para estender esses ganhos ao treinamento generativo, propomos a Rubric Policy Optimization (RPO), que destila a avaliação multidimensional estruturada do ARR em uma recompensa binária robusta, substituindo a regressão escalar opaca por decisões de preferência condicionadas à rubrica que estabilizam os gradientes da política. Em benchmarks de geração de texto para imagem e edição de imagem, o ARR-RPO supera modelos de recompensa aos pares e avaliadores VLM, demonstrando que externalizar explicitamente o conhecimento de preferência implícito em rubricas estruturadas alcança um alinhamento multimodal mais confiável e eficiente em termos de dados, revelando que o gargalo é a ausência de uma interface fatorada, e não um déficit de conhecimento.

Inspirados pelo desenvolvimento do OpenClaw, observa-se uma demanda crescente por agentes pessoais baseados em dispositivos móveis capazes de lidar com interações complexas e intuitivas. Neste relatório técnico, apresentamos o X-OmniClaw, um agente móvel unificado projetado para compreensão e interação multimodal no ecossistema Android. Essa arquitetura unificada de percepção, memória e ação permite que o agente execute tarefas móveis complexas com alto nível de consciência contextual. Especificamente, a Percepção Omni oferece um pipeline multimodal unificado de entrada que integra estados de interface do usuário, contextos visuais do mundo real e entradas de fala, utilizando um módulo de alinhamento temporal para decompor dados brutos em representações estruturadas de intenção multimodal. A Memória Omni emprega otimização multimodal da memória para aprimorar a inteligência personalizada, combinando memória operacional de tempo de execução para continuidade de tarefas com memória pessoal de longo prazo destilada de dados locais, permitindo interações altamente conscientes do contexto e personalizadas. Por fim, a Ação Omni utiliza uma estratégia híbrida de fundamentação que combina metadados estruturais XML com percepção visual para interação robusta. Por meio de Clonagem de Comportamento e Repetição de Trajetória, o sistema captura a navegação do usuário como habilidades reutilizáveis, viabilizando execução precisa de acesso direto. Demonstrações em diversos cenários mostram que o X-OmniClaw aprimora efetivamente a eficiência das interações e a confiabilidade das tarefas, fornecendo um modelo arquitetural prático para a próxima geração de assistentes pessoais nativos para dispositivos móveis.

Apresentamos Key-Value Means ("KVM"), uma nova bloco-recursão para atenção que pode acomodar tanto estados de tamanho fixo quanto crescentes. Equipar uma forte linha de base de transformador com camadas de atenção KVM de tamanho fixo resulta em uma robusta RNN fragmentada O(N), adicionando apenas um número insignificante de novos parâmetros. Treinamos um transformador com um cache KVM expansível e mostramos que seu desempenho é competitivo em testes de contexto longo, com tempo de pré-preenchimento subquadrático e crescimento de estado sublinear. O KVM é implementável com operações padrão e sem kernels personalizados, e suporta treinamento e pré-preenchimento paralelizáveis por fragmento. Ele oferece muitos dos benefícios tanto dos transformadores tradicionais (memória de contexto expansível, treinamento e pré-preenchimento paralelizáveis por fragmento) quanto das RNNs lineares em um único pacote unificado. Pode ser usado em todas as camadas, economizando memória do cache KV, e permite uma gama contínua de escolhas de complexidade de tempo de pré-preenchimento entre O(N) e O(N²). Também pode ser implementado em uma solução híbrida em conjunto com camadas LRNN no lugar da atenção tradicional, para complementar a LRNN com melhor uso do comprimento de contexto de crescimento de memória sublinear e decodificação de contexto longo. Disponibilizamos nosso código em https://github.com/recursal/KVM-paper e modelos treinados em https://huggingface.co/collections/recursal/key-value-means sob a licença Apache 2.0.

A codificação visual constitui um grande gargalo computacional em Modelos de Linguagem Grandes Multimodais (MLLMs), especialmente para entradas de imagens de alta resolução. A prática predominante geralmente adota codificação global seguida de compressão pós-ViT. A codificação global produz sequências massivas de tokens, enquanto a compressão pós-ViT incorre no custo total de atenção quadrática do ViT antes que qualquer redução de tokens ocorra. Neste trabalho, revisitamos esta convenção ao longo de duas dimensões: a estratégia de codificação e a compressão de tokens visuais. Primeiro, experimentos controlados mostram que a codificação baseada em fatias supera a codificação global em todos os benchmarks, sugerindo que preservar detalhes locais através de visualizações em fatias pode ser mais benéfico do que aplicar atenção global para percepção de granulação fina. Em segundo lugar, introduzimos a compressão precoce intra-ViT, que reduz tokens em camadas superficiais do ViT e reduz substancialmente os FLOPs de codificação visual, mantendo o desempenho downstream. Ao integrar a compressão intra-ViT no arcabouço de codificação baseada em fatias, apresentamos o LLaVA-UHD v4, um esquema de codificação visual eficiente e computacionalmente controlável, adaptado para entradas de alta resolução. Em um conjunto diversificado de benchmarks cobrindo compreensão de documentos, OCR e VQA geral, o LLaVA-UHD v4 reduz os FLOPs de codificação visual em 55,8%, enquanto iguala ou até supera o desempenho de referência. Esses resultados sugerem que a eficiência da codificação visual pode ser substancialmente melhorada sem sacrificar o desempenho downstream, fornecendo uma direção de design prática para MLLMs eficientes de alta resolução. Todos os pesos do modelo e o código serão disponibilizados publicamente para apoiar pesquisas futuras.

LLMs autoevolutivas são excelentes em domínios verificáveis, mas enfrentam dificuldades em tarefas abertas, onde a dependência de juízes LLM substitutos introduz gargalos de capacidade e manipulação de recompensas. Para superar isso, apresentamos G-Zero, uma estrutura coevolutiva e livre de verificadores para autoaperfeiçoamento autônomo. Nossa inovação central é o Hint-δ, uma recompensa intrínseca que quantifica o desvio preditivo entre a resposta não assistida de um modelo Gerador e sua resposta condicionada a uma dica autogerada. Utilizando esse sinal, um modelo Propositor é treinado via GRPO para mirar continuamente nos pontos cegos do Gerador, sintetizando consultas desafiadoras e dicas informativas. O Gerador é simultaneamente otimizado via DPO para internalizar essas melhorias guiadas por dicas. Teoricamente, provamos uma garantia de subotimalidade de melhor iteração para uma versão idealizada do G-Zero baseada em DPO padrão, desde que o Propositor induza cobertura de exploração suficiente e que a filtragem de dados mantenha baixo o ruído das pontuações de pseudorrótulos. Ao derivar a supervisão inteiramente da dinâmica distribucional interna, o G-Zero contorna os tetos de capacidade de juízes externos, fornecendo um caminho escalável e robusto para autoevolução contínua de LLMs em domínios não verificáveis.

A autodestilação emergiu como uma estrutura poderosa para o pós-treinamento de LLMs, na qual um professor condicionado a informações extras orienta um aluno sem elas, ambos provenientes do mesmo modelo. Embora essa orientação seja útil quando o aluno falhou, em rollouts bem-sucedidos, o mesmo mecanismo, em vez disso, sobrescreve as escolhas do aluno e suprime seu próprio raciocínio. Portanto, propomos ler o sinal original da autodestilação ao contrário: quando o aluno tem sucesso ao longo de um caminho que o professor não teria previsto, esses tokens refletem seu raciocínio autônomo. Com base nisso, propomos RLRT (RLVR com Professor Reverso), que amplia o GRPO ao reforçar esses tokens em rollouts corretos. Interpretamos isso como uma nova forma de exploração em RLVR: não diversidade uniforme, mas exploração valiosa fundamentada no próprio sucesso do aluno. Entre checkpoints Qwen3 base, ajustados por instruções e ajustados para pensamento, o RLRT supera substancialmente as linhas de base baseadas em autodestilação e exploração, estabelecendo a assimetria de informação como um novo eixo de design baseado em princípios para RLVR.

Agentes baseados em grandes modelos de linguagem recorrem cada vez mais a habilidades externas para resolver tarefas complexas, nas quais as habilidades atuam como unidades modulares que ampliam suas capacidades além do que a memória paramétrica isoladamente suporta. Métodos existentes assumem que habilidades externas se acumulam como orientação persistente ou são internalizadas na política, levando eventualmente à inferência sem habilidades. Argumentamos que essa suposição é excessivamente restritiva, pois, dada a capacidade paramétrica limitada e a contribuição marginal desigual entre as habilidades, o conjunto ótimo de habilidades ativas é não monotônico, dependente da tarefa e do estágio. Neste trabalho, propomos SLIM, uma estrutura de gerenciamento dinâmico do ciclo de vida de habilidades (Skill Lifecycle Management) para aprendizado por reforço agentivo, que trata o conjunto ativo de habilidades externas como uma variável de otimização dinâmica atualizada em conjunto com o aprendizado da política. Especificamente, o SLIM estima a contribuição marginal externa de cada habilidade ativa por meio de validação com omissão de uma habilidade por vez e, em seguida, aplica três operações de ciclo de vida: retenção de habilidades de alto valor, aposentadoria de habilidades cuja contribuição se torna desprezível após exposição suficiente e expansão do banco de habilidades quando falhas persistentes revelam lacunas de cobertura de capacidades. Experimentos mostram que o SLIM supera as melhores linhas de base em uma média de 7,1 pontos percentuais nos ambientes ALFWorld e SearchQA. Os resultados indicam ainda que o aprendizado da política e a retenção de habilidades externas não são mutuamente exclusivos: algumas habilidades são absorvidas pela política, enquanto outras continuam a fornecer valor externo, apoiando o SLIM como um paradigma mais geral para aprendizado por reforço agentivo baseado em habilidades.

A simulação baseada em aprendizado de dinâmica de corpos rígidos multiobjeto continua difícil porque o contato é descontínuo e os erros se acumulam ao longo de horizontes longos. A maioria dos métodos existentes permanece vinculada à conectividade de malha e à passagem de mensagens em nível de vértice, o que limita sua aplicabilidade a entradas livres de malha, como nuvens de pontos, e leva a alto custo computacional. Modelar eficientemente dinâmica de corpos rígidos de alta fidelidade a partir de representações livres de malha continua, portanto, desafiador. Apresentamos RigidFormer, um modelo baseado em Transformer centrado em objetos que aprende dinâmica de corpos rígidos livre de malha com tamanhos de passo de integração controláveis. RigidFormer raciocina no nível do objeto e avança cada objeto por meio de âncoras compactas; Anchor-Vertex Pooling enriquece essas âncoras com características locais de vértices, retendo geometria relevante para contato sem interação densa entre vértices. Propomos Anchor-based RoPE para injetar geometria de âncora na atenção, respeitando a natureza não ordenada de objetos e âncoras: o processamento de tokens de objeto é equivariante a permutações, e o descritor de âncora com pooling de média é invariante à reindexação de âncoras, preservando a extensão da forma. RigidFormer ainda impõe rigidez projetando atualizações no manifold de corpo rígido usando alinhamento de Kabsch diferenciável. Em benchmarks padrão, RigidFormer supera ou iguala baselines baseados em malha usando entradas de pontos, executa mais rápido, generaliza para resoluções de pontos não vistas e entre conjuntos de dados, e escala para mais de 200 objetos; também mostramos uma extensão preliminar para corpos articulados comandados por condições, tratando partes do corpo como componentes de nível de objeto que interagem.

O aprendizado por reforço (RL) tem possibilitado capacidades complexas de raciocínio em grandes modelos de linguagem (LLMs). No entanto, a maioria dos algoritmos de RL sofre de saturação de desempenho, impedindo ganhos contínuos à medida que o treinamento com RL é ampliado. Esse problema pode ser caracterizado pelo colapso da entropia, um diagnóstico fundamental para a exploração em RL. As tentativas existentes concentram-se em evitar o colapso da entropia por meio de regularização ou recorte. No entanto, suas curvas de entropia resultantes frequentemente exibem instabilidade a longo prazo, o que dificulta os ganhos de desempenho. Neste artigo, apresentamos o Entrocraft, uma abordagem simples de amostragem por rejeição que realiza um agendamento de entropia personalizado pelo usuário ao enviesar as distribuições de vantagem. O Entrocraft não requer regularização de objetivo e é independente do estimador de vantagem. Teoricamente, relacionamos a mudança de entropia por passo à distribuição de vantagem sob suposições mínimas. Isso explica o comportamento dos métodos existentes de RL e de preservação de entropia. O Entrocraft também permite um estudo sistemático de agendamentos de entropia, revelando que o recozimento linear, que começa alto e decai para um alvo ligeiramente inferior, apresenta o melhor desempenho. Empiricamente, o Entrocraft resolve a saturação de desempenho, melhorando significativamente a generalização, a diversidade de saída e o treinamento a longo prazo. Ele permite que um modelo de 4B supere uma baseline de 8B, sustenta a melhoria por até 4x mais tempo antes de atingir um platô e eleva o pass@K em 50% em relação à baseline.

O cache chave-valor (KV) é um grande gargalo na inferência de contexto longo, onde a memória e o processamento crescem com o comprimento da sequência. Os métodos existentes de evicção de KV reduzem esse custo, mas, tipicamente, prejudicam o desempenho em relação à inferência com cache completo. Nossa constatação central é que a atenção com cache completo nem sempre é ótima: em contextos longos, tokens irrelevantes podem diluir a atenção, afastando-a de evidências úteis; assim, uma evicção seletiva e aprendível pode melhorar a geração, em vez de meramente aproximar o cache completo. Apresentamos um método de evicção de KV baseado em retenção global, que aprende a utilidade futura de cada token sob um orçamento unificado de memória. Portões de retenção leves atribuem pontuações de utilidade às entradas armazenadas no cache KV, e uma projeção final de pontuação compartilhada calibra essas pontuações em todas as camadas e cabeças de atenção. Isso permite uma única política global de evicção, na qual tokens de diferentes camadas, cabeças e modalidades competem diretamente pela capacidade do cache. Além disso, fornecemos uma análise teórica mostrando que reter preferencialmente tokens úteis reduz a diluição da atenção, e justificamos a retenção geométrica como uma proxy independente de consulta para utilidade futura. Em diversos benchmarks de linguagem de contexto longo, raciocínio visão-linguagem e diálogo de múltiplas rodadas, nosso método reduz substancialmente a memória KV, igualando ou superando a inferência com cache completo. Esses resultados sugerem que a evicção de KV aprendida e globalmente calibrada não é apenas uma técnica de compressão, mas também um mecanismo para melhorar o raciocínio em contextos longos.

Modelos de difusão e baseados em fluxo tornaram-se as abordagens padrão para gerar dados contínuos, por exemplo, em domínios como imagens e vídeos. Seu sucesso tem atraído um interesse crescente em aplicá-los à modelagem de linguagem. Diferentemente de seus equivalentes no domínio de imagens, os principais modelos de difusão de linguagem (DLMs) atuais operam predominantemente sobre tokens discretos. Neste artigo, mostramos que DLMs contínuos podem ser tornados eficazes com adaptação mínima ao domínio discreto. Propomos os Fluxos de Linguagem Incorporados (ELF), uma classe de modelos de difusão no espaço de incorporação contínua baseada em Correspondência de Fluxo em Tempo Contínuo. Diferentemente dos DLMs existentes, o ELF permanece predominantemente no espaço de incorporação contínua até o passo temporal final, onde mapeia para tokens discretos usando uma rede de pesos compartilhados. Essa formulação torna simples a adaptação de técnicas estabelecidas de modelos de difusão do domínio de imagens, por exemplo, a orientação livre de classificador (CFG). Experimentos mostram que o ELF supera substancialmente os principais DLMs discretos e contínuos, alcançando melhor qualidade de geração com menos etapas de amostragem. Esses resultados sugerem que o ELF oferece um caminho promissor para DLMs contínuos eficazes.

Poda estruturada e destilação de conhecimento (KD) são técnicas típicas para comprimir grandes modelos de linguagem, mas ainda não está claro como devem ser aplicadas em escala de pré-treinamento, especialmente em modelos recentes de mistura de especialistas (MoE). Neste trabalho, estudamos sistematicamente a compressão de MoE em pré-treinamento em larga escala, focando em três questões-chave: se a poda proporciona uma inicialização melhor do que treinar do zero, como as escolhas de compressão de especialistas afetam o modelo final após treinamento contínuo e qual estratégia de treinamento é mais eficaz. Temos as seguintes descobertas: Primeiro, em termos de profundidade, largura e compressão de especialistas, podar um MoE pré-treinado supera consistentemente o treinamento da arquitetura alvo do zero sob o mesmo orçamento de treinamento. Segundo, diferentes métodos de compressão única de especialistas convergem para um desempenho final semelhante após pré-treinamento contínuo em larga escala. Motivados por isso, introduzimos uma estratégia simples de mesclagem de especialistas com preservação parcial que melhora o desempenho downstream na maioria dos benchmarks. Terceiro, combinar KD com a perda de modelagem de linguagem supera o uso apenas de KD, particularmente em tarefas intensivas em conhecimento. Propomos ainda a destilação por predição de múltiplos tokens (MTP), que gera ganhos consistentes. Finalmente, para o mesmo número de tokens de treinamento, cronogramas de poda progressiva superam a compressão única, sugerindo que transições graduais de arquitetura levam a trajetórias de otimização melhores. Unindo tudo isso, comprimimos o Qwen3-Next-80A3B para um modelo 23A2B que mantém desempenho competitivo. Esses resultados oferecem orientações práticas para compressão eficiente de MoE em escala.

Sistemas multiagentes baseados em LLMs são cada vez mais implantados em tarefas de longo horizonte, mas um único erro decisivo é frequentemente aceito por agentes downstream e se propaga em falhas ao nível da trajetória. Trabalhos existentes enquadram isso como atribuição de falhas post-hoc, diagnosticando o agente responsável e a etapa após o término da trajetória. No entanto, esse paradigma abdica de qualquer oportunidade de intervenção enquanto a trajetória ainda está em andamento. Neste trabalho, introduzimos o AgentForesight, uma estrutura que reformula esse problema como auditoria online: a cada etapa de uma trajetória em desenvolvimento, um auditor observa apenas o prefixo atual e deve continuar a execução ou disparar um alerta no momento do erro decisivo mais precoce, sem acesso a etapas futuras. Para isso, curamos o AFTraj-2K, um corpus de trajetórias agentivas nos domínios de Codificação, Matemática e Agentes, no qual trajetórias seguras são retidas sob um pipeline de curadoria rigoroso e trajetórias inseguras são anotadas no passo do seu erro decisivo por consenso entre múltiplos juízes LLM. Com base nisso, desenvolvemos o AgentForesight-7B, um auditor online compacto treinado com uma abordagem de aprendizado por reforço de grosseiro a fino que primeiro o equipa com um prior de antecipação de risco no limite de falha em pares adjacentes de prefixos seguros/inseguros, e então refina esse prior em localização precisa ao nível da etapa sob uma recompensa de três eixos que visa simultaneamente o quê, onde e quem de um veredito de auditoria. Em todo o AFTraj-2K e em um benchmark externo Who\&When, o AgentForesight-7B supera modelos proprietários de ponta, incluindo GPT-4.1 e DeepSeek-V4-Pro, alcançando ganhos de desempenho de até +19,9% e erro de localização de etapa 3 vezes menor, abrindo o ciclo de detecção de falhas post-hoc para permitir intervenção em tempo de implantação. Página do projeto: https://zbox1005.github.io/agent-foresight/

O direcionamento de ativação controla o comportamento de modelos de linguagem ao adicionar direções às representações internas durante a inferência, mas o direcionamento padrão do fluxo residual pode falhar em diálogos com estado. Identificamos a contaminação do cache KV como um modo de falha chave: os estados dos tokens direcionados são armazenados e reutilizados repetidamente, transformando uma perturbação local em uma degradação cumulativa da coerência. Para enfrentar esse desafio, propomos o Direcionamento de Delta de Atenção com Recorte e Porta (Gated Cropped Attention-Delta steering, GCAD), que extrai sinais de direcionamento das contribuições do prompt de sistema para a autoatenção e os aplica com portas em nível de token. Em experimentos de direcionamento de persona, o GCAD preserva o controle de traços enquanto melhora substancialmente a coerência de longo horizonte. No principal referencial de múltiplas rodadas, o GCAD melhora a deriva média de coerência de -18,6 para -1,9 e eleva a expressão de traço na décima rodada de 78,0 para 93,1. Esses resultados sugerem que o direcionamento de ativação se torna mais confiável quando as intervenções seguem as vias mediadas por prompts que os modelos já utilizam para o controle comportamental.

A decodificação especulativa acelera a geração autorregressiva em Modelos de Linguagem de Grande Escala (LLMs) por meio de um procedimento em duas etapas, no qual um modelo rascunho leve propõe tokens que o modelo alvo verifica em uma única passagem direta. Embora a rede rascunho seja pequena nas arquiteturas modernas, sua cabeça LM ainda realiza projeção para um vocabulário grande, tornando-se um dos principais gargalos computacionais. Em trabalhos anteriores, essa questão foi predominantemente abordada por meio de truncamento de vocabulário estático ou dinâmico. No entanto, ao mitigar o gargalo, esses métodos trazem complexidade adicional, como curadoria especial de vocabulário, lógica sofisticada em tempo de inferência ou modificações na configuração do treinamento. Neste artigo, propomos o SlimSpec, uma parametrização de baixo posto da cabeça LM do rascunho que comprime a representação interna em vez da saída, preservando o suporte completo ao vocabulário. Avaliamos nosso método com o rascunho EAGLE-3 em três modelos alvo e diversos benchmarks, tanto em regimes de inferência limitados por latência quanto por vazão. O SlimSpec alcança uma aceleração de 4 a 5 vezes em relação à arquitetura padrão de cabeça LM, mantendo um comprimento de aceitação competitivo, superando os métodos existentes em até 8 a 9% de aceleração ponta a ponta. Nosso método requer ajustes mínimos nos pipelines de treinamento e inferência. Combinado com as melhorias de aceleração mencionadas, isso torna o SlimSpec uma forte alternativa para uma ampla variedade de arquiteturas de cabeça LM de rascunho.

Sistemas multiagentes baseados em LLM agora podem automatizar todo o pipeline de pesquisa, desde a idealização até a escrita de artigos, mas uma questão fundamental permanece: automação para quem? Pesquisadores operam sob diferentes configurações de recursos, possuem diferentes preferências metodológicas e visam diferentes formatos de saída. Um sistema que produz resultados uniformes independentemente dessas diferenças atenderá sistematicamente de forma insuficiente cada usuário individual, tornando a personalização uma pré-condição para que a automação da pesquisa seja genuinamente utilizável. No entanto, alcançá-la exige três capacidades que os sistemas atuais não possuem: acumular conhecimento processual reutilizável entre projetos, reter experiência específica do usuário entre sessões e internalizar preferências implícitas que resistem à formalização explícita. Propomos o NanoResearch, um framework multiagente que aborda essas lacunas por meio de uma coevolução em três níveis. Um banco de habilidades destila operações recorrentes em regras processuais compactas reutilizáveis entre projetos. Um módulo de memória mantém a experiência específica do usuário e do projeto, fundamentando as decisões de planejamento no histórico de pesquisa de cada usuário. Um aprendizado de políticas sem rótulos converte feedback livre em atualizações persistentes de parâmetros do planejador, remodelando a coordenação subsequente. Essas três camadas coevoluem: habilidades confiáveis produzem memória mais rica, memória mais rica informa um melhor planejamento, e a internalização de preferências realinha continuamente o ciclo para cada usuário. Experimentos extensos demonstram que o NanoResearch proporciona ganhos substanciais em relação aos sistemas de pesquisa de IA de ponta e refina-se progressivamente para produzir melhor pesquisa a menor custo ao longo de ciclos sucessivos.

A consolidação da memória, processo pelo qual experiências transitórias são transformadas em representações estáveis e estruturadas, é um princípio organizacional fundamental no cérebro humano, porém permanece amplamente inexplorado como princípio de design para modelos sequenciais modernos. Neste trabalho, recorremos a teorias neurocientíficas consolidadas sobre consolidação da memória e acoplamento entre frequências para propor o Módulo de Memória Hierárquica (HMM), uma arquitetura neural de memória composta por dois submódulos funcionalmente distintos que operam em diferentes frequências de atualização. Inspirado pela hipótese da transformação, o submódulo de baixa frequência produz representações de alto nível que capturam conhecimento abstrato e essencial, enquanto o submódulo de alta frequência produz representações detalhadas que preservam informações episódicas mais ricas. A saída final da memória é reconstruída dinamicamente como uma combinação dependente do contexto de ambas as representações, análoga à natureza reconstrutiva da recuperação da memória humana. Integramos o HMM a um decodificador de linguagem baseado em Transformer para formar o Mela, uma família de modelos de linguagem aumentados por memória que realizam consolidação de memória online em tempo de teste. Para explorar ainda mais as representações de memória multigranularidade produzidas pelo HMM, introduzimos o MemStack, um método que distribui diferentes níveis de características de memória pelas camadas iniciais do decodificador sem introduzir tokens adicionais. Experimentos em modelagem de linguagem demonstram que o Mela supera as linhas de base Transformer em todos os tamanhos de modelo. Além disso, com o comprimento do contexto pré-treinado fixado em 4K, o Mela mantém o desempenho em contextos significativamente mais longos, enquanto as linhas de base Transformer degradam rapidamente além do seu comprimento de treinamento. Extensos estudos de ablação validam a contribuição de cada componente e fornecem orientação para configurações práticas.

Embora modelos de linguagem multimodal de grande escala tenham avançado em texto, imagem e áudio, a pesquisa em personalização permaneceu predominantemente visão-linguagem, com benchmarks omnimodais unificados que cobrem conjuntamente texto, imagem e áudio ainda limitados, e carecendo do rigor metodológico para considerar cenários de persona ausente ou estudos sistemáticos de ancoragem. Apresentamos o Omni-Persona, o primeiro benchmark abrangente para personalização omnimodal. Formalizamos a tarefa como roteamento cross-modal sobre o Grafo de Modalidade de Persona, abrangendo 4 grupos de tarefas e 18 tarefas refinadas em aproximadamente 750 itens. Para diagnosticar rigorosamente o comportamento de ancoragem, propomos a Acurácia Calibrada (Cal), que recompensa conjuntamente a ancoragem correta e a abstenção apropriada, incorporando consultas de persona ausente em um quadro de avaliação unificado. Em nossos experimentos dedicados, três descobertas diagnósticas emergem: (i) modelos de código aberto mostram uma lacuna consistente de ancoragem entre áudio e visual que o RLVR reduz parcialmente por meio de supervisão densa baseada em regras; (ii) a revocação (recall) respondível e a escala de parâmetros são diagnósticos incompletos, uma vez que uma forte revocação pode coexistir com alucinação de persona ausente e modelos maiores nem sempre alcançam uma Cal mais alta, expondo a calibração como um eixo de avaliação separado; e (iii) o SFT é limitado pela dificuldade de construir supervisão de referência (ground-truth) anotada em escala, enquanto o RLVR generaliza de forma mais consistente por meio de feedback verificável em nível de resultado, mas tende a um comportamento conservador e menor qualidade de geração sob nosso design de recompensa. O Omni-Persona serve, portanto, como um quadro diagnóstico que expõe as armadilhas da personalização omnimodal, orientando futuros designs de pós-treinamento e recompensa.

O alinhamento de segurança em modelos de linguagem opera por meio de dois sistemas mecanicamente distintos: neurônios de recusa, que controlam se o conhecimento prejudicial é expresso, e neurônios de conceito, que codificam o próprio conhecimento prejudicial. Ao visar um único neurônio em cada sistema, demonstramos ambas as direções de falha — contornando a segurança em solicitações explícitas prejudiciais via supressão, e induzindo conteúdo prejudicial a partir de prompts inocentes via amplificação — em sete modelos abrangendo duas famílias e de 1,7B a 70B parâmetros, sem qualquer treinamento ou engenharia de prompts. Nossos achados sugerem que o alinhamento de segurança não está robustamente distribuído pelos pesos do modelo, mas é mediado por neurônios individuais, cada um causalmente suficiente para controlar o comportamento de recusa — suprimir qualquer um dos neurônios de recusa identificados contorna o alinhamento de segurança em diversas solicitações prejudiciais.

Embora a linguagem natural seja o meio padrão para Modelos de Linguagem de Grande Escala (LLMs), sua capacidade expressiva limitada cria um gargalo profundo para a resolução de problemas complexos. Embora os avanços recentes em IA tenham dependido fortemente do escalonamento, a mera internalização do conhecimento não garante sua aplicação eficaz. Definindo representação linguística como os construtos linguísticos e simbólicos usados para mapear e modelar o mundo real, este artigo argumenta que moldar esquemas por meio da representação linguística avançada é a próxima fronteira para expandir a inteligência dos LLMs. Postulamos que a ativação e organização do conhecimento de um LLM — seu esquema — depende fortemente da sofisticação estrutural e simbólica da linguagem usada para representar uma dada tarefa. Este artigo contribui tanto com uma formalização dessa afirmação quanto com evidências empíricas que a sustentam. Com uma nova formalização, apresentamos múltiplas linhas de evidência para apoiar nossa posição: Primeiro, revisamos práticas empíricas recentes e metodologias emergentes que demonstram os ganhos substanciais de desempenho alcançáveis por meio do design deliberado da representação linguística, mesmo sem modificar parâmetros ou escala do modelo. Segundo, realizamos experimentos controlados mostrando que o desempenho dos LLMs e suas ativações internas de características variam sob diferentes representações linguísticas da mesma tarefa subjacente. Em conjunto, esses achados destacam o design da representação linguística como uma direção promissora para pesquisas futuras.

Aprendizado por Reforço avançou significativamente as capacidades de raciocínio de Modelos de Linguagem Grandes Multimodais (MLLMs), mas as políticas resultantes permanecem frágeis diante de degradações visuais do mundo real, como desfoque, artefatos de compressão e digitalizações de baixa resolução. Técnicas anteriores de robustez provenientes da visão e do aprendizado por reforço profundo dependem de aumento de dados estático ou regularização baseada em valor, nenhuma das quais se transfere de forma limpa para o ajuste fino de RL livre de crítico de MLLMs autorregressivos. Reforçar o raciocínio contra tais corrupções não é trivial: injetar ingenuamente visões degradadas durante a rolagem induz envenenamento de recompensa, onde oclusões perceptuais desencadeiam trajetórias alucinadas e desestabilizam a otimização. Propomos ROMA, uma estrutura de ajuste fino de RL que modifica a dinâmica de otimização para reforçar o raciocínio contra degradação visual, preservando o desempenho em entradas limpas. Uma estratégia de passagem dupla para frente utiliza forçamento do professor para avaliar visões corrompidas em relação a trajetórias de imagens limpas, evitando novas rolagens em entradas degradadas. Para consistência distribucional, aplicamos uma penalidade KL substituta em nível de token contra o pior caso de aumento; para evitar colapso da política sob regularização, uma perda auxiliar de gradiente de política ancorada em vantagens de imagem limpa preserva um sinal de recompensa confiável; e para evitar invariança sistematicamente incorreta, a regularização condicionada à correção restringe a aplicação a trajetórias bem-sucedidas. Nos modelos Qwen3-VL 4B/8B em sete benchmarks de raciocínio multimodal, nosso método melhora a robustez em +2,4% em corrupções vistas e +2,3% em corrupções não vistas em relação ao GRPO, mantendo a precisão limpa.

Neste trabalho, apresentamos a composição de modelos de codificador congelado, uma abordagem inovadora para modelos de incorporação multimodal. Baseamo-nos na arquitetura do tipo VLM, na qual codificadores não textuais são adaptados para produzir entrada para um modelo de linguagem, que por sua vez gera incorporações para todos os tipos de entrada. Apresentamos o resultado: o conjunto jina-embeddings-v5-omni, um par de modelos que codificam entradas de texto, imagem, áudio e vídeo em um único espaço semântico de incorporação. Nosso método é estender os dois modelos de Texto Jina Embeddings v5 para suportar mídias adicionais, adicionando codificadores para imagens e áudio. Os modelos de incorporação de texto de base e os codificadores de mídia não textual adicionados permanecem congelados. Treinamos apenas os componentes de conexão, que representam 0,35% do total de pesos do modelo conjunto. O treinamento é, portanto, muito mais eficiente do que o retreinamento completo dos parâmetros. Além disso, o modelo de linguagem permanece praticamente inalterado, produzindo exatamente as mesmas incorporações para entradas de texto que os modelos de Texto Jina Embeddings v5. Nossas avaliações mostram que essa abordagem produz resultados competitivos com o estado da arte, com desempenho quase igual ao de modelos maiores de incorporação multimodal.

A evolução baseada em LLMs surgiu como uma abordagem promissora para aprimorar agentes por meio do refinamento de artefatos não paramétricos, mas seu custo em tempo real continua sendo um grande gargalo. Identificamos que esse custo advém da execução sincronizada de estágios e do desequilíbrio dentro de cada estágio pesado em LLM. Apresentamos o FlashEvolve, uma estrutura eficiente que substitui a execução sincronizada por trabalhadores assíncronos e filas, permitindo a sobreposição de diferentes estágios e etapas. Para lidar com a desatualização dos dados introduzida pela assincronia, o FlashEvolve rastreia versões de artefatos e aplica diferentes políticas para atualizar, descartar ou corrigir artefatos desatualizados. Diferentemente da desatualização no espaço de pesos em RL assíncrona, a desatualização no espaço de linguagem é inspecionável e reparável: um artefato desatualizado não é apenas trabalho atrasado, mas evidência legível que o LLM pode refletir, revisar e transformar em sinal evolutivo útil. O FlashEvolve melhora ainda mais a taxa de transferência e a eficiência de tokens com conclusão especulativa de estágios e controle adaptativo de fluxo de trabalho. Em cargas de trabalho GEPA, o FlashEvolve melhora a taxa de transferência de propostas em 3,5 vezes no vLLM local e em 4,9 vezes na API de serviço em relação ao GEPA síncrono. O mesmo design também se aplica ao ACE e ao Meta-Harness.

Quando sistemas multiagente (MAS) falham, identificar onde ocorreu o erro decisivo é o primeiro passo para a recuperação automatizada a um estado anterior. A atribuição de erros continua sendo um desafio fundamental devido aos longos traços de interação gerados por MAS baseados em grandes modelos de linguagem. Este artigo apresenta uma estrutura para atribuição de erros baseada em predição conforme (CP), que oferece garantias de cobertura livre de distribuição para amostras finitas. Introduzimos novos algoritmos para CP baseado em filtração, projetados para dados sequenciais, como trajetórias de agentes. Diferentemente dos algoritmos CP existentes, nossa abordagem prevê conjuntos que são sequências contíguas, permitindo recuperação e depuração eficientes. Verificamos nossas garantias teóricas em uma variedade de agentes e conjuntos de dados, mostrando que os erros podem ser isolados com precisão; em seguida, utilizamos conjuntos de predição para reverter o MAS a fim de corrigir seus próprios erros. Nossa abordagem geral é independente de modelo e oferece uma camada de incerteza fundamentada para a atribuição de erros em MAS. Disponibilizamos o código em https://github.com/layer6ai-labs/conformal-agent-error-attribution.

O Muon surgiu como uma alternativa eficiente ao Adam para pré-treinamento, mas ainda é subutilizado para ajuste fino. Um obstáculo principal é que a maioria dos modelos abertos é pré-treinada com Adam, e a simples troca para Muon no ajuste fino leva a uma degradação no desempenho devido a uma incompatibilidade de otimizadores. Investigamos essa incompatibilidade por meio de experimentos controlados e a relacionamos com os vieses implícitos distintos do Adam e do Muon. Fornecemos evidências de que a incompatibilidade perturba o conhecimento pré-treinado, e que essa perturbação escala com a intensidade da atualização. Isso nos leva a hipotetizar que restringir as atualizações deve mitigar a incompatibilidade. Validamos isso com LoRA: em tarefas de linguagem e visão, o LoRA reduz a diferença de desempenho entre Adam e Muon observada sob ajuste fino completo. Estudos sobre o rank do LoRA, esquecimento catastrófico e variantes do LoRA confirmam ainda que a gravidade da incompatibilidade se correlaciona com a intensidade da atualização. Esses resultados esclarecem como a incompatibilidade de otimizadores afeta o ajuste fino e como ela pode ser mitigada. Nosso código está disponível em https://github.com/XingyuQu/muon-finetune.

Alinhar Modelos de Linguagem Grandes Multimodais (MLLMs) requer modelos de recompensa confiáveis, mas avaliadores de etapa única existentes podem sofrer de julgamento preguiçoso, explorando prioridades linguísticas em detrimento da verificação visual refinada. Embora a avaliação baseada em rubricas mitigue esses vieses em contextos apenas de texto, estendê-la para tarefas multimodais é limitado pela complexidade do raciocínio visual. As diferenças críticas entre as respostas frequentemente dependem de detalhes visuais específicos da instância. Uma avaliação robusta requer a síntese dinâmica de rubricas que isolem discrepâncias espaciais e factuais. Para lidar com isso, apresentamos o DeltaRubric, uma abordagem que reformula a avaliação de preferência multimodal como um processo de planejamento e execução dentro de um único MLLM. O DeltaRubric opera em duas etapas: atuando primeiro como um Planejador de Discordância, o modelo gera uma lista de verificação neutra e específica da instância. Transicionando para um Verificador de Lista, ele executa essas verificações autogeradas em relação à imagem e à pergunta para produzir o julgamento final fundamentado. Formulamos o DeltaRubric como um problema de aprendizado por reforço de múltiplos papéis, otimizando conjuntamente as capacidades de planejamento e verificação. Validado nos modelos Qwen3-VL 4B e 8B Instruct, o DeltaRubric obtém ganhos empíricos sólidos. Por exemplo, no VL-RewardBench, ele melhora a precisão geral do modelo base em +22,6 (4B) e +18,8 (8B) pontos, superando amplamente as linhas de base padrão sem rubrica. Os resultados demonstram que decompor a avaliação em etapas estruturadas e verificáveis leva a uma modelagem de recompensa multimodal mais confiável e generalizável.

A destilação on-policy oferece supervisão densa por token para treinar modelos de raciocínio; no entanto, ainda não está claro sob quais condições esse sinal é benéfico e sob quais é prejudicial. Qual modelo professor deve ser utilizado e, no caso de auto-destilação, qual contexto específico deve servir como sinal de supervisão? A escolha ótima varia de um token para o próximo? Atualmente, abordar essas questões geralmente requer execuções de treinamento custosas, cujas métricas de desempenho agregadas obscurecem a dinâmica no nível de tokens individuais. Introduzimos uma estrutura de diagnóstico livre de treinamento que opera na mais alta resolução: por token, por questão e por professor. Derivamos um gradiente ideal por nó, definido como a atualização de parâmetros que maximiza o aumento da probabilidade de sucesso do estudante. Em seguida, desenvolvemos um algoritmo escalável de rollout direcionado para estimar esse gradiente de forma eficiente, mesmo para longas cadeias de pensamentos intermediários. A pontuação de alinhamento de gradiente, definida como a similaridade de cosseno entre esse gradiente ideal e qualquer gradiente de destilação dado, quantifica o quanto uma configuração específica se aproxima do sinal ideal. Em uma gama de configurações de auto-destilação e modelos professores externos, observamos que a orientação por destilação exibe um alinhamento substancialmente maior com o ideal em rollouts incorretos do que em corretos, onde o estudante já tem um bom desempenho e o sinal do professor tende a se tornar ruidoso. Além disso, constatamos que o contexto ótimo de destilação depende conjuntamente da capacidade do modelo estudante e da tarefa alvo, e que não emerge uma única configuração universalmente eficaz. Essas descobertas motivam o uso de análises de diagnóstico por tarefa e por token para destilação.

Um recuperador lexical é suficiente à medida que os modelos de linguagem de grande escala (LLMs) se tornam mais capazes em um ciclo agentivo? Essa pergunta surge naturalmente ao construir sistemas de pesquisa aprofundada. Revisitamos essa questão combinando o BM25 com LLMs de ponta que possuem melhores capacidades de raciocínio e uso de ferramentas. Para apoiar pesquisadores que fazem a mesma pergunta, apresentamos o Pi-Serini, um agente de busca equipado com três ferramentas para recuperar, navegar e ler documentos. Nossos resultados mostram que, no BrowseComp-Plus, um recuperador lexical bem configurado com profundidade de recuperação suficiente pode suportar uma pesquisa aprofundada eficaz quando combinado com LLMs mais capazes. Especificamente, o Pi-Serini com gpt-5.5 alcança 83,1% de acurácia nas respostas e 94,7% de recall de evidências recuperadas, superando agentes de busca publicados que usam recuperadores densos. Ablações controladas mostram ainda que o ajuste do BM25 melhora a acurácia das respostas em 18,0% e o recall de evidências recuperadas em 11,1% em relação à configuração padrão do BM25, enquanto o aumento da profundidade de recuperação melhora ainda mais o recall de evidências recuperadas em 25,3% em relação à configuração de recuperação rasa. O código-fonte está disponível em https://github.com/justram/pi-serini.

Apresentamos o Metal-Sci, um benchmark com 10 tarefas de kernels de computação Metal para Apple Silicon, abrangendo seis regimes de otimização (stencils, pares-todos em problemas de n-corpos, Boltzmann multicampo, dinâmica molecular com lista de vizinhos, EDP multi-kernel, FFT). Cada tarefa inclui uma referência de CPU, uma função de aptidão ancorada no roofline e um tamanho de generalização retido. Emparelhamos o benchmark com um arcabouço leve para busca automática de kernels, que compila cada candidato em tempo de execução, avalia seu desempenho em relação ao roofline em múltiplos tamanhos e fornece diagnósticos estruturados de compilação e de correção por tamanho de volta a um LLM congelado que conduz um loop evolucionário (1+1). Relatamos varreduras combinadas de modelo único do Claude Opus 4.7, Gemini 3.1 Pro e GPT 5.5 no M1 Pro: as auto-acelerações dentro da distribuição variam de 1,00x a 10,7x. Além da aceleração bruta, nossa alegação metodológica central é estrutural: a função de pontuação de portão retido Φ_T (avaliada uma vez ao final da execução em uma configuração que o agente nunca vê durante a busca) funciona como uma primitiva de supervisão mecânica barata nesse loop de busca automática, capturando, por exemplo, uma vitória do template Opus <uint D> HMC que retorna amostras erradas em dimensões não vistas, e um melhor GPT FFT3D que vence dentro da distribuição com aceleração de 2,95x, mas colapsa para 0,23x em um cubo retido de 256³, uma regressão silenciosa que a pontuação dentro da distribuição sozinha não consegue ver. Código em https://github.com/vicgalle/metal-sci-kernels

Bases de conhecimento compiladas por agentes fornecem conhecimento externo persistente para agentes de modelos de linguagem de grande escala (LLMs) em tarefas downstream abertas e intensivas em conhecimento. No entanto, sua qualidade é sistematicamente limitada por incompletude, incorreção e redundância, manifestadas como evidências ausentes ou lacunas em links entre documentos, afirmações de baixa confiança ou imprecisas, e problemas ambíguos ou de resolução de correferência. Tais defeitos se agravam sob uso iterativo, degradando a fidelidade da recuperação e o desempenho em tarefas downstream. Apresentamos o DeepRefine, um modelo de raciocínio geral baseado em LLM para refinamento de conhecimento compilado por agentes, que melhora a qualidade de quaisquer bases de conhecimento pré-construídas com consultas de usuários, tornando-as mais adequadas para as tarefas downstream. O DeepRefine realiza interações de múltiplas rodadas com a base de conhecimento, conduz diagnóstico abdutivo sobre o histórico de interações, localiza prováveis defeitos e executa ações de refinamento direcionadas para atualizações incrementais da base de conhecimento. Para otimizar as políticas de refinamento do DeepRefine sem referências douradas, introduzimos uma recompensa Gain-Beyond-Draft (GBD) e treinamos o processo de raciocínio de ponta a ponta via aprendizado por reforço. Experimentos extensivos demonstram ganhos consistentes em tarefas downstream em relação a linhas de base fortes.

Embora os modelos fundamentais de vídeo se destaquem na geração de plano único, a narrativa cinematográfica do mundo real depende inerentemente de um complexo sequenciamento de múltiplos planos. O progresso adicional é limitado pela ausência de conjuntos de dados que abordem três desafios centrais: lógica narrativa autêntica, conflitos de alinhamento espaço-temporal texto-vídeo e o dilema de "copiar e colar" predominante na geração Sujeito para Vídeo (S2V). Para preencher essa lacuna, apresentamos o MuSS, um conjunto de dados em larga escala e de dupla trilha, projetado especificamente para geração de múltiplos planos e S2V. Originado de mais de 3.000 filmes, o MuSS suporta explicitamente tanto transições complexas de montagem quanto narrativas centradas no sujeito. Para construir esse conjunto de dados, pioneiramente desenvolvemos um pipeline progressivo de legendagem que elimina conflitos contextuais, garantindo precisão local no nível do plano antes de impor coerência narrativa global. Crucialmente, implementamos um mecanismo de correspondência entre planos para erradicar fundamentalmente o atalho de copiar e colar do S2V. Juntamente com o conjunto de dados, propomos o Benchmark de Narrativa Cinematográfica, apresentando um paradigma orientado por lógica visual e uma nova métrica de Variância Anti-Cópia-e-Cola (ACP-Var) para avaliar rigorosamente a narrativa contínua e a consistência estrutural 3D. Experimentos extensivos demonstram que, enquanto as linhas de base atuais lutam com a lógica narrativa contínua ou degeneram em geradores triviais de adesivos 2D, nosso modelo aumentado com MuSS alcança eficácia narrativa de estado da arte e preservação de identidade entre planos.

Modelos de linguagem de grande escala (LLMs) alcançaram progressos notáveis no raciocínio matemático, mas essa capacidade não está igualmente disponível em todos os idiomas. Especialmente idiomas com poucos recursos apresentam desempenho de raciocínio muito inferior. Para resolver isso, propomos a Autodestilação On-Policy Multilíngue (Crosslingual On-Policy Self-Distillation, COPSD), que transfere o comportamento de raciocínio de alto recurso do próprio modelo para idiomas de baixo recurso. A COPSD utiliza o mesmo modelo como aluno e professor: o aluno vê apenas o problema de baixo recurso, enquanto o professor recebe contexto multilíngue privilegiado, incluindo a tradução do problema e a solução de referência em inglês. O treinamento minimiza a divergência em nível de token em toda a distribuição nos próprios rollouts do aluno, fornecendo supervisão densa e evitando a esparsidade e instabilidade do aprendizado por reforço (RL) baseado apenas no resultado. Experimentos em 17 idiomas africanos de baixo recurso mostram que a COPSD melhora consistentemente o raciocínio matemático em idiomas de baixo recurso em diferentes tamanhos de modelo e supera substancialmente a Otimização de Política Relativa em Grupo (Group Relative Policy Optimization, GRPO). Análises adicionais mostram que a COPSD melhora a adesão ao formato de resposta, fortalece a escalabilidade em tempo de teste e generaliza para benchmarks de raciocínio multilíngue mais difíceis, com ganhos especialmente grandes para idiomas de recursos ainda mais reduzidos. Disponibilizamos nosso código e dados em: https://github.com/cisnlp/COPSD.

Apresentamos um novo corpus disponível publicamente de 100.502 críticas de filmes do Cazaquistão, coletadas do kino.kz, abrangendo o período de 2001 a 2025 e cobrindo 4.943 títulos distintos. O conjunto de dados é multilíngue, composto principalmente por críticas em russo, juntamente com textos em cazaque e com alternância de código. As críticas são anotadas manualmente quanto ao idioma e à polaridade de sentimento, e 11.309 críticas contêm adicionalmente classificações explícitas fornecidas pelos usuários. Definimos duas tarefas de sentimento — classificação ternária de polaridade e classificação de pontuação em cinco classes — e comparamos linhas de base clássicas BoW/TF-IDF com modelos transformer multilíngues (mBERT, XLM-RoBERTa, RemBERT). Os resultados experimentais mostram que os modelos transformer superam consistentemente as linhas de base clássicas na classificação de polaridade, enquanto a classificação de pontuação permanece desafiadora sob avaliação controlada por vazamento, devido ao grave desequilíbrio de classes e às distinções sutis entre níveis de classificação adjacentes.

A compreensão de vídeos longos em VLMs é limitada por uma única passagem direta monolítica sobre milhares de quadros com custo de atenção quadrático. Uma mitigação comum é primeiro selecionar um pequeno subconjunto de quadros informativos antes da passagem direta; comum para seletores sem treinamento por meio de similaridades auxiliares no espaço do codificador. Tais sinais são limitados pelo pré-treinamento contrastivo, que geralmente falha em consultas com alto raciocínio (negação, contagem entre quadros, sumarização holística). Propomos o GridProbe, um paradigma eficiente de inferência por sondagem posterior sem treinamento que pontua evidências no espaço de respostas usando o próprio raciocínio de um VLM congelado e, em seguida, seleciona quadros relevantes à pergunta de forma adaptativa, resultando em custo de atenção subquadrático com pouca ou nenhuma perda de precisão. Organizamos os quadros em uma grade K×K e executamos sondas leves de linha R e coluna C, onde cada sonda lê seu pico posterior como uma confiança condicionada à consulta. O produto externo de R e C produz um mapa de importância interpretável cuja assimetria e curtose conduzem a Shape-Adaptive Selection, uma regra de forma fechada que substitui de forma confiável o orçamento fixo de quadros M por um M_{eff} por questão. Mostramos empiricamente que M_{eff} acompanha a dificuldade intrínseca da pergunta sem nunca ver a resposta, um sinal de computação adaptativa em tempo de teste. No Video-MME-v2, o GridProbe corresponde à linha de base monolítica dentro de 1,6 pp na Acurácia Média com redução de 3,36 vezes em TFLOPs, enquanto no LongVideoBench ele domina Pareto a linha de base (+0,9 pp com 0,35 vezes a computação). Como o seletor e os modelos de QA podem ser desacoplados, combinar um pequeno seletor de 2B com um QA mais robusto de 4B ou 8B é estritamente dominante em Pareto em relação à linha de base monolítica de 2B (até +4,0 pp com 0,52 vezes a computação, em média), sem re-treinamento. Por fim, a interpretabilidade dos mapas de importância abre caminhos futuros para diagnósticos comportamentais, ancoragem e destilação de seleção de quadros.

Genes marcadores específicos de tipo celular são fundamentais para a biologia vegetal, porém os recursos existentes baseiam-se principalmente em bancos de dados curados ou estudos de alto rendimento, sem modelar explicitamente as evidências de suporte encontradas na literatura científica. Apresentamos o PlantMarkerBench, um referencial multi-espécies para avaliar a interpretação de evidências de marcadores vegetais fundamentadas na literatura, a partir de artigos biológicos completos. O PlantMarkerBench é construído utilizando um pipeline de curadoria modular que integra recuperação de literatura em larga escala, busca híbrida, fundamentação biológica consciente de espécies, extração estruturada de evidências e revisão humana direcionada. O referencial abrange quatro espécies de plantas — Arabidopsis, milho, arroz e tomate — e contém 5.550 instâncias de evidências em nível de sentença, anotadas quanto à validade da evidência de marcador, tipo de evidência e força de suporte. Definimos duas tarefas de referência: determinar se uma sentença candidata fornece evidência de marcador válida para um par gene-tipo celular, e classificar a evidência nas categorias expressão, localização, função, indireta ou negativa. Avaliamos diversos modelos de linguagem de pesos abertos e código fechado em diferentes espécies e estratégias de prompt. Embora os modelos de fronteira alcancem desempenho relativamente forte em evidências diretas de expressão, o desempenho cai substancialmente em evidências funcionais, indiretas e de suporte fraco, com a confusão entre tipos de evidência emergindo como um modo de falha dominante. Além disso, modelos de pesos abertos exibem taxas elevadas de falsos positivos em contextos biológicos ambíguos. O PlantMarkerBench fornece uma estrutura de avaliação desafiadora e reprodutível para a atribuição de evidências biológicas fundamentadas na literatura, e apoia pesquisas futuras sobre extração confiável de informações científicas e biologia vegetal assistida por IA.

A memória é um componente crítico da inteligência robótica, pois os robôs devem confiar em observações e ações passadas para realizar tarefas de longo horizonte em ambientes parcialmente observáveis. No entanto, os benchmarks existentes de memória robótica ainda carecem de anotações multimodais para formação de memória, oferecem cobertura limitada de tarefas e complexidade estrutural, e permanecem restritos à simulação sem avaliação no mundo real. Abordamos essa lacuna com o RoboMemArena, um benchmark de grande escala composto por 26 tarefas, com comprimentos médios de trajetória superiores a 1.000 passos por tarefa e 68,9% das subtarefas sendo dependentes de memória. O pipeline de geração utiliza um modelo de linguagem-visão (VLM) para projetar e compor subtarefas, gera trajetórias completas por meio de funções atômicas e fornece anotações relacionadas à memória, incluindo instruções de subtarefas e anotações nativas de keyframes, enquanto tarefas de memória pareadas no mundo real apoiam a avaliação física. Projetamos ainda o PrediMem, um VLA de sistema duplo no qual um planejador VLM de alto nível gerencia um banco de memória com buffers recentes e de keyframes e usa uma cabeça de codificação preditiva para melhorar a sensibilidade à dinâmica das tarefas. Experimentos extensivos no RoboMemArena mostram que o PrediMem supera todas as linhas de base e fornece insights sobre gerenciamento de memória, arquitetura de modelo e leis de escala para sistemas de memória complexos.

Embora a Mistura de Especialistas (MoE) escale a capacidade do modelo sem aumentar proporcionalmente o computo, sua enorme pegada total de parâmetros cria gargalos significativos de armazenamento e acesso à memória, que dificultam a implantação eficiente em dispositivos finais, que exige simultaneamente alto desempenho, baixo custo computacional e pequena sobrecarga de armazenamento. Para alcançar essas propriedades, apresentamos o DECO, uma arquitetura MoE esparsa projetada para igualar o desempenho de Transformers densos sob orçamentos de parâmetros totais e tokens de treinamento idênticos. O DECO utiliza o roteamento diferenciável e flexível baseado em ReLU, aprimorado por escalonamento por especialista ajustável, que equilibra adaptativamente as contribuições de especialistas roteados e compartilhados. Além disso, introduzimos a NormSiLU, uma função de ativação que normaliza as entradas antes dos operadores SiLU, produzindo uma tendência mais estável na taxa de ativação dos especialistas roteados e um nível intrínseco de esparsidade mais elevado. Também identificamos uma vantagem empírica no uso de especialistas MLP sem portão com roteamento baseado em ReLU, indicando a possibilidade de simplificação da arquitetura MoE. Experimentos demonstram que o DECO, ativando apenas 20% dos especialistas, iguala o desempenho denso e supera as bases de referência MoE estabelecidas. Nosso kernel de aceleração especializado proporciona uma aceleração de 3,00 vezes em hardware real em comparação com a inferência densa. Códigos e checkpoints serão disponibilizados.

Apresentamos o Shepherd, um modelo de programação funcional que formaliza operações de meta-agentes sobre agentes-alvo como funções, com operações centrais mecanizadas em Lean. O Shepherd registra cada interação agente-ambiente como um evento tipado em um trace de execução similar ao Git, permitindo que qualquer estado passado seja bifurcado e reproduzido. O sistema bifurca o processo do agente e seu sistema de arquivos 5 vezes mais rápido que o Docker, alcançando mais de 95% de reutilização de cache de prompt na reprodução. Demonstramos o modelo por meio de três aplicações. Primeiro, na intervenção em tempo de execução, um supervisor ao vivo aumenta as taxas de aprovação de programação em pares de 28,8% para 54,7% no CooperBench. Segundo, na meta-otimização contrafactual, a exploração por ramificações supera as linhas de base em quatro benchmarks em até 11 pontos percentuais, reduzindo o tempo de parede em até 58%. Terceiro, no treinamento Tree-RL, a bifurcação de rollouts em turnos selecionados melhora o desempenho no TerminalBench-2 de 34,2% para 39,4%. Esses resultados estabelecem o Shepherd como uma infraestrutura eficiente para programar meta-agentes. Disponibilizamos o sistema como código aberto para apoiar pesquisas futuras.

Modelos de linguagem grandes multimodais (MLLMs) enfrentam dificuldades com regressão numérica sob distribuições-alvo de cauda longa. O ajuste fino supervisionado em nível de token (SFT) e as recompensas de regressão pontual tendem a privilegiar o aprendizado em regiões de alta densidade, resultando em um comportamento de regressão à média e desempenho inferior nas caudas. Identificamos a ausência de supervisão relacional entre amostras como uma limitação fundamental dos paradigmas de treinamento de MLLMs existentes. Para solucioná-la, propomos um framework de aprendizado por reforço ciente da distribuição baseado na Otimização de Política Relativa em Grupo, que introduz supervisão comparativa em nível de lote por meio de uma recompensa baseada no Coeficiente de Correlação de Concordância, a fim de alinhar as distribuições previstas e reais em termos de correlação, escala e média. O framework é plug-and-play, não exigindo modificações arquitetônicas. Experimentos em uma suíte unificada de benchmarks de regressão com cauda longa demonstram melhorias consistentes em relação ao SFT e a métodos de regressão para MLLMs existentes, com ganhos particularmente expressivos nos regimes de poucas e médias amostras.

Modelos de linguagem livres de tokenizador eliminam a etapa de tokenização do pipeline de modelagem de linguagem ao operar diretamente sobre bytes; variantes baseadas em patches agregam ainda mais spans contíguos de bytes em patches para eficiência. No entanto, o tamanho médio do patch escolhido na fase de projeto do modelo rege um compromisso restrito: patches maiores reduzem o custo computacional e o espaço ocupado pelo cache KV, mas degradam a qualidade da modelagem. Atribuímos esse compromisso ao atraso do patch: até que um patch seja totalmente observado, as predições de bytes dentro dele devem depender de uma representação desatualizada do patch anterior para preservar a causalidade; esse atraso aumenta à medida que os patches se tornam maiores. Apresentamos o Scratchpad Patching (SP), que insere scratchpads transitórios dentro de cada patch para agregar os bytes vistos até o momento e atualizar o contexto em nível de patch para predições subsequentes. O SP aciona scratchpads usando a entropia da predição do próximo byte, alocando seletivamente computação para regiões densas em informação e permitindo ajuste post-hoc da computação em tempo de inferência. Em experimentos com linguagem natural e código, o SP melhora a qualidade do modelo no mesmo tamanho de patch; por exemplo, mesmo com 16 bytes por patch, modelos aumentados com SP igualam ou se aproximam da linha de base em nível de byte em avaliações downstream, enquanto usam um cache KV 16 vezes menor sobre os patches e 3 a 4 vezes menos computação de inferência.

O sardo, uma língua românica com cerca de um milhão de falantes, tem presença mínima no PLN moderno. Serviços comerciais não o suportam, e os modelos de linguagem atuais não o produzem de forma confiável. Apresentamos LLiMba, um modelo de 3B parâmetros pronto para sardo, adaptado do Qwen2.5-3B-Instruct por meio de pré-treinamento contínuo (CPT) e ajuste fino supervisionado (SFT) em uma única GPU de consumo de 24 GB. O corpus contém 11,5 milhões de tokens de sardo abrangendo LSC, Logudorês e Campidanês, aumentado com 2,4 milhões de tokens de texto românico relacionado como replay contra o borrão de registro. Após o CPT, o modelo atinge uma perplexidade de 6,76 em sardo retido e supera a base em todas as seis direções do FLORES-200. Comparamos cinco configurações de SFT sob condições equivalentes: ajuste fino completo, LoRA r64, rsLoRA r128, rsLoRA r256 e DoRA r256. rsLoRA r256 vence em todas as direções para o sardo, alcançando 28,5 BLEU do inglês contra 17,3 após CPT e 21,0 com ajuste fino completo. A ablação de posto coloca r128 entre LoRA r64 e rsLoRA r256 em BLEU, mas revela modos de falha invisíveis à métrica, incluindo vazamento entre scripts que nenhuma outra variante produz. LoRA r64 retém menos conteúdo factual do SFT do que configurações de posto mais alto e produz fabricações mais confiantes, embora todos os métodos fabriquem em conteúdo ausente do treinamento. DoRA r256 produz a menor lacuna entre treinamento e avaliação, mas a pior precisão factual. Os achados indicam que a capacidade do adaptador importa mais do que a escolha entre variantes LoRA para adaptar uma base pré-treinada românica a um alvo românico de baixos recursos, que uma regularização mais forte não é uniformemente benéfica, e que as métricas de tradução ordenam suavemente configurações cujo comportamento qualitativo difere categoricamente. Comparações de perplexidade entre scripts devem levar em conta a tokenização com fallback de bytes, que reduz a métrica para scripts diferentes do latino.

Modelos de linguagem de difusão (DLMs) surgiram recentemente como uma alternativa promissora aos modelos autorregressivos, principalmente devido à sua capacidade de permitir decodificação paralela. Apesar dessa vantagem, a maioria dos DLMs existentes depende de um comprimento de geração fixo, especificado antes da decodificação, o que restringe sua flexibilidade em aplicações do mundo real. Embora alguns trabalhos recentes tentem suportar geração de comprimento flexível, eles geralmente sofrem de limitações notáveis: alguns exigem retreinamento custoso para acomodar saídas de comprimento variável, enquanto outros dependem exclusivamente de sinais de confiança locais durante a decodificação. Tais critérios locais não conseguem capturar a estrutura evolutiva da sequência, resultando frequentemente em qualidade de geração subótima. Neste artigo, propomos uma estrutura de decodificação estruturada bayesiana, sem treinamento, que formula a geração de comprimento flexível como um problema de inferência estrutural dinâmica. Nossa abordagem formula a geração de comprimento flexível como um problema de inferência estrutural dinâmica, calculando conjuntamente o comprimento da expansão, os limites dos blocos e o agendamento da decodificação. A cada passo de expansão da janela, o método integra incerteza local com sinais estruturais por meio de um mecanismo unificado que suporta geração estruturada dinâmica, incluindo tanto expansão flexível de blocos quanto organização de blocos, mantendo a coerência. Experimentos extensivos em múltiplos benchmarks demonstram que nossa abordagem melhora significativamente a qualidade e flexibilidade da geração em relação às linhas de base existentes de comprimento fixo e flexível. Esses resultados destacam a vantagem da decodificação estruturada bayesiana para modelos de linguagem de difusão, fornecendo uma solução fundamentada e eficiente para geração estruturada de texto.

Agentes digitais baseados em LLM/VLM avançaram rapidamente graças a sandboxes escaláveis para codificação, navegação na web e uso de computador, que oferecem ambientes interativos ricos para treinamento. Em contraste, agentes incorporados ainda carecem de ambientes 3D abundantes, diversos e gerados automaticamente para aprendizado interativo. Simuladores incorporados existentes dependem de cenas criadas manualmente ou modelos procedurais, enquanto sistemas recentes de geração 3D baseados em LLM produzem principalmente cenas estáticas, em vez de ambientes implantáveis com tarefas verificáveis e interfaces de aprendizado padrão. Apresentamos o SimWorld Studio, uma plataforma de código aberto construída no Unreal Engine 5 para gerar ambientes de aprendizado incorporados em evolução. Seu núcleo é o SimCoder, um agente de codificação aumentado por ferramentas/habilidades que escreve e executa código no nível do motor para construir mundos 3D fisicamente fundamentados a partir de instruções em linguagem/imagem. O SimCoder auto-evolui usando feedback de verificadores (por exemplo, erros de compilação, verificações físicas, críticas de VLM) para revisar ambientes e adicionar autonomamente ferramentas e habilidades reutilizáveis à sua biblioteca. Os mundos gerados são exportados como ambientes no estilo Gym para aprendizado de agentes incorporados. O SimWorld Studio permite ainda a co-evolução entre a geração de ambientes e o aprendizado incorporado: o feedback de desempenho do agente orienta o SimCoder a gerar currículos adaptativos próximos à fronteira de capacidade do aprendiz, de modo que os ambientes se tornem cada vez mais desafiadores à medida que o agente incorporado melhora. Três estudos de caso sobre navegação incorporada mostram que a auto-evolução melhora a confiabilidade da geração, os ambientes gerados melhoram substancialmente o desempenho de agentes incorporados, que generaliza para benchmarks não vistos, e a co-evolução resulta em um ganho de 18 pontos na taxa de sucesso em relação ao aprendizado em ambiente fixo e um ganho de 40 pontos em relação a um agente não treinado.

As Arquiteturas Preditivas de Incorporação Conjunta (JEPAs) fornecem uma estrutura simples para aprender modelos do mundo prevendo representações latentes futuras. No entanto, o treinamento de JEPAs está sujeito a um tradeoff entre viés e variância. Sem restrições estruturais suficientes, a variância representacional excessiva faz com que o modelo colapse em soluções triviais. O recente LeWorldModel (LeWM) mostra que esse problema pode ser aliviado simplesmente restringindo as incorporações latentes com um prior Gaussiano isotrópico. No entanto, as representações latentes inerentemente estão em variedades de baixa dimensão dentro de um espaço ambiente de alta dimensão, e impor um prior Gaussiano isotrópico diretamente nesse espaço ambiente introduz um viés excessivamente forte. Neste trabalho, propomos ame, que busca um ponto operacional favorável na fronteira viés-variância aplicando restrições Gaussianas em múltiplos subespaços aleatórios, em vez de no espaço de incorporação original. Esse projeto relaxa a restrição global enquanto preserva seu efeito anti-colapso, levando a um melhor equilíbrio entre estabilidade de treinamento e flexibilidade representacional. Extensos experimentos em quatro ambientes de controle contínuo demonstram que ame supera consistentemente o LeWM com margens muito claras. Nosso método é simples mas eficaz, e serve como uma forte baseline para futuras pesquisas em modelos do mundo baseados em JEPA. fdefinedeeemode O código está disponível em https://github.com/intcomp/Sub-JEPA.

Agentes baseados em grandes modelos de linguagem operam cada vez mais por meio de uma camada intermediária de habilidades que faz a mediação entre a intenção do usuário e a execução concreta de tarefas. Essa camada é amplamente tratada como uma abstração organizacional, mas argumentamos que ela também constitui um limite de privilégio que os modelos atuais rotineiramente excedem. Apresentamos o FORTIS, um benchmark que avalia o excesso de privilégio em habilidades de agentes em duas etapas: se o modelo seleciona a habilidade minimamente suficiente a partir de uma grande biblioteca sobreposta, e se executa essa habilidade sem expandir para ferramentas ou ações mais amplas do que a habilidade permite. Em dez modelos de fronteira e três domínios, constatamos que o comportamento com privilégio excessivo é a norma, e não a exceção. Os modelos consistentemente recorrem a habilidades e ferramentas de maior privilégio do que a tarefa exige, falhando em ambas as etapas em taxas que permanecem altas mesmo para os modelos mais robustos disponíveis. A falha é especialmente severa sob as condições ordinárias de interação real com o usuário: especificação incompleta, enquadramento de conveniência e proximidade dos limites das habilidades. Nenhum desses fatores requer construção adversarial. Os resultados indicam que a camada de habilidades, longe de conter o comportamento do agente, é ela própria uma fonte primária de escalada de privilégio nos sistemas atuais.

Geradores biomoleculares são frequentemente adaptados com feedback de recompensa para melhorar a utilidade específica da tarefa, mas maximizar apenas a utilidade pode concentrar a geração em uma família restrita de candidatos. Manter a diversidade é difícil, pois a diversidade amostral é uma propriedade do nível do conjunto. Apresentamos a Otimização Relativa de Políticas de Supergrupo (SGRPO), uma estrutura flexível no estilo GRPO que constrói diretamente recompensas a partir da diversidade no nível do conjunto. Para cada condição, a SGRPO amostra um supergrupo de conjuntos candidatos, compara sua diversidade sob a mesma condição e redistribui a recompensa de diversidade do grupo para trajetórias individuais por meio de contribuições de diversidade leave-one-out, antes de combiná-la com a utilidade do nível da trajetória. Esse design desacopla a SGRPO de um gerador, recompensa de utilidade ou métrica de diversidade específicos, e permite a instanciação com diferentes abordagens no estilo GRPO. Avaliamos a SGRPO no design de pequenas moléculas de novo, design de pequenas moléculas baseado em bolsas e design de proteínas de novo, instanciando-a tanto com GRPO quanto com GRPO Acoplado em geradores autorregressivos e de difusão discreta. Em varreduras de decodificação, a SGRPO expande a fronteira de Pareto utilidade-diversidade e alcança as melhores métricas no nível da fronteira em relação a geradores pré-treinados, GRPO e GRPO assistida por memória, quando aplicável. Nossas análises mostram ainda que recompensas diretas de diversidade no nível do conjunto permanecem eficazes com grupos pequenos e ajudam a preservar uma cobertura mais ampla da distribuição de geração durante o pós-treinamento. O código está disponível em https://github.com/IDEA-XL/SGRPO.

Apresentamos um método adaptativo aos dados para o ajuste fino eficiente em termos de parâmetros de grandes redes neurais. Métodos padrão de adaptação de baixo posto melhoram a eficiência ao restringir a atualização de cada camada a uma forma fixa de baixo posto, mas essa parametrização estática pode ser muito rígida quando a correção apropriada depende da entrada e da computação evolutiva ao longo da profundidade da rede. Nossa abordagem substitui um adaptador puramente local à camada por uma memória compartilhada consultável de átomos de atualização de baixo posto. Para cada bloco de camadas, o modelo forma uma consulta a partir do estado atual de baixo posto e um resumo contínuo de blocos anteriores, utiliza essa consulta para recuperar uma combinação dependente do conteúdo de componentes de atualização compartilhados via atenção, e aplica o operador roteado resultante dentro do gargalo de baixo posto. Dessa forma, o método mantém a eficiência e escalabilidade da adaptação de baixo posto, ao mesmo tempo que permite que a atualização efetiva varie entre entradas e compartilhe estrutura reutilizável entre camadas. A arquitetura resultante fornece um meio-termo fundamentado entre atualizações estáticas no estilo LoRA e atualizações de parâmetros totalmente geradas: ela permanece compacta e eficiente em parâmetros, enquanto suporta adaptação dinâmica e sensível ao contexto. Além disso, incorporamos regularização por instrução ao aumentar os logits de roteamento com um prior induzido por linguagem sobre os átomos de atualização, enviesando assim a seleção de transformações de baixo posto em direções semanticamente relevantes, sem gerar atualizações de parâmetros não restritas. Experimentos em tarefas de regressão não linear ruidosa e no ajuste fino de LLMs sugerem que essa formulação de memória de atualização consultável pode melhorar o desempenho final em teste e a estabilidade de treinamento em comparação com a adaptação padrão de baixo posto, utilizando um número comparável de parâmetros treináveis.

A síntese generalizável de novas vistas visa renderizar vistas não vistas a partir de imagens de entrada não calibradas, sem exigir otimização por cena. Abordagens recentes baseadas em alimentação direta (feed-forward) utilizando Splatting Gaussiano 3D alcançaram eficiência e qualidade de renderização promissoras. No entanto, a maioria delas atribui um número fixo de Gaussianos a cada pixel ou voxel, ignorando a complexidade espacialmente variável de cenas do mundo real. Essa alocação uniforme frequentemente desperdiça primitivas Gaussianas em regiões suaves, ao mesmo tempo que fornece capacidade insuficiente para estruturas finas, geometria complexa e detalhes de alta frequência. Isso nos motiva a prever cardinalidades de primitivas dependentes da região, em vez de impor um orçamento fixo de primitivas em toda a parte, permitindo uma representação de cena 3D mais expressiva e compacta. Portanto, propomos o SplatWeaver, uma estrutura generalizável de síntese de novas vistas capaz de alocar dinamicamente primitivas Gaussianas sobre diferentes regiões de maneira direta (feed-forward). Especificamente, o SplatWeaver introduz especialistas Gaussianos de cardinalidade e um esquema de roteamento no nível do pixel, no qual cada especialista se especializa em produzir um número específico de primitivas de 0 a M, e o esquema de roteamento coordena esses especialistas para determinar adaptativamente quantas primitivas Gaussianas devem ser alocadas a cada localização espacial. Além disso, o SplatWeaver incorpora um prior de alta frequência com um módulo de orientação associado e regularização de roteamento para estabilizar a seleção de especialistas e promover alocação sensível à complexidade. Ao aproveitar pistas estruturais de alta frequência, o processo de roteamento é incentivado a atribuir mais primitivas Gaussianas a estruturas finas, geometria complexa e regiões texturizadas, enquanto suprime primitivas redundantes em áreas suaves. Experimentos extensivos em diversos cenários mostram que o SplatWeaver supera consistentemente os métodos estado-da-arte, fornecendo renderizações de novas vistas mais fiéis com menos primitivas Gaussianas.

A estimativa densa de contato manual requer tanto uma compreensão semântica de alto nível quanto um raciocínio geométrico detalhado sobre a interação humana para localizar com precisão as regiões de contato. Recentemente, modelos de linguagem grandes multimodais (MLLMs) demonstraram fortes capacidades na compreensão da semântica visual, possibilitadas por conhecimentos prévios de visão e linguagem aprendidos a partir de dados em grande escala. No entanto, o uso de MLLMs para estimativa densa de contato manual ainda é pouco explorado. Existem dois grandes desafios na aplicação de MLLMs à estimativa densa de contato manual. Primeiro, codificar explicitamente a geometria 3D da mão é difícil, uma vez que os MLLMs operam principalmente nas modalidades de visão e linguagem. Segundo, capturar o contato detalhado no nível dos vértices continua sendo desafiador, pois os MLLMs tendem a focar na semântica de alto nível em vez de no raciocínio geométrico detalhado. Para enfrentar esses desafios, propomos o ContactPrompt, uma abordagem livre de treinamento e zero-shot para estimativa densa de contato manual usando MLLMs. Para codificar eficazmente a geometria 3D da mão, introduzimos uma segmentação detalhada das partes da mão e uma representação de grade de vértices por partes que fornece informações geométricas estruturadas e localizadas. Para permitir uma previsão densa de contato precisa e eficiente, desenvolvemos um raciocínio de contato estruturado em múltiplos estágios com condicionamento por partes, que progressivamente une a semântica global e a geometria detalhada. Assim, nosso método aproveita eficazmente as capacidades de raciocínio dos MLLMs ao mesmo tempo que possibilita uma estimativa densa e precisa do contato manual. Surpreendentemente, a abordagem proposta supera métodos supervisionados anteriores treinados em grandes conjuntos de dados de contato denso, sem exigir qualquer treinamento. Os códigos serão disponibilizados.

Edição multimodal de conhecimento (EMC) visa corrigir o conhecimento interno de grandes modelos de visão-linguagem após a implantação, porém os padrões comportamentais dos modelos pós-edição permanecem pouco explorados. Neste artigo, identificamos um modo de falha sistêmico em modelos editados, denominado Confusão de Identidade de Entidade (CIE): os modelos editados exibem um comportamento absurdo no qual consultas textuais sobre a identidade da entidade original retornam inesperadamente informações sobre a nova entidade. Para investigar rigorosamente a CIE, construímos o EC-Bench, um benchmark diagnóstico que sonda diretamente como as vinculações imagem-entidade mudam antes e depois da edição. Nossa análise revela que a CIE decorre da falha dos métodos existentes em distinguir, no modelo, entre conhecimento de vinculação Imagem-Entidade (I-E) e conhecimento relacional Entidade-Entidade (E-E), fazendo com que os modelos superajustem associações E-E como um atalho: a imagem ainda é percebida como a entidade original, enquanto o nome da nova entidade serve apenas como um rótulo de identidade espúrio. Exploramos ainda possíveis estratégias de mitigação, mostrando que restringir as edições ao estágio de processamento I-E do modelo incentiva que as edições atuem mais fielmente na vinculação I-E, reduzindo substancialmente a CIE. Com base nesses achados, discutimos desideratos fundamentais para uma EMC fiel e fornecemos orientações metodológicas para pesquisas futuras.

Este artigo propõe uma abordagem inovadora para enfrentar o desafio de que modelos VLA pré-treinados frequentemente não conseguem melhorar eficazmente o desempenho e reduzir os custos de adaptação durante o ajuste fino supervisionado padrão (SFT). Alguns métodos avançados de ajuste fino com objetivos auxiliares de treinamento podem melhorar o desempenho e reduzir o número de etapas de convergência. No entanto, eles geralmente incorrem em significativa sobrecarga computacional devido às perdas adicionais dos objetivos auxiliares. Para alcançar simultaneamente as capacidades aprimoradas do treinamento auxiliar com a simplicidade do SFT padrão, desacoplamos os dois objetivos do SFT com objetivo auxiliar dentro do espaço de parâmetros, a saber: melhorar capacidades gerais e ajustar distribuições de ações específicas da tarefa. Para atingir esse objetivo, precisamos apenas treinar o modelo para convergir em um conjunto de tarefas de pequena escala usando duas estratégias distintas de treinamento, resultando em dois modelos ajustados. A diferença de parâmetros entre os dois modelos pode então ser interpretada como vetores de capacidade fornecidos pelos objetivos auxiliares. Esses vetores são então mesclados com os parâmetros pré-treinados para formar um meta-modelo com capacidade aprimorada. Além disso, quando o SFT padrão é aumentado com uma perda leve de regularização ortogonal, o modelo mesclado atinge desempenho comparável às linhas de base de ajuste fino auxiliar, com sobrecarga computacional reduzida. Experimentos internos e externos demonstram que nossos vetores de capacidade (1) são eficazes e versáteis em diversos modelos, (2) podem generalizar prontamente para novos ambientes e corporificações.

Métodos recentes de detecção de deepfakes demonstram melhora na generalização entre conjuntos de dados, mas os mecanismos subjacentes permanecem pouco explorados. Introduzimos a Hipótese de Mesclagem Alfa (Alpha Blending), postulando que detectores baseados em quadros do estado da arte funcionam primariamente como buscadores de mesclagem alfa; em vez de aprender anomalias semânticas ou impressões digitais neurais generativas específicas, eles localizam artefatos de composição de baixo nível introduzidos durante a integração de rostos manipulados nos quadros alvo. Validamos experimentalmente a hipótese, demonstrando que detectores de deepfakes exibem alta sensibilidade às chamadas imagens autofundidas (SBI) e manipulações não generativas. Propomos o método BlenD que utiliza um conjunto de dados diversificado e de grande escala de imagens faciais reais, aumentado com SBI. Essa abordagem alcança a melhor média de generalização entre conjuntos de dados em 15 conjuntos de deepfakes composicionais lançados entre 2019 e 2025, sem utilizar deepfakes gerados explicitamente durante o treinamento. Além disso, mostramos que as previsões de buscadores de mesclagem explícitos e modelos resilientes a atalhos de mesclagem são altamente complementares, resultando em um AUROC de 94,0% no estado da arte em uma configuração de ensemble. O código com experimentos e o modelo treinado serão disponibilizados publicamente.

A função de proteínas é frequentemente controlada por ligantes que enviesam a direção das transições de estado, como agonistas e antagonistas, em vez de estabilizar uma única conformação. Isso é especialmente relevante para receptores acoplados à proteína G (GPCRs) de importância clínica, onde a eficácia terapêutica depende da direcionalidade funcional. Métodos de design baseados em estrutura otimizam a ligação a conformações estáticas e não conseguem representar efeitos direcionais não reversíveis ou distinguir sistematicamente o comportamento de agonistas do de antagonistas. Para preencher essa lacuna, apresentamos o Transition-Directed Discrete Diffusion for Allosteric Binder Design (TD3B), uma estrutura generativa baseada em sequências que projeta ligantes com comportamento agonista ou antagonista especificado por meio de um objetivo de controle de transição direcional. O TD3B combina um Oráculo de Direção consciente do alvo, uma porta suave de afinidade de ligação e o ajuste fino amortizado de um modelo de difusão discreta pré-treinado, permitindo a geração direcionada de agonistas e antagonistas dissociada da afinidade de ligação e inatingível por linhas de base baseadas em equilíbrio ou orientação por inferência. O código e os checkpoints estão disponíveis em https://huggingface.co/ChatterjeeLab/TD3B.

Quando um agente de uso de telefone evita danos, isso demonstra segurança ou simplesmente incapacidade de agir? Avaliações existentes frequentemente não conseguem distinguir. Um resultado prejudicial pode ser evitado porque o agente reconheceu o risco e escolheu a ação segura, ou porque ele falhou em compreender a tela ou executar qualquer ação relevante. Esses casos têm causas diferentes e exigem correções distintas, mas os referenciais atuais frequentemente os agrupam sob o sucesso da tarefa, recusa ou resultado prejudicial final. Abordamos esse problema com o PhoneSafety, um referencial de 700 momentos críticos de segurança extraídos de interações reais com telefones em mais de 130 aplicativos. Cada instância isola a próxima decisão em um momento de risco e faz uma pergunta simples: o modelo toma a ação segura, toma a ação insegura ou falha em fazer algo útil? Avaliamos oito agentes representativos de uso de telefone sob essa estrutura. Nossos resultados revelam dois padrões principais. Primeiro, uma capacidade geral mais forte de uso de telefone não implica de forma confiável escolhas mais seguras em momentos de risco. Modelos que têm melhor desempenho em tarefas comuns de aplicativos nem sempre são aqueles que se comportam de maneira mais segura quando a próxima ação é importante. Segundo, as falhas em fazer algo útil se comportam mais como um sinal de capacidade do que como um sinal de segurança: concentram-se em cenários visual e operacionalmente mais exigentes e permanecem estáveis quando o protocolo de avaliação muda. Entre os modelos, as falhas se dividem em dois padrões recorrentes: escolhas inseguras em situações em que o modelo pode agir, mas escolhe erradamente, e incapacidade de agir em telas visual e operacionalmente mais exigentes. Em suma, um resultado inofensivo não é suficiente para contar como evidência de segurança. Avaliar agentes de uso de telefone requer separar o julgamento inseguro da incapacidade de agir.

Os passos da taxa de aprendizado são geralmente tratados como hiperparâmetros. Este artigo isola um cálculo local de espaço de crença: quando uma atualização é modelada como um passo projetado para frente no simplex de probabilidade, a admissibilidade significa contratividade na geometria natural de KL/Bregman. Sob esse modelo, o limite superior de um passo admissível não é um slogan de ajuste, mas uma fórmula.

A ponderação superior de dados de alta qualidade no pré-treinamento de LLMs geralmente melhora o desempenho, mas em regimes com dados limitados, especialmente sob sobre-treinamento, uma ponderação mais forte aumenta a repetição e pode degradar o desempenho. No entanto, as leis de escalonamento padrão não extrapolam de forma confiável entre receitas de mistura ou sob repetições, tornando a seleção de receitas de dados ideais no escalonamento subdeterminada. Para resolver isso, introduzimos o InfoLaw (Leis de Escalonamento da Informação), uma estrutura de escalonamento ciente dos dados que prevê a perda a partir de tokens consumidos, tamanho do modelo, pesos da mistura de dados e repetição. A ideia central é modelar o pré-treinamento como acumulação de informação, onde a qualidade controla a densidade da informação e a repetição induz retornos decrescentes dependentes da escala. Primeiro, coletamos o desempenho do modelo após o treinamento em conjuntos de dados que variam em escala, distribuição de qualidade e nível de repetição. Em seguida, construímos a modelagem da informação para que esta preveja com precisão o desempenho do modelo. O InfoLaw prevê o desempenho em receitas de dados não vistas e execuções em escalas maiores (até 7B, 425B tokens) com erro absoluto médio de 0,15% e máximo de 0,96% na perda, e extrapola de forma confiável entre níveis de sobre-treinamento, permitindo a seleção eficiente de receitas de dados sob orçamentos computacionais variáveis.