Artigos de pesquisa em IA selecionados diariamente com traduções
A manipulação robótica no mundo aberto requer não apenas reconhecer a aparência de uma cena, mas também antecipar como sua estrutura 3D se move sob interação. Argumentamos que RGB, profundidade e fluxo óptico sincronizados, ou seja, RGB-DF, fornecem uma representação fisicamente fundamentada que captura a dinâmica 4D subjacente de uma cena. Em comparação com vídeos de pixels 2D, essa sinergia multimodal alinha a aparência visual com a estrutura geométrica e o movimento temporal, criando um espaço de representação significativamente mais próximo das ações de baixo nível do atuador final exigidas por sistemas robóticos, reduzindo assim a lacuna entre a previsão do mundo e o aprendizado de políticas. Com base nessa percepção, introduzimos o RynnWorld-4D, um modelo generativo que co-produz quadros RGB futuros, mapas de profundidade e fluxo óptico a partir de uma única imagem RGB-D e uma instrução em linguagem, dentro de um único processo de difusão unificado. Este modelo de mundo 4D apresenta uma arquitetura de três ramificações que integra atenção cross-modal com RoPE 3D por quadro, garantindo que aparência, geometria e movimento evoluam de forma consistente. Para fornecer dados de treinamento em escala, curamos o Rynn4DDataset 1.0, um conjunto massivo de mais de 254,4 milhões de quadros de vídeos egocêntricos de manipulação humana e robótica, com pseudo-rótulos de alta qualidade para profundidade e fluxo óptico. Propomos ainda o RynnWorld-4D-Policy, uma cabeça de dinâmica inversa que consome as representações 4D internas do RynnWorld-4D em uma única passagem direta, contornando a desruificação multi-etapas dispendiosa, para gerar ações do robô em malha fechada. Experimentos mostram que o RynnWorld-4D produz previsões 4D temporal e espacialmente coerentes, e que o RynnWorld-4D-Policy atinge desempenho de ponta em tarefas reais de manipulação bimanual hábil, destacando-se particularmente em tarefas que exigem precisão espacial e coordenação temporal.
Os mundos dos jogos tradicionalmente foram construídos por meio de pipelines de produção intensivos em mão de obra, tornando-os caros para desenvolver, difíceis de personalizar e dispendiosos para modificar após a implantação. Avanços recentes em modelos de mundo de vídeo oferecem um paradigma fundamentalmente diferente. Em vez de criar explicitamente cada componente de um ambiente virtual, esses modelos sintetizam autoregressivamente observações futuras condicionadas ao estado atual do mundo e às interações do usuário, permitindo que mundos jogáveis sejam gerados online. Treinados tanto em gravações de jogos quanto em vídeos do mundo real, eles podem capturar diversas aparências visuais e dinâmicas físicas, abrindo novas oportunidades para aplicações interativas além dos jogos, incluindo inteligência incorporada. Neste artigo, apresentamos o AlayaWorld, um framework full-stack de código aberto para construção de mundos generativos interativos. O AlayaWorld permite interação em tempo real e de fim aberto, permitindo que os usuários naveguem livremente e realizem diversas ações, como combate, lançamento de feitiços e invocação de monstros. O framework unifica o desenvolvimento completo — desde a preparação de dados, arquitetura de modelo, treinamento de modelo, aceleração de inferência e implantação — dentro de uma arquitetura modular e extensível. Juntamente com o framework, disponibilizamos pipelines reproduzíveis, implementações de referência, ferramentas de avaliação e documentação abrangente, estabelecendo uma base prática para futuras pesquisas e aplicações em tempo real de modelos de mundo generativos.
O escalonamento da aprendizagem robótica exige dados massivos e diversificados de trajetórias, mas a coleta atualmente é limitada pela teleoperação física, onde cada demonstração vincula o tempo do operador a um hardware e espaços de trabalho específicos. Apresentamos a teleoperação digital, um paradigma que desacopla a coleta de dados das restrições físicas ao substituir o robô real por um modelo generativo de mundo. Nesse arcabouço, o fluxo de poses da mão de um operador guia um modelo generativo de mundo centrado no robô para sintetizar vídeos egocêntricos de alta fidelidade a partir de uma única imagem de referência. O fluxo de poses registrado serve como um rótulo de ação independente de corporificação, transferível para qualquer robô alvo via redirecionamento padrão, gerando trajetórias completas de estado-ação para aprendizagem por imitação, independentes de hardware físico. Instanciamos esse paradigma no RynnWorld-Teleop, um sistema que integra condicionamento esquelético consciente de profundidade, treinamento progressivo humano-para-robô em um Transformador de Difusão de Vídeo e destilação autoregressiva em fluxo contínuo. Este pipeline comprime o processo generativo em uma inferência de passagem única, permitindo geração interativa em tempo real a 40+ FPS em uma única GPU H100. Políticas treinadas exclusivamente com dados gerados pelo RynnWorld-Teleop alcançam transferência Sim2Real zero-shot eficaz em tarefas bimanuais diversas e hábeis. Além disso, a ampliação de conjuntos de dados do mundo real com nossos dados teleoperados digitalmente melhora consistentemente as taxas de sucesso, demonstrando que o RynnWorld-Teleop serve como um motor de dados escalável e de alta fidelidade para a próxima geração de agentes robóticos.
O escalonamento de grandes modelos de linguagem (LLMs) modernos para contextos longos é limitado pelo custo computacional quadrático e pela baixa extrapolação de comprimento da atenção densa. A atenção esparsa por blocos oferece uma alternativa promissora, mas todos os métodos existentes ficam aquém da atenção completa devido à seleção imprecisa de blocos. Propomos a Atenção Esparsa Hierárquica por Marcos (HiLS), um mecanismo de atenção esparsa por blocos que aprende a seleção de blocos de ponta a ponta sob a perda de modelagem de linguagem (LM). A HiLS fatoriza a atenção hierarquicamente: cada consulta realiza atenção independentemente com cada bloco recuperado para extrair informações específicas do bloco, e as saídas resultantes são fundidas de acordo com as pontuações de recuperação dos blocos. Ao incorporar as pontuações de recuperação no cálculo direto da atenção, a HiLS as otimiza diretamente com a perda de LM, permitindo aprendizado de recuperação de ponta a ponta e treinamento esparso nativo. Resultados experimentais mostram que a HiLS-Atenção alcança desempenho comparável e, em alguns casos, superior ao da atenção completa em comprimentos de contexto dentro do domínio. Além disso, a HiLS-Atenção extrapola mais de 64 vezes o comprimento do contexto de treinamento com 90% de precisão de recuperação, muito além da atenção completa. Ademais, modelos existentes de atenção completa podem ser convertidos para HiLS-Atenção com um pré-treinamento contínuo leve, preservando o desempenho dentro do domínio enquanto adquirem extrapolação de contexto ultra longo. Juntamente com seu acesso e computação esparsos de KV, a HiLS-Atenção quebra a usual troca entre eficiência e desempenho, possibilitando LLMs de contexto longo que são tanto mais eficientes quanto mais eficazes em tarefas gerais de contexto longo do que suas contrapartes de atenção completa.
Formulamos a visão computacional como geração multimodal unificada, na qual tarefas visuais heterogêneas são expressas nos espaços nativos de geração de texto e imagem de um modelo multimodal unificado, sem arquiteturas específicas para cada tarefa. Sob essa formulação, o SenseNova-Vision utiliza instruções em linguagem natural e dicas visuais opcionais para especificar tarefas, regiões ou vistas-alvo e convenções de decodificação, gerando respostas como texto para saídas simbólicas, imagens para previsões espaciais densas ou saídas mistas de texto e imagem para tarefas composicionais. Para apoiar o treinamento em larga escala, convertemos diversas anotações de visão computacional em exemplos de instrução-resposta compatíveis com esses espaços de geração, resultando no SenseNova-Vision Corpus, um corpus de instrução-resposta de visão computacional que abrange alvos de texto, imagem e mistos. Partindo de um modelo multimodal unificado pré-treinado disponível, o SenseNova-Vision é treinado principalmente nesse corpus, com dados multimodais auxiliares utilizados como uma mistura preservadora de capacidades, não exigindo cabeças de predição específicas para tarefas ou modificações arquiteturais. O modelo resultante cobre uma ampla gama de tarefas de visão, incluindo detecção, OCR, estimativa de pontos-chave, segmentação, estimativa de profundidade, predição de normais de superfície, mapas de pontos e estimativa de pose de câmera, além de suportar variantes definidas por linguagem que combinam categoria, cor, região e outras pistas visuais. Experimentos mostram que um único modelo unificado pode equiparar sistemas especializados líderes em compreensão visual estruturada, predição geométrica densa, segmentação e geometria visual multivista. Esses resultados sugerem que a geração multimodal unificada é uma rota escalável para integrar capacidades de visão computacional em modelos de base de propósito geral. O modelo e o corpus estão disponíveis publicamente.
Apresentamos o Gemma 4, uma nova geração de modelos de linguagem multimodal nativos, com pesos abertos, da família de modelos Gemma. Projetada para avançar a eficiência computacional e o raciocínio, a suíte de modelos Gemma 4 apresenta arquiteturas densas e de Mistura de Especialistas, variando de 2,3B a 31B parâmetros. Além de codificadores de visão e áudio aprimorados para todos os tamanhos de modelo, propomos uma arquitetura unificada e livre de codificadores para nosso modelo de 12B, que processa diretamente áudio bruto e patches de imagem. Ademais, integramos um modo de pensamento, permitindo que os modelos Gemma gerem traços de raciocínio antes de responder. Melhoramos a velocidade de inferência, a memória e a eficiência computacional, bem como as capacidades de contexto longo, por meio de escolhas críticas de design. O Gemma 4 estabelece um salto de desempenho em benchmarks de STEM, multimodal e contexto longo, e rivaliza com modelos abertos de fronteira maiores em tarefas avaliadas por humanos.
A compreensão agentiva de vídeo equipa modelos com memória de longo prazo para processar e responder de forma autônoma a fluxos multimodais contínuos e de longo horizonte. No entanto, agentes de vídeo avançados frequentemente dependem de raciocínio iterativo "detetivesco" para controle de ações (por exemplo, busca) e agregação de evidências, incorrendo em custos e latência proibitivos. Argumentamos que esse raciocínio pesado compensa principalmente a falta de contexto global e o desalinhamento semântico na recuperação. Este artigo apresenta o Light-Omni, uma estrutura de agente multimodal para compreensão de vídeo reflexiva e leve. Isso é alcançado por meio de estados contextuais duais que constroem instantaneamente o contexto necessário em uma única passagem direta. Primeiro, mantemos um estado global, um script multimodal de tamanho finito continuamente consolidado a partir da memória episódica, servindo como contexto global para o Light-Omni. Por meio de fusão hierárquica, ele preserva detalhes recentes enquanto resume eventos passados. Segundo, condicionado a esse contexto global, geramos um estado latente paramétrico que impulsiona diretamente ações autônomas e produz embeddings de recuperação, com latência mínima. Beneficiando-se desse design acoplado, o Light-Omni alcança recuperação semanticamente alinhada e respostas reflexivas, evitando raciocínio iterativo. Extensos experimentos validam a eficácia do Light-Omni em vários benchmarks de vídeo. Notavelmente, ele supera o M3-Agent com um ganho médio de precisão de 2,4%, uma aceleração de 12,1 vezes e uma melhoria de 2,6 vezes na eficiência de memória GPU. Além disso, serve como um sistema de memória para melhorar tanto o desempenho quanto a eficiência dos MLLMs existentes. Página do projeto: https://clare-nie.github.io/Light-Omni.
A decodificação especulativa acelera a inferência de Modelos de Linguagem de Grande Porte (LLMs) ao desacoplar a geração de rascunhos da verificação alvo. Embora rascunhadores paralelos recentes proponham eficientemente sequências longas de tokens em uma única passagem direta, eles sofrem com rápida degradação de aceitação devido à falta de dependências entre tokens. Além disso, verificar indiscriminadamente esses blocos estendidos desperdiça capacidade crítica do lote em tokens com alto risco de rejeição, degradando severamente a vazão em sistemas de atendimento de alta concorrência. Apresentamos o DSpark, um framework de decodificação especulativa que unifica a geração paralela de alta vazão com verificação adaptativa e consciente da carga. Para manter a qualidade do rascunho, o DSpark utiliza uma arquitetura semiautoregressiva, combinando um backbone paralelo com um módulo sequencial leve, para introduzir modelagem de dependências intrabloco e mitigar a degradação do sufixo. Para otimizar a eficiência do sistema, o DSpark emprega verificação agendada por confiança, ajustando dinamicamente o comprimento de verificação para cada requisição com base em probabilidades estimadas de sobrevivência do prefixo e perfis de vazão específicos do motor. Em benchmarks offline de diversos domínios, o DSpark melhora substancialmente o comprimento aceito em relação a rascunhadores autoregressivos e paralelos de última geração. Quando implantado no sistema de atendimento DeepSeek-V4 sob tráfego de usuários ao vivo, o DSpark consegue mitigar o desperdício de verificação. Em comparação com a linha de base de produção estabelecida (MTP-1), o DSpark acelera as velocidades de geração por usuário em 60 a 85 por cento em níveis de vazão equivalentes. Mais importante ainda, ao prevenir degradação severa da vazão sob restrições rigorosas de interatividade, ele possibilita níveis de desempenho anteriormente inatingíveis, deslocando a fronteira de Pareto do nosso sistema de atendimento.
Enquanto a otimização de habilidades para agentes autônomos tem ganhado tração, métodos existentes dependem de pipelines complexos. Isso deixa uma questão fundamental sem resposta: O que constitui um pipeline mínimo viável para otimização de habilidades, onde cada componente é justificado por teoria ou necessidade empírica? Formalizamos a otimização de habilidades via otimização de Ordem Zero (ZO), mapeando contrapartes clássicas (diferença central, regiões de confiança) para a literatura recente. Observando que, diferentemente das perturbações numéricas cegas na ZO clássica, trajetórias de habilidades servem como feedback de depuração interpretável. Fundamentados na filosofia Claude Code e na aprendizagem PAC, estabelecemos três princípios para convergência e generalização: exploração de trajetórias baseada em sistema de arquivos, mineração de atributos por consenso e controle de validação independente. Eliminando redundâncias, propomos SkillOpt-Lite. Ele acelera a convergência e supera o SkillOpt completo: melhorando o LiveMath em +8,8 pontos no GPT-5.5 e +25,4 pontos no GPT-5.4-nano, permitindo que o modelo nano supere o GPT-5.4 padrão otimizado pelo SkillOpt. Finalmente, integramos nossa estrutura em agentes de codificação de produção como o VSCode Copilot, permitindo que desenvolvedores evoluam habilidades do agente por meio de uma linha de vibração. Como nossa estrutura trata todos os componentes do agente simplesmente como código editável padrão, esse pipeline mínimo naturalmente generaliza para a otimização completa de harness (HarnessOpt). No SpreadsheetBench, o HarnessOpt permite que o GPT-5.4-nano alcance 0,7758 de acurácia, superando o GPT-5.5 maior executando pipelines padrão (0,7620). O código está disponível em https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.
A descrição densa de vídeos visa gerar descrições temporalmente ancoradas de eventos de vídeo, beneficiando tanto a compreensão quanto a geração de vídeos em nível de evento. Neste domínio, grandes modelos de linguagem auto-regressivos para vídeos emergiram como um paradigma prevalente devido à sua forte capacidade generativa e de modelagem cross-modal. No entanto, gerar descrições densas sob o paradigma token por token limita severamente a eficiência da inferência e dificulta a escalabilidade à medida que a duração do vídeo e a densidade de eventos aumentam. Neste trabalho, propomos uma estrutura auto-regressiva paralelizada que não apenas melhora a eficiência da geração, mas também aprimora o desempenho da descrição temporalmente ancorada. Nossa ideia chave é explorar as fracas dependências locais entre eventos temporalmente distintos para reestruturar o grafo de dependência causal, permitindo assim a geração paralela sem perdas. Especificamente, tokens com fracas dependências entre eventos podem ser decodificados em paralelo, enquanto tokens fortemente acoplados dentro de cada evento mantêm a decodificação sequencial para preservar a coerência semântica local. Para concretizar essa ideia, introduzimos dois componentes chave para decodificação paralela sem perdas: (1) um mecanismo de planejamento global latente que aprende automaticamente a estrutura em nível de evento e produz tokens compactos codificando causalidade global entre eventos, enquanto agrega adaptativamente a semântica audiovisual em nível de evento, orientando a subsequente reestruturação de dependências e decodificação paralela; e (2) um mecanismo de decodificação paralela fatorada por evento que equilibra eficazmente o foco local com a consciência global entre eventos. Experimentos em diversos benchmarks demonstram a clara vantagem de nossa abordagem tanto em eficiência quanto em desempenho na ancoragem e descrição de eventos oni-modais. Site do projeto: https://github.com/showlab/PadCaptioner.
Apesar do progresso recente dos modelos fundamentais VLA, a disparidade entre as condições laboratoriais e as aplicações do mundo real continua a impedir sua implementação prática. Para superar essa lacuna, apresentamos o LingBot-VLA 2.0, que aprimora o LingBot-VLA por meio de melhorias em três domínios funcionais. (1) Generalização entre tarefas e corporificações. Em comparação com a versão anterior, reformulamos o pipeline de processamento de dados e curamos cerca de 60.000 horas de dados para pré-treinamento, incluindo 50.000 horas de trajetórias robóticas abrangendo 20 configurações de robôs e 10.000 horas de vídeos humanos egocêntricos. (2) Espaço de ação expandido, além das plataformas de hardware de braço duplo. Em particular, nosso sistema acomoda graus de liberdade para cabeças, troncos, bases móveis e mãos hábeis, capacitando assim os robôs a lidar com tarefas mais complexas em cenários práticos. (3) Modelagem preditiva de dinâmica para melhor raciocínio temporal. Especificamente, formulamos a previsão futura como uma tarefa proxy, facilitada por um modelo de representação de vídeo para priores semânticos e um modelo de estimativa de profundidade para pistas geométricas. Avaliações no benchmark GM-100, conduzidas em uma configuração generalista, validam o impacto benéfico dessas modificações propostas. Além disso, beneficiando-se dos dados expandidos de pré-treinamento que abrangem graus de liberdade do corpo inteiro, o LingBot-VLA-2.0 demonstra forte capacidade de manipulação móvel de longo horizonte e transversal a corporificações em ambas as plataformas robóticas.
A destilação on-policy (OPD) treina uma política estudante ao alinhar um professor mais forte nas trajetórias do próprio estudante, oferecendo uma estrutura promissora para o treinamento de agentes linguísticos. No entanto, sua aplicação a tarefas agentivas de longo horizonte ainda é insuficientemente explorada. Identificamos duas ineficiências-chave na OPD vanilla para agentes: (1) _rollouts_ de horizonte completo frequentemente desperdiçam recursos de tempo real em turnos finais que fornecem supervisão KL fraca e ruidosa, e (2) objetivos KL no nível da trajetória concentram a maior parte da perda em tokens rasos, deixando turnos de decisão mais profundos subtreinados uma vez que os comportamentos iniciais são alinhados. Para lidar com esses desafios, propomos TurnOPD, uma estratégia de orçamentação no nível do turno para destilação on-policy eficiente de agentes de longo horizonte. TurnOPD consiste em dois controladores de orçamento: orçamentação adaptativa da profundidade do _rollout_, que usa estatísticas de turno baseadas em sonda para determinar o comprimento do _rollout_, e orçamentação progressiva da perda normalizada por turno, que gradualmente desloca a ponderação KL da supervisão no nível do token para um equilíbrio centrado no turno. Experimentos em ALFWorld, WebShop e Multi-Hop Search com modelos professores especializados em tarefas mostram que TurnOPD alcança precisão de validação superior sob orçamentos iguais de tempo real de treinamento e avança a fronteira precisão-tempo além da OPD vanilla.
Apresentamos o MentalThink, um paradigma de raciocínio visual-simbólico que equipa os Modelos de Linguagem Multimodais (MLLMs) com um mecanismo executável para visualização "mental". O cerne do MentalThink é um pipeline de pensar-com-SVG, no qual o modelo aprende a gerar, renderizar e interpretar código de gráficos vetoriais escaláveis (SVG) como representação visual intermediária para raciocínio em múltiplas etapas. Ao criar esboços vetoriais estruturados, o modelo pode externalizar hipóteses espaciais, inspecioná-las por meio de renderização determinística e raciocinar dentro de um espaço geométrico restrito, imitando efetivamente o processo humano de imaginação mental. Instanciamos este paradigma através de um framework de treinamento em dois estágios, combinando Ajuste Fino Supervisionado (SFT) para alinhamento sintático de SVG com Aprendizado por Reforço (RL) em múltiplas etapas, a fim de incentivar a inspeção, revisão e refinamento iterativos de hipóteses visuais intermediárias. Avaliações extensas demonstram que o MentalThink alcança desempenho superior em benchmarks de compreensão e raciocínio espacial (por exemplo, 55,1% no VSIBench, 76,0% no MindCube), mostrando que gráficos vetoriais executáveis fornecem um espaço visual verificável para tomada de perspectiva dinâmica, reflexão visual e construção composicional de cenas.
Aprendizado por reforço (RL) para seguimento de instruções não verificável depende cada vez mais de juízes LLM com rubricas específicas de prompt como sinais de recompensa. Embora métodos recentes adaptem essas rubricas à política em evolução durante o treinamento, os próprios prompts de treinamento permanecem estáticos, extraídos de corpora fixos. Essa abordagem estática frequentemente resulta em um desalinhamento crítico entre a dificuldade do prompt e a capacidade da política, impedindo que o juiz recupere um sinal de recompensa discriminativo quando os prompts falham em gerar variância de qualidade entre os rollouts. Para lidar com esse desalinhamento, introduzimos o LLM-as-a-Tutor, uma estrutura que estende o papel do LLM de juiz para tutor: um único modelo atua como examinador, que compara em pares os rollouts da política para detectar prompts não desafiadores, e como gerador, que anexa restrições atômicas a esses prompts. Esse design apenas de acréscimo aumenta monotonicamente a dificuldade em sintonia com a capacidade da política, produzindo um sinal de treinamento autocalibrante sem cronogramas externos de dificuldade. Em três benchmarks complexos de seguimento de instruções, nosso método supera consistentemente tanto as linhas de base ignorantes da política quanto os métodos adaptativos anteriores, que adaptam rubricas ou reescrevem prompts, sugerindo que a adaptação de prompts é um eixo ausente de consciência da política em RL não verificável.
O progresso recente em modelos generativos de grande escala avançou substancialmente a geração de vídeos, porém os métodos existentes ainda estão limitados por um paradigma de inferência rígido. Modelos de difusão bidirecionais destacam-se pela coerência global e fidelidade visual, mas sofrem com inferência lenta, enquanto modelos autorregressivos oferecem geração eficiente e em fluxo contínuo ao custo de consistência de longo alcance e viés de exposição. Apresentamos o Flex-Forcing, uma estrutura unificada de treinamento e inferência que permite que um modelo de difusão de vídeo opere perfeitamente sob regimes de geração bidirecional e autorregressiva. A ideia central é um mecanismo flexível de fragmentação, definido conjuntamente sobre o eixo temporal e as etapas de remoção de ruído. Esse design permite que o modelo: (1) realize fragmentação flexível de acordo com diferentes orçamentos de dispositivo; (2) execute inferência bidirecional entre fragmentos para planejamento estrutural global, enquanto gera quadros de forma autorregressiva dentro de cada fragmento para síntese eficiente e de granularidade fina; e (3) realize geração autorregressiva de qualquer ordem e qualquer etapa temporal, sem a restrição causal estrita. Experimentos extensivos em múltiplos benchmarks de geração de vídeo demonstram que o Flex-Forcing alcança consistentemente qualidade de vídeo e estabilidade em vídeos longos superiores às linhas de base fortes com cronograma de inferência rígido, além de oferecer inferência mais rápida.
A criação e edição complexa de imagens frequentemente exigem mais do que um único modelo de geração ou edição. Uma solicitação do usuário pode envolver sintetizar imagens, localizar objetos, segmentar regiões, editar conteúdo selecionado, compor ativos intermediários, ler texto e aprimorar o resultado final. Tais tarefas deslocam os agentes multimodais do raciocínio aumentado por percepção para a criação visual centrada em manipulação, onde as ferramentas devem transformar ativamente os estados visuais, em vez de apenas inspecioná-los. No entanto, os agentes multimodais existentes para uso de ferramentas são majoritariamente otimizados para percepção, busca ou edição específica de domínio, e carecem de supervisão em larga escala para trajetórias executáveis de criação de imagens. Neste artigo, apresentamos o CanvasCraft, um conjunto de dados multimodal em larga escala para uso de ferramentas em criação e edição complexa de imagens, e o CanvasAgent, um agente multimodal aumentado por ferramentas que aprende a orquestrar ferramentas visuais heterogêneas por meio de interação em múltiplas rodadas. O CanvasCraft contém 140 mil trajetórias executáveis totalmente anotadas e 10 mil especificações de tarefas de RL. O CanvasAgent é primeiro treinado com SFT para aprender trajetórias executáveis de raciocínio-ação, e depois otimizado com GRPO usando uma recompensa híbrida que combina sinais de resultado e de processo. Durante a rolagem (rollout), o CanvasAgent inspeciona resultados intermediários, rastreia ativos visuais e adapta as decisões de ferramentas ao estado visual em evolução. Os experimentos avaliam tanto a qualidade final da imagem quanto o comportamento da trajetória, demonstrando a eficácia do CanvasAgent e do conjunto de dados proposto para fluxos de trabalho complexos de criação de imagens com múltiplas ferramentas.
Ainda existem desafios na geração de cenas 3D egocêntrica devido à limitada sobreposição de vistas e à influência dominante das perspectivas individuais na interpretação da cena. Esses fatores dificultam a criação de conteúdo visual consistente com o ponto de vista e alinhado semanticamente, bem como a construção de estruturas geométricas precisas. Neste artigo, propomos o CGGS, um framework texto-para-3D que visa melhorar a consciência do conteúdo 3D e corrigir distorções geométricas na geração de cenas egocêntricas. Primeiramente, o Gerador Egocêntrico é proposto por meio do refinamento de um Modelo de Difusão Latente Multi-View com perda aumentada por consistência para gerar conteúdo 2D consistente e de alta fidelidade, alinhado com descrições textuais. Em seguida, o Decorador de Layout utiliza fluxo óptico e correspondência de rastreamento de pontos para estimar profundidade, produzindo assim nuvens de pontos densas como layouts aproximados a partir de priores 2D egocêntricos. Com base nessa inicialização, o Refinador Geométrico é proposto para aprimorar a reconstrução Gaussiana 3D por meio de uma Perda de Profundidade por Informação Mútua (MID) baseada em entropia, combinada com um esquema de otimização hierárquica para melhorar a qualidade visual e a estrutura geométrica. Experimentos abrangentes demonstram que o CGGS supera métodos anteriores na geração de cenas 3D coerentes e precisas orientadas por texto. Página do projeto: https://cggs-26.github.io/cggs26/.
Métodos de última geração para reconstrução 3D a partir de uma única imagem frequentemente dependem de arquiteturas híbridas complexas e funções de perda, ou comprimem a geometria em espaços latentes para aproveitar modelos de difusão latente pré-treinados. Neste trabalho, mostramos que essa sobrecarga arquitetural e formulações de perda intricadas são desnecessárias. Apresentamos um Transformer de Difusão minimalista no espaço de pixels, construído sobre um ViT simples, que opera diretamente em patches brutos de mapas de pontos 3D e é condicionado por tokens de imagem provenientes de um DINOv3 pré-treinado. Ao contrário das abordagens de difusão latente existentes, treinamos nosso backbone de difusão inteiramente do zero, eliminando a necessidade de tokenizadores de mapas de pontos. Apesar de sua simplicidade, nossa abordagem supera modelos complexos de difusão baseados em espaço latente, mantendo-se significativamente mais simples que alternativas híbridas. Notavelmente, ela produz uma estrutura geométrica mais nítida e é mais robusta em regiões altamente ambíguas, como objetos transparentes.
Apresentamos o Nemotron-Labs-Diffusion, um modelo de linguagem (ML) de três modos que unifica decodificação AR, difusão e autoespeculação em uma única arquitetura. Treinado com um objetivo conjunto AR-difusão, o Nemotron-Labs-Diffusion pode alternar modos para manter alta produtividade em diferentes configurações de implantação e níveis de concorrência. Nosso estudo mostra que (1) os objetivos AR e de difusão são complementares: a difusão melhora o planejamento antecipado, enquanto a AR fornece prioridades linguísticas da esquerda para a direita. (2) No modo de autoespeculação, a difusão rascunha enquanto a AR verifica, superando os métodos de previsão de múltiplos tokens (MTP) tanto na taxa de aceitação quanto na eficiência em dispositivos reais. (3) Uma análise de velocidade da luz demonstra ainda o potencial de longo prazo da difusão, com até 76,5% mais tokens por passagem direta do que a autoespeculação sob um amostrador ótimo. Escalando para 3B, 8B e 14B parâmetros, nossa família Nemotron-Labs-Diffusion, incluindo modelos base, instruct e visão-linguagem, supera consistentemente os MLs AR e de difusão de código aberto do estado da arte tanto em precisão quanto em velocidade. Por exemplo, o Nemotron-Labs-Diffusion-8B decodifica 6x mais tokens por passagem direta que o Qwen3-8B com precisão comparável, resultando em 4x maior produtividade no SPEED-Bench com SGLang em uma GPU GB200.
A Otimização de Política Relativa a Grupo (GRPO) é eficaz quando a política atual já amostra trajetórias de raciocínio úteis, mas estagna em prompts difíceis cujos modos de solução correta estão fora do suporte dentro da política do estudante. Propomos o TREK (Teacher-Routed Exploration via Forward KL), um procedimento simples em etapas que usa destilação não para imitação, mas para expansão do suporte de exploração. Uma vantagem chave do TREK é sua generalidade: como consome apenas trajetórias de saída verificadas, pode usar um professor externo caixa-preta, um professor caixa-branca ou o mesmo modelo com contexto adicional de inferência, e pode identificar eficientemente quais amostras de prompts difíceis valem mais a pena consolidar mesmo quando os internos do professor não estão disponíveis. O TREK primeiro identifica prompts onde o estudante sem auxílio tem taxa de aprovação muito baixa, consulta uma fonte de propostas para produzir soluções candidatas verificadas, mantém as r melhores propostas classificadas pela verossimilhança atual do estudante, aplica uma breve fase KL direta para trazer esses modos verificados para o suporte do estudante e, em seguida, retorna ao refinamento padrão do GRPO dentro da política. Em raciocínio matemático, o TREK com propostas do DeepSeek-V4 melhora os modelos Qwen3 em todas as escalas testadas no AIME 2024 e AIME 2025; para o Qwen3-8B, melhora o AIME 2025 de 36,9 para 40,3 e o AIME 2024 de 47,9 para 51,1 (avg@16), enquanto a variante de autocontexto atinge 38,5 e 49,6 sem um professor externo. Em tarefas agentivas, o TREK eleva a taxa de sucesso do ALFWorld de 75,8 para 82,8 e a taxa de sucesso do ScienceWorld de 12,5 para 26,7; notavelmente, nos tipos de tarefas mais difíceis, o TREK atinge altas taxas de sucesso no início do treinamento, enquanto o GRPO sem auxílio requer substancialmente mais etapas de otimização para atingir níveis comparáveis.
Apresentamos o Rank-Then-Act (RTA), uma estrutura para aprender políticas de controle a partir de demonstrações em vídeo de especialistas, sem recompensas do ambiente. O RTA treina um Modelo de Visão e Linguagem (VLM) offline como um classificador ordinal baseado em progresso, utilizando um objetivo de Otimização Relativa de Política em Grupo (GRPO) sobre sequências de quadros embaralhadas, o que força o modelo a recuperar a ordenação temporal a partir de semânticas visuais, e não de dicas temporais triviais. Importante, em vez de usar o classificador diretamente como um modelo de recompensa escalar, propomos uma função de recompensa baseada em correlação para aprendizado por reforço: a cada janela de interação, calculamos a correlação de postos de Spearman entre as classificações de progresso previstas e os índices temporais verdadeiros, gerando um sinal de aprendizado limitado e invariante à escala. Esse design desacopla o aprendizado de recompensas da calibração absoluta e possibilita uma transferência estável entre tarefas e ambientes. Avaliamos o RTA em benchmarks de controle discreto (PyBoy: Catrap, Kirby) e tarefas de controle contínuo (PointMaze, MetaWorld). O RTA consistentemente iguala ou supera métodos anteriores de aprendizado de recompensas baseados em vídeo e baselines baseados em classificação, demonstrando forte reutilização entre tarefas de um único classificador de progresso pré-treinado. Nossos resultados sugerem que a supervisão estruturada por correlação sobre sinais ordinais derivados de vídeo é suficiente para o aprendizado de políticas, oferecendo uma alternativa escalável ao design explícito de recompensas.
Modelos de recuperação de interação tardia que utilizam a função de similaridade MaxSim demonstraram forte desempenho empírico, frequentemente superando modelos de recuperação densos de vetor único e esparsos. Apesar dessas descobertas empíricas, pouco se sabe sobre o poder de representação teórica do MaxSim e como ele se compara a outras abordagens de recuperação. Este artigo mostra, por construção, que a similaridade MaxSim pode replicar exatamente o produto interno entre quaisquer dois vetores k-esparsos não negativos, possivelmente de dimensão infinita, exigindo apenas espaço de representação O(k). Além disso, existem similaridades que o MaxSim pode expressar, enquanto produtos internos vetoriais padrão com o mesmo espaço de representação não conseguem. Aproveitando nossa estrutura teórica, introduzimos o Signed MaxSim, que permite que modelos de interação tardia repliquem exatamente qualquer produto interno de valor real, algo que provamos que o MaxSim padrão não é capaz de fazer. Também mostramos que o MaxSim pode atuar como uma agregação de operações soft-OR e como um avaliador de expressões lógicas na Forma Normal Conjuntiva positiva. Nossos resultados mostram que o MaxSim é pelo menos tão capaz quanto produtos internos vetoriais padrão para quaisquer vetores não negativos, e nossa extensão, Signed MaxSim, é tão capaz para quaisquer vetores. Ambas as similaridades possuem capacidades adicionais que o produto interno não consegue replicar, marcando uma das primeiras justificativas teóricas e quantificações dos métodos de interação tardia. Nossos achados teóricos são apoiados empiricamente: em uma tarefa de recuperação com consultas contendo negações, o Signed MaxSim melhora significativamente o desempenho fora do domínio em relação a uma linha de base padrão ColBERT/MaxSim, com nDCG@10 aumentando de 0,597 para 1,000 sob uma mudança de vocabulário e de 0,008 para 0,788 em consultas apenas com negação.
Agentes de LLM dependem cada vez mais de buffers de recuperação para armazenar e reutilizar experiências passadas, no entanto, as políticas de gerenciamento de cache que regem esses buffers permanecem em grande parte ad-hoc. Formalizamos isso como um problema de substituição de cache semântico online com custos de comutação, onde itens são combinados por similaridade de embeddings e a qualidade de acerto é contínua, em vez de binária. Por meio de experimentos em dois conjuntos de dados do MemoryBench-Full (LoCoMo, DialSim) com 8 políticas de substituição, revelamos uma descoberta surpreendente: as heurísticas clássicas (LRU, LFU) consistentemente têm desempenho inferior à linha de base ingênua FIFO em cargas de trabalho semânticas, devido à ausência de localidade temporal e concentração de frequência. Propomos SOLAR, um framework aumentado por aprendizado que deriva o tempo de modificação a partir da acumulação de arrependimento (alcançando uma taxa de modificação de sim 17%) e a seleção de conteúdo a partir do aprendizado online bayesiano sobre feedback implícito de recuperação. Provamos que o SOLAR atinge uma razão competitiva constante ≤ 3, independente do tamanho do cache e do horizonte (vs. Ω(K) para FIFO), e arrependimento de despejo O(KT log T), correspondendo ao limite inferior Ω(KT) a menos de fatores logarítmicos. Experimentos demonstram melhoria relativa de 5 a 75% sobre o FIFO em tamanhos de cache restritos, com uma transição de fase claramente caracterizada no limite do conjunto de trabalho. Experimentos sintéticos com pools de 5000 itens revelam ainda uma relação em U invertido entre o tamanho do pool e a qualidade de recuperação, justificando as restrições de capacidade como um fenômeno de ruído de recuperação, em vez de uma limitação de armazenamento.
O raciocínio matemático tornou-se uma tarefa central para avaliar e ajustar Grandes Modelos de Linguagem (LLMs) de raciocínio, no entanto, os benchmarks existentes permanecem fortemente enviesados em direção a idiomas de alto recurso, com o inglês e o chinês dominando tanto os corpora de pré-treinamento quanto os conjuntos de avaliação. O conjunto de dados PolyMath (Wang et al., 2025), lançado recentemente, representa um avanço significativo, mas sua cobertura ainda está limitada a apenas 18 idiomas de alto recurso. Para preencher essa lacuna, apresentamos o PluraMath, uma extensão do PolyMath para 18 idiomas adicionais sub-representados, abrangendo 6 famílias linguísticas — variando de configurações de recurso médio a recurso extremamente baixo. Construímos o conjunto de dados por meio de um pipeline com curadoria humana, onde falantes nativos validaram minuciosamente traduções pré-computadas. Utilizando o PluraMath, avaliamos 27 LLMs de raciocínio em quatro escalas de modelo — pequeno, médio, grande e conjuntos fechados — investigando as capacidades de raciocínio matemático multilíngue de modelos de última geração sob diversas condições linguísticas. Nossa análise detalhada confirma uma lacuna persistente no desempenho do raciocínio matemático entre idiomas de alto recurso e sub-representados, com resultados mais fortes amplamente associados a uma melhor capacidade de seguir instruções. Disponibilizamos integralmente nosso conjunto de dados, pipeline de aquisição de dados e estrutura de avaliação, com o objetivo de reduzir a barreira para o desenvolvimento de benchmarks multilíngues para comunidades sub-representadas.
Modelos de linguagem multimodal de grande escala (MLLMs) geram respostas de forma autorregressiva, integrando informações visuais e linguísticas em um contexto em evolução. Trabalhos anteriores sobre interpretabilidade focaram em camadas e circuitos individuais (onde), deixando a dinâmica no nível dos tokens da computação multimodal durante a geração (quando) pouco explorada. Abordamos essa lacuna e estudamos as mudanças de atenção por papel semântico, rastreando a atenção do modelo para imagem, texto, instrução e tokens gerados anteriormente, Um Token de Cada Vez (OTaT). Introduzimos tarefas multimodais que exigem alternância explícita entre contexto visual e textual dentro de uma única resposta. Em duas famílias de modelos populares e quatro MLLMs de código aberto de diferentes tamanhos, estabelecemos padrões consistentes: a atenção à imagem atinge pico em tokens que exigem informações derivadas da imagem, tokens de instrução são revisitados durante transições de tarefa, e a atenção a tokens gerados anteriormente aumenta conforme a geração avança. Intervenções causais de bloqueio de atenção validam o papel funcional dessas tendências. Perfilamos o comportamento do modelo sob atenção interrompida e observamos respostas que recaem sobre prioris linguísticos, ou exibem vazamento cross-modal, negação ou recuperação. Finalmente, informados pela dinâmica da atenção por meio de nossa nova análise, propomos uma intervenção simples em tempo de teste para aumentar a atenção à modalidade relevante no momento certo, melhorando significativamente o desempenho em tarefas multimodais.
Modelos Hierárquicos Visão-Linguagem-Ação (VLA) separam o planejamento de alto nível do controle de baixo nível para melhorar a generalização em manipulação robótica. Trabalhos recentes nesse paradigma utilizam trajetórias do efetuador final em 2D, previstas por um Modelo de Visão-Linguagem (VLM), como orientação explícita para uma política downstream. No entanto, políticas de baixo nível estado-da-arte operam em espaço métrico 3D sobre nuvens de pontos, e alimentá-las com orientação 2D que carece de profundidade força cada waypoint a receber a profundidade da superfície da cena subjacente, produzindo trajetórias geometricamente distorcidas. Propomos o 3D HAMSTER, uma estrutura hierárquica que supre essa lacuna ao fazer o planejador produzir diretamente trajetórias 3D metricamente confiáveis. Aumentamos um VLM com um codificador de profundidade dedicado e um objetivo denso de reconstrução de profundidade para prever sequências de waypoints 3D, que são integradas diretamente em uma política de baixo nível baseada em nuvens de pontos. Em previsão de trajetórias 3D, simulação e manipulação no mundo real, o 3D HAMSTER supera consistentemente VLMs proprietários e baselines guiados por 2D, com os maiores ganhos sob deslocamentos que alteram a aparência e condições de linguagem, espaciais e visuais não vistas. A página do projeto está disponível em https://davian-robotics.github.io/3D_HAMSTER/.
Apresentamos o HunyuanOCR-1.5, um modelo de visão-linguagem leve e especializado em OCR de ponta a ponta. O HunyuanOCR unifica análise de documentos, detecção de texto, extração de informações, tradução texto-imagem e compreensão de documentos multi-imagem em um único VLM de ponta a ponta. Baseado na arquitetura leve do HunyuanOCR-1.0, o HunyuanOCR-1.5 não redesenha o backbone, mas melhora sistematicamente tanto a eficiência quanto a capacidade. Para eficiência, adaptamos o DFlash à decodificação de OCR, reduzindo significativamente a latência de saídas estruturadas longas, como documentos densos, tabelas e fórmulas, preservando a distribuição de saída. Impulsionado pelo DFlash, o HunyuanOCR-1.5 alcança um ganho de 6,37x na inferência Transformer e 2,14x sob vLLM, oferecendo a inferência mais rápida entre VLMs OCR leves. Para capacidade, propomos o Fluxo de Dados Agentivo (Agentic Data Flow), um sistema de construção de dados orientado por agente que transforma fraquezas do modelo em requisitos de dados executáveis e realiza de forma autônoma busca de materiais, verificação de qualidade e desenvolvimento de pipelines. Isso melhora substancialmente as capacidades de cauda longa em OCR de escritas antigas, análise detalhada de gráficos e tabelas, QA centrado em texto multi-imagem, análise multilíngue com poucos recursos e avaliação de alucinação documental. O HunyuanOCR-1.5 está entre as soluções de OCR ponta a ponta de alto nível no OmniDocBench v1.6, ao mesmo tempo que atinge novos marcos de desempenho nessas tarefas de cauda longa. Combinado com uma receita atualizada de pré-treinamento e pós-treinamento, o HunyuanOCR-1.5 estende ainda mais sua capacidade em cenários de alta resolução, contexto longo e multitarefa. Os experimentos demonstram inferência mais rápida, cobertura mais ampla de capacidade de OCR e as vantagens de implantação de um modelo leve de ponta a ponta. Disponibilizaremos os pesos do modelo e o código de treinamento para apoiar futuras pesquisas e aplicações reais de OCR.
O aprendizado por reforço (RL) tornou-se um componente central do pós-treinamento de modelos de linguagem de grande porte (LLMs), mas pouco se sabe sobre como a adaptação por RL se distribui entre as camadas do transformer. Abordagens existentes geralmente atualizam todos os parâmetros do modelo de forma uniforme, assumindo implicitamente que cada camada contribui de maneira semelhante para os ganhos obtidos durante o pós-treinamento com RL. Neste trabalho, desafiamos essa hipótese por meio de um estudo sistemático camada por camada do treinamento com RL. Surpreendentemente, descobrimos que treinar uma única camada do transformer pode recuperar a maior parte dos ganhos alcançados pelo treinamento completo com RL (todos os parâmetros) e, em alguns casos, até superá-los. Para quantificar esse fenômeno, introduzimos a grandeza *contribuição da camada*, que mede a fração da melhoria completa do RL recuperada ao treinar uma camada isoladamente. Em sete modelos abrangendo duas famílias de modelos (Qwen3, Qwen2.5), três algoritmos de RL (GRPO, GiGPO, Dr. GRPO) e múltiplos domínios de tarefas, incluindo raciocínio matemático, geração de código e tomada de decisão agentiva, observamos um padrão notavelmente estável: os ganhos do RL estão altamente concentrados em um pequeno subconjunto de camadas do transformer e, em muitos casos, até mesmo em uma única camada. Mais impressionante, o mesmo padrão estrutural emerge consistentemente: camadas de alta contribuição concentram-se no meio da pilha do transformer, enquanto as camadas próximas às extremidades de entrada e saída contribuem substancialmente menos. As classificações de camadas resultantes permanecem fortemente correlacionadas entre conjuntos de dados, tarefas, famílias de modelos e algoritmos de RL.
Agentes de codificação geram cada vez mais solicitações de pull (PRs) para problemas reais de software, mas a geração de PRs em uma única tentativa permanece em malha aberta: o PR é proposto sem revisão, diagnóstico ou revisão sistemáticos. Apresentamos o SWE-Review, uma estrutura para fechar essa malha com revisão de código agentiva. Dado um problema e um PR gerado por IA, um agente revisor explora o repositório, decide se o PR deve ser aceito e fornece feedback estruturado para revisão. Avaliamos esse cenário com nosso SWE-Review-Bench proposto para medir tanto a correção da revisão quanto a utilidade da revisão subsequente. Além disso, curamos o conjunto de dados SWE-Review-Traj para estudar aplicações mais amplas da revisão agentiva e preencher a lacuna de escassez de dados para o treinamento aberto de revisores. Experimentos mostram que a revisão agentiva melhora continuamente os PRs por meio de um ciclo de gerar-revisar-revisar, supera a revisão de contexto fixo de turno único tanto na precisão da decisão quanto na taxa de resolução após a revisão, transfere-se além da revisão para melhorar modelos de resolução de problemas e possibilita uma escalabilidade eficaz e eficiente no tempo de teste. Esses resultados posicionam a revisão de código agentiva como um mecanismo prático para mover agentes de codificação de IA da geração de PRs em uma única tentativa para a resolução de problemas em malha fechada.
As artes audiovisuais abrangem diversas disciplinas criativas, incluindo cinema, artes visuais, artes cênicas e design de jogos, onde o significado artístico surge de combinações deliberadas de elementos visuais, auditivos e narrativos (por exemplo, o medo amplificado por enquadramentos claustrofóbicos, ou a tristeza transmitida por silêncios e close-ups prolongados). A verdadeira compreensão artística vai além de reconhecer o que é representado, estendendo-se ao raciocínio sobre por que é expresso por meio de escolhas criativas específicas. Apesar do forte progresso dos modelos de linguagem grandes multimodais (MLLMs), esse aspecto crucial da compreensão artística permanece subexplorado, uma vez que os benchmarks existentes medem em grande parte o reconhecimento perceptivo, negligenciando o raciocínio sobre a intenção criativa. Para preencher essa lacuna, apresentamos o Musebench, um benchmark abrangente projetado para avaliar MLLMs na compreensão artística detalhada. Ele compreende 4.016 perguntas que abrangem artes cinematográficas, artes visuais estáticas, artes cênicas e artes de jogos, extraídas de mais de 10 mil videoensaios candidatos que combinam comentários profissionais com demonstrações visuais. Para capturar a natureza aberta da análise artística em grande escala, o benchmark combina perguntas de seleção única e de seleção múltipla com opções variáveis. Todas as perguntas são geradas e refinadas por meio de um pipeline iterativo de quatro fases que combina filtragem de atalhos, distratores adversariais e validação de especialistas. A avaliação zero-shot abrangente de 28 MLLMs de ponta revela que mesmo o modelo com melhor desempenho atinge apenas 48,29% de precisão, substancialmente abaixo do desempenho humano especializado de 87,18%, expondo uma lacuna significativa na expertise de domínio criativo dos modelos atuais.
Modelos Visão-Linguagem-Ação (VLA) são tipicamente treinados por aprendizado por imitação em grandes conjuntos de dados de demonstrações robóticas, mas mais dados não necessariamente geram políticas melhores devido a redundância, ruído e cobertura desigual. Métodos existentes de seleção de dados frequentemente avaliam demonstrações no nível de trajetória ou estado-ação, perdendo as estruturas reutilizáveis que compõem comportamentos de longo horizonte. Neste artigo, propomos o SIEVE, um método de seleção de dados ciente da estrutura para aprendizado por imitação em VLA. O SIEVE vê as demonstrações como composições de primitivas reutilizáveis e interfaces de transição. Primeiro, ele descobre primitivas visuomotoras a partir de trajetórias segmentadas, depois aloca orçamentos de seleção a padrões de composição maximizando a exposição estrutural ciente de reutilização sob retornos decrescentes. Finalmente, seleciona trajetórias medoides dentro de cada categoria de padrão de composição para reter demonstrações centrais, estáveis e favoráveis à imitação. Experimentos em múltiplos conjuntos de dados, benchmarks e modelos VLA mostram que o SIEVE supera consistentemente linhas de base competitivas de seleção de dados. Notavelmente, o SIEVE pode superar o treinamento com dados completos usando apenas 50% das demonstrações e 50% das etapas de treinamento, sugerindo que a estrutura reutilizável, capturada por meio de primitivas e transições, é um sinal importante para o aprendizado eficiente por imitação em VLA.
Todo modelo de linguagem química que lê SMILES começa com um tokenizador, mas a área herdou a codificação por pares de bytes (BPE) do processamento de linguagem natural com pouco escrutínio. Em linguagem natural, a principal alternativa ao BPE, o Unigram-LM, é conhecida por construir vocabulários estruturalmente diferentes. Se esse contraste se mantém em química era uma questão em aberto. Relatamos uma comparação controlada entre BPE e Unigram-LM sobre uma base química fixa de 165 tokens, em tamanhos de vocabulário pequenos nos quais as incorporações de tokens (token embeddings) são aprendíveis, em três tipologias de corpus (diverso, semelhante a fármacos e produtos naturais) e ambas as políticas de fronteira de pré-tokenização. Os dois não convergem. Em todas as 22 condições emparelhadas, eles constroem vocabulários de subpalavras quase disjuntos: a sobreposição de Jaccard entre algoritmos nos segmentos aprendidos nunca excede 0,161 e, no máximo, 0,05 quando ponderada para os segmentos de alta frequência que um modelo mais atualiza. O Unigram-LM também segmenta moléculas reservadas em 29–41% mais tokens; as duas abordagens concordam amplamente sobre onde cortar, mas não sobre a profundidade, de modo que a segmentação do BPE é uma versão estritamente mais grosseira da segmentação do Unigram-LM em 80–99% das moléculas. A separação se mantém entre corpus, fronteira e tamanho do vocabulário, persistindo mesmo em oito vezes essa escala. Portanto, o algoritmo de subpalavras é uma decisão de modelagem, não um padrão gratuito. O estudo não treina nenhum modelo de linguagem.
Existem disparidades significativas no diagnóstico e na apresentação clínica da depressão entre diferentes populações linguísticas. A detecção de depressão baseada em fala apresenta bom desempenho de forma monolíngue, mas a generalização interlingual continua sendo um desafio em aberto. Uma razão fundamental é que trabalhos anteriores utilizam divisões aleatórias em nível de segmento, sem agrupamento por falantes, o que gera vazamento de identidade que infla as métricas reportadas. Propomos o CLeaD, uma estrutura de alinhamento contrastivo supervisionado que mapeia embeddings WavLM do inglês e do mandarim para um espaço clínico compartilhado, sem necessidade de dados paralelos ou ajuste fino na língua-alvo. Avaliando 52 falantes de mandarim, o alinhamento contrastivo supera modestamente a linha de base (F1: 0,640 vs. 0,622) sob avaliação leave-one-speaker-out. Ele também melhora a revocação da classe deprimida nas camadas intermediárias (7-8), embora o pequeno conjunto de teste limite a generalizabilidade. Dois achados permanecem robustos: o escalonamento do modelo degrada o desempenho interlingual ao mesmo tempo que melhora o inglês monolíngue, e o vazamento de identidade do falante inflacionou artificialmente os escores F1 previamente reportados para mandarim, chegando a 0,954 — um artefato que reproduzimos e quantificamos.
A produção acadêmica ocorre em uma cadeia de ferramentas fragmentada: descoberta de literatura em um aplicativo, gerenciamento de referências em outro, escrita em um editor LaTeX, formatação manual de acordo com modelos de conferências e submissão por meio de outro portal. Cada fronteira entre ferramentas exige uma mudança de contexto, uma conversão de formato ou uma etapa manual de copiar e colar, e o custo acumulado domina o tempo que os pesquisadores gastam em atividades que não são pesquisa. Apresentamos o Bibby AI, uma plataforma nativa do editor que condensa essa cadeia de ferramentas em um único pipeline Pesquisar-Escrever-Publicar construído em torno de um editor LaTeX em nuvem. Diferentemente de assistentes que se acoplam a um editor existente por meio de uma extensão de navegador, o Bibby AI possui o estado completo do documento, o pipeline de compilação e o histórico de revisões, o que permite que seus agentes realizem inserção de citações baseada em recuperação, edições estruturais e reformatação conforme modelos como operações verificáveis de primeira classe, em vez de sugestões de texto. A plataforma integra (i) pipelines de ingestão que convertem PDF, DOCX e matemática manuscrita em LaTeX limpo; (ii) uma camada de recuperação sobre metadados acadêmicos enriquecida com sinais de citação entre patentes e artigos derivados do USPTO PatentsView e do corpus de citações Marx-Fuegi, revelando o impacto translacional de referências candidatas; e (iii) agentes com escopo de tarefa para triagem de literatura, redação, revisão e formatação de acordo com o veículo de publicação, que operam diretamente na representação de sintaxe abstrata do documento. O Bibby AI está implantado em produção e atende mais de 5.000 pesquisadores ativos em mais de 50 universidades subscritoras. Descrevemos a arquitetura, as decisões de projeto que a natureza nativa do editor possibilita e o framework de economia de tempo no nível do fluxo de trabalho que utilizamos para avaliar a plataforma em comparação com linhas de base fragmentadas.
Apresentamos o RuleChef, um arcabouço que utiliza modelos de linguagem de grande escala (LLMs) para gerar regras executáveis para tarefas de PLN, como classificação de texto, reconhecimento de entidades nomeadas (NER) ou extração de relações. As regras são geradas com base em uma descrição da tarefa e em um conjunto de exemplos rotulados, sendo então aperfeiçoadas iterativamente tanto com base em exemplos adicionais quanto em feedback humano sobre as regras existentes. O RuleChef também pode ser utilizado para inicializar regras a partir dos pares entrada-saída observados de qualquer modelo existente para uma dada tarefa. Os LLMs são empregados apenas no momento do aprendizado, sintetizando regras e corrigindo-as iterativamente com base em falhas medidas em uma divisão de validação retida. O resultado desse processo é um sistema de regras rápido, determinístico e inspecionável. Uma avaliação preliminar é realizada em tarefas de classificação e NER. Disponibilizamos o RuleChef como software de código aberto sob licença Apache 2.0.
A geração de cenas 3D condicionada por geometria possibilita a criação de ambientes tridimensionais a partir de geometrias fornecidas pelo usuário, oferecendo controle direto sobre a estrutura da cena e o layout dos objetos. Para gerar tais cenas 3D, os métodos atuais comumente adotam um design em três etapas: primeiro definem uma programação de vistas, depois sintetizam observações multivista ao longo das vistas programadas e, por fim, reconstroem uma representação 3D a partir das imagens geradas. No entanto, definir a programação de vistas torna-se um gargalo significativo para cenas externas, onde geometrias amplas, não estruturadas e ilimitadas dificultam a obtenção de vistas que ofereçam cobertura suficiente enquanto suportam uma geração estável. Para resolver esse gargalo, apresentamos o SceneFrom3D, uma estrutura que programa automaticamente vistas a partir de geometrias de entrada externas. O SceneFrom3D constrói um grafo direcionado de geração cujos nós representam vistas âncora e cujas arestas representam trajetórias de interpolação, definindo quais vistas sintetizar, quais pares de vistas interpolar e em qual ordem a geração deve prosseguir. Além da programação automática de vistas, o SceneFrom3D melhora ainda mais a controlabilidade por meio do condicionamento ao nível de objeto, atribuindo a cada objeto uma imagem de identidade para orientação de aparência e um parâmetro de aderência geométrica para controle regional sobre a geometria de entrada. Experimentos demonstram que o SceneFrom3D alcança o estado da arte em geração de cenas 3D externas condicionadas por geometria, produzindo cenas de alta qualidade com aparência de objetos e aderência geométrica controláveis.
Navegação incorporada visa construir agentes que interpretam objetivos multimodais, raciocinam em espaço 3D e alcançam destinos de forma confiável no mundo real. No entanto, o progresso permanece limitado pela falta de ambientes interativos escaláveis, de alta fidelidade e fisicamente fundamentados. Embora conjuntos de dados escaneados do mundo real ofereçam realismo visual, são limitados em escala. Em contraste, simuladores sintéticos são mais facilmente escaláveis, mas frequentemente apresentam grandes lacunas sim-para-real. Apresentamos o Image2Sim, uma estrutura de simulação neural em tempo real que constrói ambientes interativos de alta qualidade a partir de sequências de imagens RGB-D com pose. A ideia central é desacoplar a ancoragem espacial 3D da síntese de observações fotorrealistas. Para a construção da cena, o Image2Sim utiliza um modelo Gaussiano de características feed-forward que eleva observações RGB-D com pose para uma representação Gaussiana de características 3D em uma única passagem. Para a renderização, propomos um modelo de Fluxo de Pixel de Uma Etapa com Ciência Geométrica que transforma projeções Gaussianas esparsas e ruidosas em observações RGB-D panorâmicas de alta qualidade. O Image2Sim também serve como um mecanismo de dados incorporado totalmente automatizado que gera observações de alta fidelidade, ações executáveis e instruções de navegação diversas em escala. Ele converte grandes coleções de vídeos e imagens em quase 20 mil cenas interativas e sintetiza mais de 10 milhões de amostras de treinamento de navegação. Modelos de navegação treinados inteiramente nesses ambientes neurais alcançam melhorias significativas nos principais benchmarks e transferem-se efetivamente para configurações zero-shot no mundo real. Esses resultados sugerem que a simulação neural escalável pode servir como um substrato prático de treinamento para navegação incorporada em larga escala.
Recentemente, as Arquiteturas Preditivas de Incorporação Conjunta (JEPAs) têm atraído atenção significativa nas comunidades de visão computacional e aprendizado de máquina como um framework promissor para aprendizado de representação auto-supervisionado. Diferentemente dos autoencoders mascarados que reconstroem pixels, os modelos JEPA aprendem representações prevendo as incorporações latentes de regiões mascaradas. Métodos baseados em JEPA existentes, como I-JEPA e V-JEPA, tipicamente empregam um único codificador na rede estudante. Em contraste, o uso de codificadores siameses para a rede estudante é mais naturalmente alinhado com frameworks de aprendizado de representação inspirados no cérebro, porém seu papel em modelos JEPA permanece amplamente inexplorado. Neste artigo, investigamos o efeito dos codificadores estudantes siameses no aprendizado de representação baseado em JEPA. Para este fim, propomos o SiamJEPA, codificadores estudantes siameses mascarados equipados com uma rede professora de média móvel exponencial (MME). O SiamJEPA também pode ser visto como uma formulação JEPA do modelo de aprendizado de representação inspirado no cérebro PhiNet. Por meio de experimentos extensivos de sondagem linear no ImageNet, demonstramos que codificadores siameses atuam como um regularizador eficaz para o objetivo JEPA, melhorando a separabilidade das representações e acelerando o aprendizado durante as fases iniciais do treinamento. Além disso, o SiamJEPA supera consistentemente variantes JEPA comparáveis de codificador único sob orçamentos de treinamento limitados e atinge uma precisão de sondagem linear maior do que os Autoencoders Mascarados (MAE), que exigem treinamento mais longo. Nossos achados revelam que codificadores estudantes siameses não são meramente uma escolha arquitetural, mas constituem um viés indutivo importante para o aprendizado preditivo de representação. Esses resultados fornecem novos insights sobre o design de modelos baseados em JEPA e sugerem que a incorporação de arquiteturas estudantes siamesas oferece uma abordagem simples, porém eficaz, para melhorar o aprendizado de representação auto-supervisionado.
Modelos de Áudio-Linguagem de Grande Porte (LALMs) estão cada vez mais integrados em aplicações cotidianas, porém seus vieses generativos ainda são pouco explorados. Os benchmarks existentes de imparcialidade de fala dependem de fala sintética e Perguntas de Múltipla Escolha (MCQs), ambos oferecendo uma visão fragmentada da imparcialidade. Propomos o VIBE, uma estrutura que avalia o viés generativo por meio de tarefas abertas, como recomendações personalizadas, utilizando fala gravada por humanos. Diferentemente das MCQs, nosso método permite que associações estereotípicas se manifestem organicamente sem opções predefinidas, tornando-se facilmente extensível a novas tarefas. A avaliação de 12 LALMs estado da arte revela vieses sistemáticos em cenários realistas. Tanto os sinais de gênero quanto de sotaque provocam mudanças distribucionais estatisticamente significativas, e a magnitude do viés é fortemente dependente da tarefa.