Artigos de pesquisa em IA selecionados diariamente com traduções
A aceleração baseada em destilação tornou-se fundamental para tornar práticos os modelos de difusão de vídeo em streaming autoregressivos, sendo a destilação por correspondência de distribuição (DMD) a escolha padrão. No entanto, os métodos existentes treinam o aluno para corresponder à saída do professor indiscriminadamente, tratando cada rollout, frame e pixel como supervisão igualmente confiável. Argumentamos que isso limita a qualidade destilada, pois ignora dois eixos complementares de variância na supervisão DMD: a Confiabilidade-Inter entre rollouts do aluno, cuja supervisão varia em confiabilidade, e a Perplexidade-Intra entre regiões espaciais e frames temporais que contribuem desigualmente para onde a qualidade ainda pode ser melhorada. O objetivo, portanto, confunde duas questões sob um peso uniforme: se aprender com cada rollout e onde concentrar a otimização dentro dele. Para resolver isso, propomos o Stream-R1, uma estrutura de Destilação por Recompensa com Consciência de Confiabilidade-Perplexidade que repondera adaptativamente o objetivo de destilação tanto em nível de rollout quanto em nível de elemento espaço-temporal através de um único mecanismo compartilhado guiado por recompensa. No nível de Confiabilidade-Inter, o Stream-R1 redimensiona a perda de cada rollout por um exponencial de uma pontuação de recompensa de vídeo pré-treinada, para que rollouts com supervisão confiável dominem a otimização. No nível de Perplexidade-Intra, ele retropropaga o mesmo modelo de recompensa para extrair saliência de gradiente por pixel, que é fatorada em pesos espaciais e temporais que concentram a pressão de otimização em regiões e frames onde o refinamento produz o maior ganho esperado. Um mecanismo de balanceamento adaptativo impede que qualquer eixo de qualidade único domine entre qualidade visual, qualidade de movimento e alinhamento textual. O Stream-R1 atinge melhorias consistentes em todas as três dimensões em relação às linhas de base de destilação em benchmarks padrão de geração de vídeo em streaming, sem modificação arquitetural ou custo de inferência adicional.
Embora o Test-Time Scaling (TTS) ofereça uma direção promissora para aprimorar a geração de vídeo sem os custos crescentes do treinamento, os métodos atuais de geração de vídeo em tempo de teste baseados em modelos de difusão sofrem com custos exorbitantes de exploração de candidatos e carecem de orientação temporal. Para enfrentar esses gargalos estruturais, propomos mudar o foco para a geração de vídeo em *streaming*. Identificamos que sua síntese em nível de *chunk* e poucas etapas de desruído são intrinsecamente adequadas para o TTS, reduzindo significativamente a sobrecarga computacional enquanto permitem um controle temporal refinado. Motivados por esta percepção, introduzimos o Stream-T1, um pioneiro e abrangente framework de TTS exclusivamente adaptado para a geração de vídeo em *streaming*. Especificamente, o Stream-T1 é composto por três unidades: (1) **Propagação de Ruído em Escala de *Stream***, que refina ativamente o ruído latente inicial do *chunk* em geração utilizando o ruído do *chunk* anterior historicamente comprovado e de alta qualidade, estabelecendo efetivamente a dependência temporal e utilizando o prior gaussiano histórico para orientar a geração atual; (2) **Poda por Recompensa em Escala de *Stream***, que avalia de forma abrangente os candidatos gerados para encontrar um equilíbrio ideal entre a estética espacial local e a coerência temporal global, integrando avaliações imediatas de curto prazo com avaliações de longo prazo baseadas em janela deslizante; (3) **Descarte de Memória em Escala de *Stream***, que encaminha dinamicamente o contexto expulso do *KV-cache* para diferentes caminhos de atualização guiados pelo *feedback* de recompensa, garantindo que as informações visuais previamente geradas ancoram e orientem efetivamente o fluxo de vídeo subsequente. Avaliado em *benchmarks* abrangentes de vídeo de 5s e 30s, o Stream-T1 demonstra uma superioridade notável, melhorando significativamente a consistência temporal, a suavidade do movimento e a qualidade visual a nível de *frame*.
Embora os modelos Visão-Linguagem-Ação (VLAs) tenham demonstrado progressos notáveis em direção a políticas robóticas generalistas semelhantes às humanas por meio da inteligência versátil (isto é, compreensão ampla de cenas e generalização condicionada por linguagem) herdada de modelos de visão e linguagem pré-treinados, eles ainda lutam com tarefas complexas do mundo real que exigem capacidades funcionais mais amplas (por exemplo, consciência de movimento, tomada de decisão consciente da memória e sensoriamento físico). Para resolver isso, introduzimos o RLDX-1, uma política robótica de propósito geral para manipulação hábil construída sobre o Transformador de Ação Multi-Fluxo (MSAT), uma arquitetura que unifica essas capacidades integrando modalidades heterogêneas por meio de fluxos específicos por modalidade com auto-atenção conjunta cross-modal. O RLDX-1 combina ainda mais essa arquitetura com escolhas de design em nível de sistema, incluindo a síntese de dados de treinamento para cenários raros de manipulação, procedimentos de aprendizagem especializados para manipulação semelhante à humana e otimizações de inferência para implantação em tempo real. Por meio de avaliação empírica, mostramos que o RLDX-1 supera consistentemente VLAs de ponta recentes (por exemplo, π_{0,5} e GR00T N1.6) tanto em benchmarks de simulação quanto em tarefas do mundo real que exigem capacidades funcionais amplas além da versatilidade geral. Em particular, o RLDX-1 mostra superioridade nas tarefas humanoides ALLEX ao atingir taxas de sucesso de 86,8%, enquanto π_{0,5} e GR00T N1.6 atingem cerca de 40%, destacando a capacidade do RLDX-1 de controlar um robô humanoide de alto GDL sob diversas demandas funcionais. Juntos, esses resultados posicionam o RLDX-1 como um passo promissor em direção a VLAs confiáveis para manipulação hábil complexa, rica em contato e dinâmica no mundo real.
A busca profunda tornou-se uma capacidade crucial para agentes multimodais de fronteira, permitindo que os modelos resolvam questões complexas através de busca ativa, verificação de evidências e raciocínio em múltiplas etapas. Apesar do rápido progresso, os principais agentes de busca multimodal ainda são difíceis de reproduzir, em grande parte devido à ausência de dados de treinamento abertos de alta qualidade, pipelines transparentes de síntese de trajetórias ou receitas de treinamento detalhadas. Para isso, introduzimos o OpenSearch-VL, uma receita totalmente de código aberto para treinar agentes de busca profunda multimodal de fronteira com aprendizagem por reforço agentiva. Primeiro, criamos um pipeline dedicado para construir dados de treinamento de alta qualidade através de amostragem de caminhos da Wikipedia, reescrita difusa de entidades e aterramento visual de fonte-âncora, o que reduz conjuntamente atalhos e o colapso de recuperação em uma etapa. Com base neste pipeline, criamos dois conjuntos de dados de treinamento: SearchVL-SFT-36k para SFT e SearchVL-RL-8k para RL. Além disso, projetamos um ambiente de ferramentas diversificado que unifica busca de texto, busca de imagem, OCR, recorte, nitidez, super-resolução e correção de perspectiva, permitindo que os agentes combinem perceção ativa com a aquisição de conhecimento externo. Finalmente, propomos um algoritmo de treinamento GRPO fatal-aware multi-turn que lida com falhas em cascata de ferramentas, mascarando tokens pós-falha, enquanto preserva o raciocínio útil pré-falha através de uma fixação unilateral de vantagem. Construído sobre esta receita, o OpenSearch-VL oferece ganhos substanciais de desempenho, com melhorias médias superiores a 10 pontos em sete benchmarks, e alcança resultados comparáveis a modelos comerciais proprietários em várias tarefas. Liberaremos todos os dados, códigos e modelos para apoiar a pesquisa aberta em agentes de busca profunda multimodal.
Os modelos de mundo de condução representam uma tecnologia fundamental para a condução autónoma, simulando a dinâmica ambiental. No entanto, as abordagens existentes focam-se predominantemente na geração de cenários futuros, frequentemente negligenciando uma compreensão abrangente da cena 3D. Por outro lado, embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades de raciocínio impressionantes, carecem da capacidade de prever a evolução geométrica futura, criando uma disparidade significativa entre a interpretação semântica e a simulação física. Para colmatar esta lacuna, propomos o HERMES++, um modelo de mundo de condução unificado que integra a compreensão de cenas 3D e a previsão de geometria futura num único framework. A nossa abordagem resolve os requisitos distintos destas tarefas através de designs sinérgicos. Primeiro, uma representação BEV consolida informações espaciais multi-vista numa estrutura compatível com LLMs. Segundo, introduzimos consultas de mundo aprimoradas por LLM para facilitar a transferência de conhecimento do ramo de compreensão. Terceiro, é concebida uma Ligação Presente-Futuro para ultrapassar o hiato temporal, condicionando a evolução geométrica ao contexto semântico. Finalmente, para garantir a integridade estrutural, empregamos uma estratégia de Otimização Geométrica Conjunta que integra restrições geométricas explícitas com regularização latente implícita para alinhar as representações internas com *priors* conscientes da geometria. Avaliações extensivas em múltiplos *benchmarks* validam a eficácia do nosso método. O HERMES++ atinge um desempenho robusto, superando abordagens especializadas tanto na previsão de nuvens de pontos futuras como em tarefas de compreensão de cenas 3D. O modelo e o código serão disponibilizados publicamente em https://github.com/H-EmbodVis/HERMESV2.
A síntese de recursos 3D fundamentados na física é um gargalo crítico para mundos virtuais interativos e para a IA incorporada. Os métodos existentes concentram-se predominantemente na geometria estática, negligenciando as propriedades funcionais essenciais para a interação. Propomos que a geração de recursos interativos deve estar enraizada na lógica funcional e na física hierárquica. Para colmatar esta lacuna, introduzimos o PhysForge, uma arquitetura desacoplada de dois estágios suportada pelo PhysDB, um conjunto de dados em larga escala com 150.000 recursos e anotações físicas de quatro níveis. Primeiro, um Modelo de Linguagem Visual (VLM) atua como um "arquiteto físico" para planear um "Projeto Físico Hierárquico" que define restrições de material, funcionais e cinemáticas. Em segundo lugar, um modelo de difusão fundamentado na física concretiza este projeto, sintetizando uma geometria de alta fidelidade juntamente com parâmetros cinemáticos precisos através de um novo mecanismo de Injeção de KineVoxel (KVI). Experiências demonstram que o PhysForge produz recursos funcionalmente plausíveis e prontos para simulação, fornecendo um motor de dados robusto para conteúdo 3D interativo e agentes incorporados.
A recuperação intensiva em raciocínio visa encontrar evidências que sustentem o raciocínio subsequente, em vez de apenas corresponder à similaridade temática. Essa capacidade é cada vez mais importante para sistemas de busca agentivos, nos quais os recuperadores devem fornecer evidências complementares ao longo de buscas e sínteses iterativas. No entanto, o trabalho existente ainda é limitado tanto na avaliação quanto no treinamento: benchmarks como o BRIGHT fornecem conjuntos de ouro restritos e avaliam os recuperadores de forma isolada, enquanto corpora sintéticos de treinamento frequentemente otimizam a relevância de passagem única em vez da construção de um portfólio de evidências. Apresentamos o BRIGHT-Pro, um benchmark anotado por especialistas que expande cada consulta com evidências de ouro multi-aspectos e avalia os recuperadores sob protocolos de busca estáticos e agentivos. Além disso, construímos o RTriever-Synth, um corpus sintético decomposto por aspectos que gera positivos complementares e negativos difíceis condicionados a positivos, e o utilizamos para ajustar via LoRA o RTriever-4B, derivado do Qwen3-Embedding-4B. Experimentos com recuperadores léxicos, de propósito geral e intensivos em raciocínio mostram que a avaliação consciente dos aspectos e agentiva revela comportamentos ocultos pelas métricas padrão, enquanto o RTriever-4B melhora substancialmente seu modelo base.
O cenário dos modelos de geração de imagens de alto desempenho está atualmente a mudar dos ineficientes modelos multi-etapa para as suas contrapartes eficientes de poucas etapas (por exemplo, Z-Image-Turbo e FLUX.2-klein). No entanto, estes modelos apresentam desafios significativos para o ajuste fino supervisionado diretamente contínuo. Por exemplo, a aplicação da técnica de ajuste fino comumente utilizada compromete a sua capacidade inerente de inferência em poucas etapas. Para resolver isto, propomos o D-OPSD, um novo paradigma de treino para modelos de difusão com destilação de etapas que permite a aprendizagem *on-policy* durante o ajuste fino supervisionado. Primeiro, descobrimos que o modelo de difusão moderno, no qual o LLM/VLM funciona como codificador, pode herdar as capacidades *in-context* do seu codificador. Isto permite-nos transformar o treino num processo de auto-destilação *on-policy*. Especificamente, durante o treino, fazemos com que o modelo atue simultaneamente como professor e aluno com contextos diferentes: o aluno é condicionado apenas pela característica de texto, enquanto o professor é condicionado pela característica multimodal do *prompt* de texto e da imagem alvo. O treino minimiza as duas distribuições previstas sobre as próprias *roll-outs* do aluno. Ao ser otimizado na trajetória própria do modelo e sob a sua própria supervisão, o D-OPSD permite ao modelo aprender novos conceitos, estilos, etc., sem sacrificar a capacidade original de poucas etapas.
A edição de vídeo evoluiu para paradigmas de Aprendizado em Contexto (ICL), mas os custos quadráticos de atenção resultantes criam um gargalo computacional crítico. Neste trabalho, propomos a Atenção Esparsa em Contexto (ISA), o primeiro framework esparso empírico quase sem perdas adaptado para edição de vídeo ICL. Nosso projeto é baseado em dois insights principais: primeiro, os tokens de contexto exibem saliência significativamente menor do que os tokens de origem; segundo, provamos teoricamente e validamos empiricamente que a nitidez da Consulta (Query) correlaciona-se com o erro de aproximação. Motivados por essas descobertas, a ISA implementa uma estratégia de pré-seleção eficiente para podar o contexto redundante, seguida por um mecanismo de agrupamento dinâmico de consultas que direciona consultas de alto erro para atenção completa e consultas de baixo erro para uma atenção esparsa de Taylor de ordem zero computacionalmente eficiente. Além disso, construímos o \texttt{LIVEditor}, um novo modelo de edição de vídeo relâmpago via ISA e um pipeline de dados de edição de vídeo proposto que curou um conjunto de dados de alta qualidade com 1,7 milhão de instâncias. Experimentos extensivos demonstram que o LIVEditor alcança uma redução de ~60% na latência do módulo de atenção, superando os métodos state-of-the-art no EditVerseBench, IVE-Bench e VIE-Bench, oferecendo aceleração quase sem perdas sem comprometer a fidelidade visual.
Apresentamos o JoyAI-Image, um modelo de base multimodal unificado para compreensão visual, geração de imagens a partir de texto e edição de imagens guiada por instruções. O JoyAI-Image acopla um Modelo de Linguagem Grande Multimodal (MLLM) espacialmente aprimorado com um Transformer de Difusão Multimodal (MMDiT), permitindo que a perceção e a geração interajam através de uma interface multimodal partilhada. Em torno desta arquitetura, construímos uma receita de treino escalável que combina *fine-tuning* unificado por instruções, supervisão de renderização de texto longo, dados com fundamentação espacial e sinais de edição gerais e espaciais. Este projeto confere ao modelo uma ampla capacidade multimodal, ao mesmo tempo que reforça o raciocínio com consciência geométrica e a síntese visual controlável. Experiências em benchmarks de compreensão, geração, renderização de texto longo e edição mostram que o JoyAI-Image atinge um desempenho de última geração ou altamente competitivo. Mais importante ainda, o ciclo bidirecional entre a compreensão aprimorada, a edição espacial controlável e o raciocínio assistido por novas perspetivas permite que o modelo vá além da competência visual geral em direção a uma inteligência espacial mais forte. Estes resultados sugerem um caminho promissor para modelos visuais unificados em aplicações a jusante, como sistemas visão-linguagem-ação e modelos do mundo.
Os recentes avanços nos modelos de linguagem multimodal (MLLMs) têm elevado as capacidades da IA do processamento estático de dados offline para a interação em tempo real com fluxo contínuo, embora ainda estejam muito aquém da interação multimodal em nível humano. Os principais gargalos já não são apenas a cobertura de modalidades ou a latência, mas sim o próprio paradigma de interação. Primeiro, a percepção e a resposta ainda estão separadas em fases alternadas, impedindo que os modelos incorporem novos inputs para ajustes oportunos durante a geração. Segundo, a maioria dos modelos atuais permanece reativa, respondendo apenas a solicitações explícitas do usuário em vez de agir proativamente no ambiente multimodal em evolução. Apresentamos o MiniCPM-o 4.5, nosso mais recente esforço rumo à interação multimodal semelhante à humana, que mitiga essas lacunas por meio da interação omni-modal full-duplex em tempo real. Ele pode ver, ouvir e falar simultaneamente em tempo real, além de exibir comportamentos proativos, como emitir lembretes ou comentários com base em sua compreensão contínua da cena ao vivo. A técnica-chave por trás do MiniCPM-o 4.5 é o Omni-Flow, uma estrutura de fluxo unificada que alinha inputs e outputs omni-modais ao longo de um eixo temporal compartilhado. Esta formulação converte a interação convencional baseada em turnos em um processo full-duplex e temporalmente alinhado, permitindo percepção e resposta simultâneas e possibilitando que comportamentos proativos surjam dentro da mesma estrutura. Com um total de 9 bilhões de parâmetros, o MiniCPM-o 4.5 aproxima-se do Gemini 2.5 Flash em capacidades visão-linguagem, oferecendo desempenho de última geração em código aberto para a sua escala. Ele também supera o Qwen3-Omni-30B-A3B em compreensão omni-modal e oferece melhor geração de fala, com eficiência computacional significativamente maior. Impulsionado pelo seu design de arquitetura eficiente e otimização de inferência, o modelo pode executar interação omni-modal full-duplex em tempo real em dispositivos de borda com custo de RAM inferior a 12 GB.
Estimar quão bem uma pessoa executa uma ação, em vez de determinar qual ação é realizada, é fundamental para o treinamento, reabilitação e identificação de talentos. Esta tarefa é desafiadora porque a proficiência é codificada em diferenças sutis de temporização, equilíbrio, biomecânica e execução, frequentemente distribuídas por múltiplos ângulos de visão e eventos temporais curtos. Discutimos três contribuições recentes para a estimativa de proficiência multi-visão no Ego-Exo4D. O SkillFormer introduz uma arquitetura discriminativa com eficiência de parâmetros para fusão seletiva multi-visão; o PATS melhora a amostragem temporal ao preservar trechos localmente densos de movimentos fundamentais; e o ProfVLM reformula a estimativa de proficiência como uma geração de linguagem condicional, produzindo tanto uma classificação de proficiência quanto um feedback no estilo de um especialista através de um projetor cruzado com gate e um backbone de linguagem compacto. Juntos, esses métodos alcançam precisão de última geração no Ego-Exo4D com até 20 vezes menos parâmetros treináveis e até 3 vezes menos épocas de treinamento do que os baselines baseados em video-transformers, enquanto evoluem da classificação de conjunto fechado para a geração de feedback interpretável. Esses resultados destacam uma mudança em direção a sistemas multi-visão eficientes que combinam fusão seletiva, amostragem consciente da proficiência e feedback generativo acionável.
O Reforço de Aprendizagem com Recompensas Verificáveis (RLVR) aprimora o raciocínio dos Grandes Modelos de Linguagem (LLMs), mas geralmente exibe diversidade limitada de geração devido ao excesso de incentivo a recompensas positivas. Embora métodos como o Reforço por Amostras Negativas (NSR) mitiguem esse problema ao aumentar o peso das penalidades de amostras negativas, eles podem suprimir as distribuições semânticas compartilhadas entre respostas positivas e negativas. Para impulsionar a capacidade de raciocínio sem perder diversidade, este artigo propõe o Reforço de Aprendizagem Residual por Projeção de Amostras Negativas (ResRL), que desacopla distribuições semânticas similares entre respostas positivas e negativas. Nós relacionamos teoricamente o Deslocamento de Verossimilhança Preguiçoso (LLD) à interferência do gradiente principal negativo-positivo e derivamos um *proxy* de única passagem que limita superiormente o alinhamento de representação para orientar a reamostragem conservadora de vantagem. O ResRL então projeta as representações ocultas de *tokens* negativos em um subespaço positivo de baixo *rank* baseado em SVD e usa os resíduos de projeção para modular os gradientes negativos, melhorando o raciocínio enquanto preserva a diversidade e superando *baselines* fortes em média em doze *benchmarks* abrangendo Matemática, Código, Tarefas de Agente e Chamada de Função. Notavelmente, o ResRL supera o NSR no raciocínio matemático em 9,4% no Avg@16 e 7,0% no Pass@128. O código está disponível em https://github.com/1229095296/ResRL.git.
A previsão da popularidade musical tem atraído crescente interesse de pesquisa, com relevância para artistas, plataformas e sistemas de recomendação. No entanto, a explosão de plataformas de música gerada por IA criou um cenário totalmente novo e largamente inexplorado, onde uma enxurrada de músicas é produzida e consumida diariamente sem os marcadores tradicionais de reputação do artista ou apoio de gravadoras. Um aspeto crucial, mas ainda não explorado nesta busca, é a qualidade estética. Propomos o APEX, a primeira estrutura de aprendizagem multi-tarefa em larga escala para música gerada por IA, treinada em mais de 211 mil músicas (10 mil horas de áudio) do Suno e Udio, que prevê conjuntamente sinais de popularidade baseados no envolvimento - pontuações de transmissões e 'gostos' - juntamente com cinco dimensões de qualidade estética perceptual, a partir de *embeddings* de áudio congelados extraídos do MERT, um modelo de compreensão musical auto-supervisionado. A qualidade estética e a popularidade capturam aspetos complementares da música que, em conjunto, se mostram valiosos: numa avaliação com dados fora da distribuição (*out-of-distribution*) no conjunto de dados Music Arena, que compreende 'batalhas' de preferência humana em pares através de onze sistemas de música generativa não vistos durante o treino, a inclusão de características estéticas melhora consistentemente a previsão de preferência, demonstrando uma forte generalização das representações aprendidas através de arquiteturas generativas.
**Contexto:** As competências de agentes estão cada vez mais sendo implantadas como unidades modulares e reutilizáveis de capacidade em sistemas de agentes de IA. As competências de agentes de pesquisa médica exigem salvaguardas além da avaliação de propósito geral, incluindo integridade científica, validade metodológica, reprodutibilidade e segurança de limites. Este estudo desenvolveu e avaliou preliminarmente uma estrutura de auditoria específica do domínio para competências de agentes de pesquisa médica, com foco na confiabilidade em comparação com a revisão por especialistas. **Métodos:** Desenvolvemos o MedSkillAudit (skill-auditor@1.0), uma estrutura em camadas que avalia a prontidão para liberação de competências antes da implantação. Avaliamos 75 competências em cinco categorias de pesquisa médica (15 por categoria). Dois especialistas atribuíram independentemente uma pontuação de qualidade (0-100), uma disposição ordinal de liberação (Pronto para Produção / Liberação Limitada / Apenas Beta / Rejeitar) e um sinalizador de falha de alto risco. A concordância sistema-especialista foi quantificada usando ICC(2,1) e kappa de Cohen ponderado linearmente, comparada com a linha de base de concordância interavaliadores humana. **Resultados:** A pontuação média de qualidade por consenso foi de 72,4 (DP = 13,0); 57,3% das competências ficaram abaixo do limiar de Liberação Limitada. O MedSkillAudit alcançou ICC(2,1) = 0,449 (IC 95%: 0,250-0,610), excedendo o ICC interavaliadores humano de 0,300. A divergência sistema-consenso (DP = 9,5) foi menor do que a divergência inter-especialistas (DP = 12,4), sem viés direcional (Wilcoxon p = 0,613). O Design de Protocolo apresentou a concordância mais forte a nível de categoria (ICC = 0,551); a Redação Acadêmica apresentou um ICC negativo (-0,567), refletindo um desajuste estrutural entre a rubrica e os especialistas. **Conclusões:** A auditoria específica do domínio antes da implantação pode fornecer uma base prática para governar as competências de agentes de pesquisa médica, complementando as verificações de qualidade de propósito geral com fluxos de trabalho de auditoria estruturados adaptados aos casos de uso científicos.
O surgimento de plataformas de "codificação por vibração" (vibe coding), nas quais os utilizadores descrevem aplicações em linguagem natural e agentes de IA geram software full-stack de forma autónoma, criou a necessidade de uma avaliação rigorosa para além dos benchmarks a nível de código. Para as avaliar como agências virtuais de desenvolvimento de software na compreensão de requisitos de negócio, tomada de decisões de arquitetura, escrita de código de produção, gestão de modificações iterativas e manutenção da prontidão para negócio, introduzimos o SWE-WebDev Bench, um framework de avaliação com 68 métricas, abrangendo 25 métricas primárias e 43 métricas de diagnóstico, organizado em sete grupos e ao longo de três dimensões: Modo de Interação (Pedido de Criação de Aplicação (ACR) vs. Pedido de Modificação de Aplicação (AMR)), Ângulo da Agência (Gestor de Produto (PM), Engenharia, Operações) e Nível de Complexidade (T4 SaaS multi-função, T5 AI-native). A nossa avaliação (seis plataformas, três domínios, 18 células de avaliação) revela quatro deficiências recorrentes na geração atual de construtores de aplicações de IA: (1) Um estrangulamento na especificação, onde as plataformas comprimem requisitos de negócio ricos em planos técnicos excessivamente simplificados, (2) Um desacoplamento generalizado entre frontend e backend, onde IU visualmente polidas mascaravam infraestruturas de backend ausentes ou defeituosas, (3) Um declive acentuado de prontidão para produção, onde nenhuma plataforma pontuou acima de 60% na qualidade de engenharia e o esforço humano pós-geração variou substancialmente entre plataformas, e (4) Falhas generalizadas de segurança e infraestrutura, com nenhuma plataforma a exceder 65% no Score de Segurança face a uma meta de 90% e uma capacidade de gestão de concorrência tão baixa quanto 6%. Estas observações são descritivas da nossa amostra e requerem replicação em maior escala para estabelecer generalidade. Disponibilizamos o SWE-WebDev Bench como um benchmark comunitário para permitir tal replicação e ajudar os construtores de plataformas a identificar e colmatar estas lacunas. O código e os recursos do benchmark estão disponíveis em: https://github.com/snowmountainAi/webdevbench e https://webdevbench.com/.
Os modelos de difusão são treinados principalmente para síntese de imagens, mas suas trajetórias de remoção de ruído codificam priors visuais ricos e espacialmente alinhados. Neste artigo, demonstramos que esses priors podem ser utilizados para segmentação semântica e de vocabulário aberto com condicionamento textual, e que esta abordagem pode ser generalizada para várias tarefas subsequentes para criar uma estrutura de segmentação por difusão de propósito geral. Concretamente, introduzimos o DiGSeg (Modelos de Difusão como um Segmentador Generalista), que reaproveita um modelo de difusão pré-treinado em uma estrutura de segmentação unificada. Nossa abordagem codifica a imagem de entrada e a máscara de verdade terrestre no espaço latente e as concatena como sinais de condicionamento para a U-Net de difusão. Um caminho de texto paralelo alinhado com CLIP injeta características linguísticas em múltiplas escalas, permitindo que o modelo alinhe consultas textuais com representações visuais em evolução. Este design transforma um backbone de difusão pronto para uso em uma interface universal que produz máscaras de segmentação estruturadas condicionadas tanto pela aparência quanto por prompts textuais arbitrários. Experimentos extensivos demonstram desempenho state-of-the-art em benchmarks padrão de segmentação semântica, bem como forte generalização de vocabulário aberto e transferência cross-domain para cenários médicos, de sensoriamento remoto e agrícolas - sem customização arquitetônica específica de domínio. Estes resultados indicam que os backbones de difusão modernos podem servir como segmentadores generalistas em vez de meros geradores, estreitando a lacuna entre geração visual e compreensão visual.
A autoconsistência detecta alucinações gerando múltiplas respostas amostradas para uma pergunta e medindo o acordo, mas isso requer decodificação repetida e pode ser sensível a variações lexicais. A autoconsistência semântica melhora isso agrupando respostas amostradas por significado usando inferência em linguagem natural, mas adiciona tanto custo de amostragem quanto sobrecarga de inferência externa. Mostramos que a confiança do primeiro token, phi_first, calculada a partir da entropia normalizada dos logits top-K no primeiro token de resposta com conteúdo de uma única decodificação greedy, iguala ou supera modestamente a autoconsistência semântica em tarefas de questionamento factual de resposta curta (closed-book). Em três modelos instrucionalmente ajustados de 7-8B e dois benchmarks, phi_first alcança uma média de AUROC de 0,820, comparado com 0,793 para o acordo semântico e 0,791 para a autoconsistência padrão de forma superficial. Um teste de subsunção mostra que phi_first está moderada a fortemente correlacionada com o acordo semântico, e combinar os dois sinais produz apenas uma pequena melhoria no AUROC em relação ao uso isolado do phi_first. Esses resultados sugerem que grande parte da informação de incerteza capturada pelo acordo de múltiplas amostras já está disponível na distribuição inicial de tokens do modelo. Argumentamos que phi_first deve ser relatado como uma linha de base padrão de baixo custo antes de invocar a estimativa de incerteza baseada em amostragem.
Apresentamos o TT4D, um conjunto de dados de tênis de mesa em larga escala e alta fidelidade. Ele fornece mais de 140 horas de partidas individuais e em duplas reconstruídas a partir de vídeos de transmissão monoculares, apresentando anotações multimodais, como calibrações de câmera de alta qualidade, posições 3D precisas da bola, efeito (spin) da bola, segmentação temporal e malhas humanas 3D ao longo do tempo. Esses dados ricos fornecem uma nova base para repetição virtual, análise aprofundada de jogadores e aprendizado de robôs. A combinação de escala e precisão do conjunto de dados é alcançada por meio de um novo *pipeline* de reconstrução. Métodos anteriores primeiro particionam uma sequência de jogo em segmentos de rebatidas individuais com base no rastreamento 2D da bola, e só então tentam a reconstrução. No entanto, a segmentação temporal baseada em 2D falha sob oclusão e pontos de vista variados da câmera, impedindo uma reconstrução confiável. Invertemos esse paradigma, primeiro elevando todo o rastreamento 2D não segmentado da bola para 3D por meio de uma rede neural de elevação (*lifting network*). Esta trajetória 3D nos permite então realizar a segmentação temporal de forma confiável. A rede de elevação também infere o efeito (spin) da bola, lida com detecções de bola não confiáveis e reconstrói com sucesso a trajetória da bola em casos de alta oclusão. Este design de "elevar primeiro" é necessário, pois nosso *pipeline* é o único método capaz de reconstruir partidas de tênis de mesa a partir de vídeos monoculares de transmissão com visão geral. Demonstramos a fidelidade do conjunto de dados por meio de duas tarefas subsequentes: estimar a pose e a velocidade da raquete no momento do impacto e treinar um modelo generativo de rallies competitivos.
Em interfaces autoregressivas de fluxo único, os mesmos tokens atualizam o estado do modelo e constituem um compromisso público irreversível. Este acoplamento cria um imposto do silêncio: a deliberação adicional adia o primeiro conteúdo relevante para a tarefa, enquanto o *streaming* precoce e ingênuo arrisca compromissos prematuros que enviesam as gerações subsequentes. Introduzimos o Raciocínio Intercalado Lado a Lado (SxS), que torna o momento da divulgação uma decisão controlável dentro da geração autoregressiva padrão. O SxS intercala divulgações parciais com raciocínio privado contínuo no mesmo contexto, mas libera conteúdo apenas quando este é apoiado pelo raciocínio até então. Para aprender tal ritmo sem incentivar preenchimento, construímos trajetórias intercaladas alinhadas por entailment, correspondendo prefixos de resposta a prefixos de raciocínio de suporte, treinando depois com SFT para adquirir a semântica de ação dual e com RL para recuperar o desempenho do raciocínio no novo formato. Em duas arquiteturas/escalas Qwen3 (MoE Qwen3-30B-A3B, denso Qwen3-4B) e *benchmarks* tanto intra-domínio (AIME25) quanto extra-domínio (GPQA-Diamond), o SxS melhora os compromissos de Pareto precisão-latência de conteúdo sob proxies a nível de token, como o tempo de espera entre atualizações.
Este artigo identifica um desafio crítico e ainda pouco explorado no alinhamento do raciocínio a partir de múltiplos modelos de linguagem multimodal de grande escala (MLLMs): em ambientes não estacionários, as diversas distribuições de raciocínio dos modelos fonte frequentemente evoluem de forma imprevisível, transmitindo vieses sistemáticos e deriva (*drift*) para o modelo alvo. Para abordar esta questão, formulamos o alinhamento do raciocínio multi-fonte como um problema de satisfação de restrições sob a teoria do conceito de deriva (*concept drift*). Propomos a Otimização Autónoma de Preferências (APO), uma estrutura inovadora que trata as divergências inter-modelos não como ruído, mas como restrições negativas dinâmicas. A APO opera através de um protocolo de duas etapas: primeiro, um *bootstrapping* supervisionado projeta o modelo alvo para a união de capacidades dos modelos fonte; segundo, uma otimização consciente das restrições sintetiza uma variedade de consenso consistente, suprimindo explicitamente trajetórias de deriva através de um objetivo multi-negativo de Plackett-Luce. Experimentos extensivos na interpretação de radiografias torácicas demonstram que o nosso modelo de 7B atinge uma robustez superior, superando até mesmo modelos fonte proprietários em precisão média. Adicionalmente, disponibilizamos o CXR-MAX, um *benchmark* de larga escala que compreende 170.982 trajetórias de raciocínio de sete MLLMs de grande escala, para facilitar a investigação sobre o alinhamento do raciocínio sob deriva. O código e os dados estão disponíveis em: https://github.com/XiaoyuYoung/APO.
Sistemas robóticos que interagem com o mundo físico devem raciocinar sobre restrições cinemáticas e dinâmicas impostas por sua própria materialização, seu ambiente e a tarefa em questão. Apresentamos o KinDER, um benchmark para Raciocínio Corporificado Cinemático e Dinâmico que visa desafios de raciocínio físico emergentes no aprendizado e planejamento de robôs. O KinDER compreende 25 ambientes gerados proceduralmente, uma biblioteca Python compatível com Gymnasium contendo habilidades parametrizadas e demonstrações, e um conjunto de avaliação padronizado com 13 linhas de base implementadas abrangendo planejamento de tarefas e movimento, aprendizado por imitação, aprendizado por reforço e abordagens baseadas em modelos de fundação. Os ambientes foram projetados para isolar cinco desafios centrais de raciocínio físico: relações espaciais básicas, manipulação multiobjeto não preensil, uso de ferramentas, restrições geométricas combinatórias e restrições dinâmicas, dissociados de percepção, compreensão de linguagem e complexidade específica da aplicação. A avaliação empírica demonstra que métodos existentes têm dificuldade em resolver muitos dos ambientes, indicando lacunas substanciais nas abordagens atuais para raciocínio físico. Incluímos adicionalmente experimentos real-to-sim-to-real em um manipulador móvel para avaliar a correspondência entre a simulação e a interação física no mundo real. O KinDER é totalmente de código aberto e tem como objetivo permitir a comparação sistemática entre paradigmas diversos para o avanço do raciocínio físico na robótica. Site e código: https://prpl-group.com/kinder-site/
Os recentes avanços em grandes modelos de linguagem têm levado a um forte desempenho em tarefas de raciocínio e interação com o ambiente, mas a sua capacidade para a resolução criativa de problemas permanece pouco explorada. Estudamos esta capacidade através da lente do uso criativo de ferramentas, em que um modelo reaproveita objetos disponíveis, raciocinando sobre as suas possibilidades de ação (affordances) e atributos, em vez de depender do uso canónico. Como primeiro passo, apresentamos a CreativityBench, uma referência para avaliar a criatividade baseada em affordances em LLMs. Para tal, construímos uma base de conhecimento (KB) de larga escala sobre affordances, com 4 mil entidades e mais de 150 mil anotações, ligando explicitamente objetos, partes, atributos e utilizações acionáveis. Com base nesta KB, geramos 14 mil tarefas fundamentadas que exigem a identificação de soluções não óbvias, mas fisicamente plausíveis, sob restrições. As avaliações em 10 LLMs de última geração, incluindo modelos proprietários e de código aberto, mostram que os modelos conseguem frequentemente selecionar um objeto plausível, mas falham em identificar as partes corretas, as suas affordances e o mecanismo físico subjacente necessário para resolver a tarefa, levando a uma queda significativa no desempenho. Além disso, as melhorias provenientes do aumento da escala do modelo saturam rapidamente, um raciocínio geral forte não se traduz de forma fiável na descoberta criativa de affordances, e estratégias comuns no momento da inferência, como a Cadeia de Pensamento (Chain-of-Thought), produzem ganhos limitados. Estes resultados sugerem que o uso criativo de ferramentas permanece um grande desafio para os modelos atuais, e que a CreativityBench fornece um campo de teste útil para estudar esta dimensão em falta da inteligência, com potenciais implicações para módulos de planeamento e raciocínio em agentes futuros.