Artigos de pesquisa em IA selecionados diariamente com traduções
Embora modelos de base industrial de nível 10B tenham ampliado os limites do preenchimento de imagens, seus custos computacionais proibitivos dificultam severamente a implantação prática. Construir um especialista altamente otimizado para tarefas específicas oferece uma solução promissora; no entanto, a compressão estrutural extrema desencadeia inevitavelmente um severo gargalo de representação. Para superar isso, propomos o Moebius, um framework leve e altamente eficiente de preenchimento de imagens. Reconstruímos sistematicamente a espinha dorsal de difusão introduzindo o bloco de Interação Mista Local-λ (LλMI). Composto pelos módulos Local-λ e Interativo-λ, ele resume elegantemente contextos espaciais e priores semânticos globais em matrizes lineares de tamanho fixo, preservando interações latentes complexas enquanto reduz drasticamente os parâmetros. Além disso, para desbloquear toda a capacidade representacional desta arquitetura altamente compacta, nós a combinamos sinergicamente com uma estratégia adaptativa de destilação multi-granularidade. Operando estritamente dentro do espaço latente para evitar a cara decodificação no espaço de pixels, essa estratégia equilibra dinamicamente múltiplas perdas baseadas em gradiente para alcançar alinhamento de alta fidelidade. Extensos experimentos em benchmarks naturais e de retratos demonstram que essa sinergia ótima permite que o Moebius rivalize ou até supere a qualidade de geração do generalista industrial de nível 10B FLUX.1-Fill-Dev. Notavelmente, o Moebius consegue isso usando menos de 2% dos parâmetros (0,22B vs. 11,9B) enquanto oferece uma aceleração de mais de 15 vezes no tempo total de inferência, estabelecendo um novo padrão de eficiência para preenchimento de alta fidelidade. Página do projeto em https://hustvl.github.io/Moebius.
A interação hábil com objetos articulados é importante para a manipulação doméstica, assistiva e humanoide, onde mãos multifuncionais podem proporcionar padrões de contato complacentes além da apreensão com garras paralelas. No entanto, a manipulação de objetos articulados difere da manipulação de objetos estáticos: a parte-alvo não pode ser diretamente acionada, e seu movimento deve emergir através do contato físico sustentado entre a mão e o mecanismo de manuseio. Isso torna a transição da geração articulada centrada no objeto para a interação hábil mão–objeto acionada pela mão não trivial, uma vez que a reprodução geométrica de trajetórias ou a execução em malha aberta não modela a dinâmica de contato necessária para mover a parte articulada. Além disso, políticas treinadas apenas para a conclusão de tarefas sob dinâmicas fixas podem superajustar as cargas de contato nominais, especialmente na ausência de feedback tátil ou de força, e podem se degradar quando a carga de contato muda. Para enfrentar esses desafios, apresentamos o DragMesh-2, uma estrutura orientada por contato para interação hábil com objetos articulados que estende a interação articulada da geração centrada no objeto para a interação mão–objeto hábil acionada pela mão, onde o movimento articulado deve surgir através do contato físico. Propomos ainda o PICA, um mecanismo de treinamento fisicamente informado e ciente do contato que injeta sinais físicos no aprendizado de políticas sem feedback tátil ou de força, melhorando a robustez e o sucesso da tarefa sob cargas de contato variáveis. Finalmente, realizamos uma avaliação sistemática em múltiplas condições de amortecimento e categorias de objetos articulados para estudar a robustez sob variação da carga de contato, e fornecemos um recurso de interação hábil puramente geométrica para apoiar futuras pesquisas em locomanipulação e interação mão–objeto humanoide. Em sete objetos do GAPartNet, o DragMesh-2 alcança uma robustez mais forte sob variação da carga de contato em comparação com os métodos concorrentes, mantendo um alto sucesso na tarefa em todas as condições de amortecimento.
LiveCodeBench (LCB) tornou-se recentemente um referencial amplamente adotado para avaliar modelos de linguagem de grande escala (LLMs) em tarefas de geração de código. Ao selecionar problemas de programação competitiva, adicionar constantemente novos problemas ao conjunto e filtrá-los por datas de lançamento, o LCB fornece uma avaliação consciente de contaminação e oferece uma visão holística da capacidade de codificação. No entanto, o LCB permanece restrito ao Python, deixando em aberto a questão de saber se os LLMs conseguem generalizar entre as diversas linguagens de programação exigidas na engenharia de software do mundo real. Apresentamos o Multi-LCB, um referencial para avaliar LLMs em doze linguagens de programação, incluindo Python. O Multi-LCB transforma tarefas em Python do conjunto de dados LCB em tarefas equivalentes em outras linguagens, preservando ao mesmo tempo os controles de contaminação e o protocolo de avaliação do LCB. Por ser totalmente compatível com o formato original do LCB, o Multi-LCB acompanhará automaticamente futuras atualizações do LCB, permitindo uma avaliação sistemática da competência de geração de código multilíngue e exigindo que os modelos mantenham o desempenho muito além do Python. Avaliamos 24 LLMs para instrução e raciocínio no Multi-LCB, revelando evidências de superajuste ao Python, contaminação específica de linguagem e disparidades substanciais no desempenho multilíngue. Nossos resultados estabelecem o Multi-LCB como um novo referencial rigoroso para avaliação de código em múltiplas linguagens de programação, abordando diretamente a principal limitação do LCB e expondo lacunas críticas nas capacidades atuais dos LLMs.
Os sistemas robóticos agentes atuais podem escrever programas executáveis do tipo Código-como-Política, observar feedback e revisar o comportamento ao longo de múltiplas tentativas, mas ainda são amplamente orientados por tarefas: habilidades reutilizáveis são adquiridas apenas após instruções explícitas. Estudamos a Aprendizagem Robótica Agêntica Lúdica, na qual um agente de codificação incorporado utiliza a brincadeira autodirigida como um estágio contínuo de aprendizado de habilidades antes que tarefas posteriores cheguem. Apresentamos as RATs, Equipes de Agentes Robóticos projetadas para a aquisição de habilidades durante a brincadeira. Durante a brincadeira, as RATs propõem tarefas exploratórias novas e aprendíveis, planejam e executam políticas de código robótico, verificam o progresso intermediário, diagnosticam falhas, tentam novamente com feedback denso em nível de etapa e destilam execuções bem-sucedidas em uma biblioteca persistente de habilidades de código. No momento do teste, o agente reutiliza habilidades relevantes dessa biblioteca congelada para ajudar a resolver novas tarefas. Experimentos no LIBERO-PRO e no MolmoSpaces mostram que habilidades aprendidas por brincadeira melhoram tarefas posteriores não vistas em relação às linhas de base sem brincadeira e com brincadeira aleatória, com ganhos de 20,6 e 17,0 pontos percentuais sobre o CaP-Agent0 no LIBERO-PRO e no MolmoSpaces, respectivamente. Além disso, as habilidades aprendidas podem ser inseridas em outros agentes de Código-como-Política em tempo de inferência, simplesmente recuperando-as no contexto, melhorando a transferência para o RoboSuite e para o mundo real em 8,9 e 8,8 pontos, respectivamente, sem ajuste fino do modelo subjacente.
A inteligência espacial no mundo real exige raciocínio sobre um mundo 3D contínuo e em evolução, no entanto, os VLMs e agentes aumentados por ferramentas existentes permanecem em grande parte restritos a inferências estáticas e sem estado a partir de observações visuais isoladas. Apresentamos o \textsc{S-Agent}, um paradigma agêntico de uso de ferramentas espaciais para compreender e raciocinar sobre imagens e vídeos multi-visão contínuos. Ao formular o raciocínio espacial como acumulação de evidências espaçotemporais, em vez de previsão isolada em nível de quadro, o S-Agent remodela a percepção espacial para uma compreensão centrada na cena, além do reconhecimento centrado no quadro. Especificamente, o S-Agent posiciona o VLM como um planejador semântico que decide quais evidências são necessárias, enquanto uma hierarquia de ferramentas e especialistas espaciais ancora objetos em 2D, eleva-os para evidências geométricas 3D e agrega essas evidências em conhecimento espacial de alto nível (por exemplo, contagem, medição, orientação e posição relativa). Além disso, um mecanismo de memória temporal, incluindo a Memória de Cena para manter o estado da cena em evolução e a Memória do Agente para acumular o contexto de raciocínio, permite a integração de evidências entre quadros e etapas de raciocínio. Experimentos abrangentes em benchmarks de raciocínio espacial multi-visão e em vídeo mostram que o S-Agent melhora consistentemente tanto VLMs de código aberto quanto fechados, sem necessidade de treinamento. Além da melhoria no momento da inferência, o ajuste fino supervisionado (SFT) em trajetórias espaciais geradas pelo S-Agent, S-300K, produz o S-Agent-8B, um agente espacial compacto que supera significativamente as linhas de base de escala similar (por exemplo, Qwen3-VL-8B) e apresenta desempenho comparável a modelos avançados de código fechado (por exemplo, GPT-5.4 e Gemini 3).
Os benchmarks de agentes estão crescendo rapidamente, mas nenhum benchmark isolado abrange mais de quatro ou cinco das dimensões que a implantação expõe. Este artigo agrega o maior mergulho profundo coordenado de um benchmark de agente industrial baseado em MCP até o momento: quatorze estudos de implementação paralela cobrindo novas classes de ativos (incluindo uma extensão visual multimodal), orquestrações alternativas, estratégias de recuperação, modos de raciocínio, otimizações de infraestrutura e sondas de metodologia de avaliação. Consolidando esses estudos com sete benchmarks de agentes anteriores, argumentamos que os rankings baseados em pontuações agregadas subespecificam sistematicamente a avaliação de agentes implantados. Rankings derivados de pontuações agregadas não se transferem para configurações fora da distribuição; retrospectivas recentes de competições públicas para ocultas fornecem evidências empíricas diretas dessa instabilidade de classificação. Propomos classificar configurações por validade preditiva, a correlação entre a classificação na amostra e fora dela, em vez da média na amostra, e relatamos um aparato de medição de doze níveis que expõe as dimensões relevantes para implantação que o HELM e seus sucessores da era dos agentes colapsam. A posição é operacionalizada por meio de três critérios falsificáveis fora da distribuição com limites explícitos; as evidências existentes a apoiam parcialmente, mas são muito escassas para confirmar. Concluímos com um design piloto pré-registrado e uma visão em nível de campo sobre o que a próxima geração de benchmarks agentivos deve relatar.
Avanços em campos de radiância possibilitaram a síntese fotorealística de novas vistas. Em diversos domínios, conjuntos de dados reais em grande escala foram desenvolvidos para apoiar avaliações comparativas abrangentes e facilitar o progresso além da reconstrução específica de cenas. No entanto, para campos de radiância livres de distrações, ainda falta um conjunto de dados em grande escala com imagens limpas e com distrações por cena, limitando o desenvolvimento. Para preencher essa lacuna, apresentamos o DF3DV-1K, um conjunto de dados real em grande escala composto por 1.048 cenas, cada uma fornecendo conjuntos de imagens limpas e com distrações para avaliação comparativa. No total, o conjunto de dados contém 89.924 imagens capturadas com câmeras de consumo para simular captura casual, abrangendo 128 tipos de distrações e 161 temas de cena em ambientes internos e externos. Um subconjunto selecionado de 41 cenas, o DF3DV-41, é projetado sistematicamente para avaliar a robustez de métodos de campos de radiância livres de distrações em cenários desafiadores. Utilizando o DF3DV-1K, avaliamos nove métodos recentes de campos de radiância livres de distrações e o 3D Gaussian Splatting, identificando os métodos mais robustos e os cenários mais desafiadores. Além da avaliação comparativa, demonstramos uma aplicação do DF3DV-1K ao ajustar finamente um aprimorador 2D baseado em difusão para melhorar métodos de campos de radiância, obtendo melhorias médias de 0,96 dB de PSNR e 0,057 de LPIPS no conjunto reservado (por exemplo, DF3DV-41) e no conjunto de dados On-the-go. Esperamos que o DF3DV-1K facilite o desenvolvimento da visão livre de distrações e promova o progresso além das abordagens específicas de cena. O conjunto de dados e o leaderboard estão disponíveis em https://johnnylu305.github.io/df3dv1k_web/.
Geração de dupla referência estilo-conteúdo visa sintetizar uma imagem que preserve a estrutura e a semântica de uma referência de conteúdo, ao mesmo tempo que adota o estilo de uma referência de estilo separada. Apesar dos avanços recentes, essa configuração permanece desafiadora, pois os modelos devem equilibrar fidelidade ao conteúdo, alinhamento de estilo e seguimento de instruções, evitando vazamento semântico da referência de estilo. Um gargalo fundamental é a falta de dados de tripletos em larga escala com separação limpa entre conteúdo e estilo e ampla cobertura de estilos de cauda longa. Neste trabalho, propomos o FreeStyle, uma estrutura escalável de geração de dupla referência baseada em mineração de LoRAs da comunidade. Tratamos os LoRAs da comunidade como âncoras composicionais para estilo e conteúdo, e projetamos um pipeline rigoroso de geração e filtragem para construir tripletos de Referência de Estilo e Referência de Conteúdo em larga escala, abrangendo múltiplos modelos base. Para lidar com o vazamento de conteúdo, adotamos um currículo de dois estágios com mecanismos de desvinculação específicos de cada estágio: uma restrição de enriquecimento no nível de atenção que suprime o vazamento da referência de estilo no estágio de transferência de estilo, e uma estratégia de modulação RoPE consciente da frequência que visa o vazamento baseado em correspondência posicional no estágio mais difícil de dupla referência. Também introduzimos um benchmark abrangendo tanto a geração de referência de estilo quanto a de dupla referência, com avaliações de similaridade de estilo, preservação de conteúdo, estética, seguimento de instruções e rejeição de vazamento. O benchmark incorpora uma Pontuação de Alinhamento de Conteúdo (CAS) invariante ao estilo e introduz uma Pontuação de Rejeição calibrada baseada em VLM para avaliar a confiabilidade da geração e a supressão de vazamento. Experimentos extensivos mostram que nosso modelo alcança um forte equilíbrio entre alinhamento de estilo, preservação de conteúdo e supressão de vazamento.
Modelos de difusão e fluxo condicionais frequentemente falham em satisfazer as próprias restrições que definem sua tarefa. Por exemplo, um modelo condicionado por profundidade frequentemente produz imagens cuja profundidade reextraída discorda da entrada, mesmo quando o operador direto — o preditor de profundidade que define a restrição — está disponível tanto durante o treinamento quanto na inferência. Abordagens existentes geralmente se enquadram em duas categorias: modelos supervisionados que tratam o sinal de condicionamento como uma dica estática e ignoram informações de alinhamento na inferência, e métodos baseados em orientação que o consultam por meio de atualizações lineares ajustadas manualmente, tipicamente trocando fidelidade à condição pela plausibilidade da amostra gerada. Argumentamos que a lacuna fundamental em ambos os paradigmas é que o modelo nunca é treinado para utilizar seu próprio erro de alinhamento. Apresentamos o FlowBender, uma estrutura de malha fechada que trata esse erro como uma entrada de primeira classe, treinando a rede para aprender uma política de correção condicionada ao feedback da inferência. A cada passo, uma passagem de antecipação não guiada estima o sinal limpo, um desvio específico da tarefa é calculado por meio do operador direto, e uma passagem de refinamento consome esse sinal para produzir uma velocidade corrigida. Propomos diversas variantes do FlowBender, incluindo uma formulação baseada em gradiente para operadores diferenciáveis e uma variante de ordem zero para cenários não diferenciáveis, como compressão JPEG. Para amostragem eficiente, introduzimos um atalho de etapa anterior que permite correção em malha fechada com custo computacional adicional mínimo. Em tradução de imagem para imagem, restauração e texturização de malhas 3D, o FlowBender supera consistentemente linhas de base supervisionadas padrão, treinamento aumentado com perda de alinhamento e orientação de inferência de última geração, melhorando simultaneamente fidelidade e plausibilidade, em vez de trocar uma pela outra. Página do projeto: https://flow-bender.github.io/
Criar ilusões visuais 3D – uma única malha 3D que revela semânticas completamente diferentes a partir de vários ângulos de visualização – é um desafio fascinante, porém difícil. Métodos existentes baseados em otimização são lentos e podem produzir cores supersaturadas. Em contraste, abordagens ingênuas de costura falham em gerar objetos geometricamente coerentes, resultando em emendas visíveis não naturais e vazamentos semânticos. Neste artigo, apresentamos um framework rápido e livre de treinamento para gerar ilusões visuais 3D orientadas por texto. Nossa abordagem desacopla a geração em duas etapas. Primeiro, propomos um processo de remoção de ruído de ramo duplo entre espaços. Esse processo decodifica dinamicamente latentes 3D em espaço de voxels para alinhamento de orientação guiado por CLIP e mesclagem de Campo de Distância com Sinal (SDF), garantindo fusão geométrica sem emendas. Segundo, introduzimos um módulo de síntese de textura condicionada à visão que projeta e agrega priors de difusão 2D específicos da visão na geometria fundida. Experimentos extensivos demonstram que nosso método gera ilusões 3D duplo-semânticas altamente realistas em apenas 3 a 5 minutos. Ele supera significativamente os métodos existentes em integridade geométrica, reconhecibilidade semântica e eficiência. Página do projeto: https://siang1105.github.io/JanusMesh.github.io/
Modelos de Ação Mundial (WAMs) comumente dependem de geração de vídeo para conectar a modelagem visual do mundo ao controle robótico. No entanto, WAMs baseados em vídeo enfrentam três limitações acopladas: tokens densos de múltiplos quadros futuros tornam a inferência custosa, a predição completa de vídeo gasta capacidade em detalhes temporais e de aparência irrelevantes para a ação, e a imaginação de horizonte longo pode introduzir erros que enganam a predição de ação. Essas questões levantam uma pergunta simples: o modelo de ação mundial realmente precisa de geração de vídeo? Propomos o ImageWAM, um framework simples de WAM que reaproveita modelos de edição de imagem pré-treinados para predição de ação robótica. Em contraste com a geração de vídeo, a edição de imagem fornece um prior mais bem ajustado: ela só precisa modelar uma transformação do quadro alvo, concentra-se em diferenças visuais atuais-para-alvo relevantes para a ação e fundamenta instruções de tarefa em mudanças visuais localizadas através do pré-treinamento de edição. Na prática, o ImageWAM não decodifica o quadro alvo no momento da inferência; em vez disso, condiciona um expert de ação por flow-matching nos caches KV produzidos pela eliminação de ruído da edição de imagem, usando-os como um contexto compacto de ação-mundial. O ImageWAM supera linhas de base VLA padrão e WAMs competitivos sem pré-treinamento adicional de política em diferentes experimentos em simulador e no mundo real. Ele também reduz FLOPs para 1/6 e latência para 1/4 dos WAMs baseados em vídeo. A análise de atenção mostra ainda que os caches de edição focam em regiões de mudança relevantes para a tarefa, apoiando a edição de imagem como uma alternativa eficaz à modelagem de ação-mundial baseada em vídeo.
Os modelos de mundo são cada vez mais considerados um passo decisivo rumo à inteligência geral artificial, porém modelar o mundo físico exige mais do que renderizar quadros convincentes sob demanda: requer um estado interno do mundo que continue evoluindo ao longo do tempo, desacoplado da observação, para que os objetos persistam e os eventos cheguem às suas conclusões, quer uma câmera esteja ou não observando, tal como a lua mantém sua órbita quando ninguém está olhando. Esse requisito é um ponto cego dos benchmarks existentes, que recompensam propriedades superficiais como fidelidade, movimento e controlabilidade da câmera, sem nunca perguntar se um mundo gerado continua evoluindo quando não é observado. Apresentamos o WRBench, o primeiro benchmark diagnóstico sistemático que trata o movimento da câmera como uma intervenção na observabilidade e decompõe a avaliação em uma cadeia calibrada por humanos que pergunta se a câmera executa a interação solicitada, se a cena permanece contínua e identificável enquanto está visível, e se um alvo que retorna permanece consistente com o evento que foi posto em movimento. Em 9.600 vídeos de 23 modelos abrangendo quatro paradigmas de controle, uma constatação se mostra teimosa: os sistemas atuais mantêm o mundo observado como uma tomada de rastreamento, retomando um alvo que retorna no estado em que foi abandonado, em vez de avançar o evento enquanto ele ficou invisível. Como essa falha se repete entre paradigmas de controle, famílias de modelos e incrementos de escala, a evolução robusta do estado do mundo não decorre de imagens mais limpas, controle mais rigoroso, prioris geométricos mais ricos ou mera contagem de parâmetros. Portanto, argumentamos que a estabilidade do núcleo do estado físico e a consistência das linhas de mundo sob intervenção do ponto de vista devem se tornar objetivos de primeira classe do design de modelos de mundo, de modo que um modelo de mundo capture como o mundo se desenrolará, em vez de como o próximo quadro aparece.
Grandes modelos de linguagem (LLMs) frequentemente falham quando a resposta exige identificar uma evidência pequena, porém decisiva, dentro de um contexto longo ou complexo, como uma única linha em um rastro de ferramentas ou um detalhe sutil em uma imagem. Propomos o ContextRL, um método de aprendizado por reforço (RL) ciente do contexto que melhora o raciocínio de longo horizonte e o desempenho multimodal por meio de um objetivo auxiliar indireto. Em vez de supervisionar apenas a resposta final, o ContextRL apresenta ao modelo uma consulta, uma resposta e dois contextos altamente semelhantes, recompensando-o por selecionar o contexto que sustenta o par consulta-resposta, incentivando assim um detalhamento refinado. Construímos dados de contexto contrastivos em dois domínios: para agentes de codificação, as trajetórias servem como contextos, gerando 1.000 pares construídos por filtragem condicional; para raciocínio multimodal, as imagens servem como contextos, gerando 7.000 pares construídos por edição generativa e busca por similaridade. O ContextRL alcança ganhos médios de +2,2% em relação ao GRPO padrão em cinco benchmarks de longo horizonte e +1,8% em doze benchmarks diversos de resposta a perguntas visuais. Para desassociar o efeito do objetivo proposto do efeito dos dados adicionais, comparamos com linhas de base de aumento de dados que reutilizam os mesmos contextos contrastivos como exemplos padrão de consulta-contexto-resposta. Essas linhas de base fornecem pouca ou nenhuma melhoria, mostrando que os ganhos decorrem do objetivo proposto de seleção de contexto, e não apenas dos dados contrastivos em si.
Alcançar a manipulação robótica dextra no mundo real depende fortemente de supervisão humana e engenharia de algoritmos, o que se torna um gargalo central na busca por inteligência física geral. Embora agentes de codificação emergentes possam gerar código para automatizar a busca de algoritmos, seus sucessos permanecem em grande parte confinados a ambientes digitais. Conjecturamos que a abstração ausente para automatizar a pesquisa em robótica é um ciclo de feedback repetível para melhoria de políticas no mundo real: redefinir a cena, executar uma política, verificar o resultado e refinar a próxima iteração. Para preencher essa lacuna, apresentamos o ENPIRE, uma estrutura (harness framework) para agentes de codificação que instancia essa rotina de feedback físico com quatro módulos centrais: um módulo de Ambiente (EN) para redefinição e verificação automáticas, um módulo de Melhoria de Política (PI) que inicia o refinamento da política, um módulo de Rollout (R) para avaliar políticas com um ou múltiplos robôs físicos operando em paralelo, e um módulo de Evolução (E) no qual agentes de codificação analisam logs, consultam literatura, melhoram a infraestrutura de treinamento e o código do algoritmo para lidar com modos de falha. Esse sistema em malha fechada transforma o aprendizado de manipulação no mundo real em um procedimento de otimização controlável, minimizando o esforço humano enquanto permite ablações justas entre variantes de receitas de treinamento e de agentes. Impulsionados pelo ENPIRE, agentes de codificação de ponta podem treinar autonomamente uma política para alcançar uma taxa de sucesso de 99% em tarefas de manipulação dextra desafiadoras, como organizar uma caixa de pinos, apertar uma abraçadeira e uso de ferramentas, um processo que se acelera ainda mais quando despachamos uma equipe de agentes em uma frota de robôs. Nossos resultados sugerem um caminho prático e escalável para implantar agentes de codificação no avanço autônomo da robótica no mundo físico.
Visual thinking should not only sound right; it should show its evidence. While recent vision-language models (VLMs) can produce natural-language reasoning traces, these traces often leave the supporting image regions implicit, making them hard to verify and difficult to supervise. We introduce visually grounded thinking, a reasoning process in which models interleave natural-language thoughts with explicit point or box groundings of the visual evidence used at each step. This lets the model express intermediate reasoning in language while grounding key objects in the image regions they refer to. To train this behavior, we construct a scalable synthesis pipeline that distills correct visual reasoning traces, extracts the visual objects required by the traces, grounds them with a SAM3-based agent, and derives aligned point and box supervision from the resulting masks. We further propose grounding-aware reinforcement learning, which combines answer correctness rewards with dense grounding rewards that score whether generated object references match the correct image evidence. Across two counting benchmarks and four spatial reasoning benchmarks, adding visually grounded thinking to Gemma3-4B-IT consistently improves performance over the original model and the non-grounded thinking baseline. On spatial reasoning, the visually grounded thinking 4B models match, and in some cases surpass, Gemma3-27B-IT from the same model family. Our analysis shows that point grounding is well suited to counting, while box grounding benefits most from explicit grounding rewards on spatial tasks. Overall, our results show that VLMs think better when their intermediate thoughts are tied to the image regions that make them true.
Pipelines de LLM de múltiplas etapas falham devido a interações entre etapas de recuperação, raciocínio e formatação, de modo que a otimização apenas de prompts pode deixar passar gargalos na cadeia. Apresentamos o FAPO (Otimização de Prompts Totalmente Autônoma), uma estrutura que permite que o Claude Code otimize um pipeline de LLM dentro de uma base de código padronizada. O FAPO avalia um pipeline, inspeciona etapas intermediárias, diagnostica falhas, propõe alterações no escopo e valida variantes repetidamente para otimizar uma função de pontuação. Primeiro, tenta edições nos prompts e, somente quando a otimização de prompts se mostra insuficiente, altera a estrutura da cadeia dentro do escopo permitido, quando a atribuição identifica um gargalo estrutural. Em seis benchmarks e três modelos de tarefa, o FAPO supera a linha de base GEPA em 15 de 18 comparações modelo-benchmark. Em 11 comparações modelo-benchmark, o FAPO vence com intervalos médios de desvio padrão por tentativa sem sobreposição, e o ganho médio FAPO-GEPA é de +14,1 pp. Nas seis comparações HoVer e IFBench em que a busca primeiramente por prompts escalou para mudanças estruturais, o FAPO vence todas as seis com ganho médio de +33,8 pp. O FAPO também melhora o desempenho em tarefas de segurança: no CTIBench-RCM, uma tarefa de segurança CVE para CWE, o FAPO apenas com prompts eleva a acurácia de teste em +4,0 pp no GPT-5, +7,1 pp no Foundation-Sec-8B-Instruct e +2,0 pp no Foundation-Sec-8B-Reasoning. Esses resultados posicionam o FAPO como uma técnica de otimização de pipelines de última geração para tarefas tanto de propósito geral quanto focadas em segurança.
Modelos fundamentais incorporados devem se beneficiar da escalabilidade de dados, assim como grandes modelos de linguagem, mas enfrentam um gargalo de dados muito mais restrito. Trajetórias de robôs reais teleoperadas continuam sendo a principal fonte de pré-treinamento devido à sua supervisão precisa de ações e alinhamento com a incorporação, mas sua escalabilidade é limitada pelo alto custo de coleta, dificuldade de aquisição e baixa diversidade comportamental e ambiental. Essas limitações despertaram interesse em vídeos humanos egocêntricos como uma alternativa escalável, substancialmente mais barata e mais diversa para o pré-treinamento de modelos fundamentais incorporados. No entanto, sua eficácia em comparação com dados de robôs reais teleoperados ainda é pouco explorada. Para abordar essa questão, conduzimos um estudo sistemático comparando vídeos humanos egocêntricos e trajetórias de robôs reais teleoperadas como fontes de dados de pré-treinamento para modelos fundamentais incorporados, sob protocolos fixos de pós-treinamento e validação. Surpreendentemente, descobrimos que dados egocêntricos, quando processados por um pipeline cuidadosamente projetado de filtragem e rotulagem, não são apenas um substituto viável para o pré-treinamento de modelos, mas podem levar a um desempenho superior. Com a mesma quantidade de dados de pré-treinamento, modelos pré-treinados em dados egocêntricos alcançam uma perda de validação 24% menor na predição de ações de robôs reais, bem como taxas de sucesso 52,5% e 90% maiores na execução de tarefas em robôs reais dentro da distribuição e fora da distribuição, respectivamente. Essa descoberta verifica um paradigma escalável para modelos fundamentais incorporados: pré-treinar em vídeos humanos egocêntricos para aprender representações diversas do mundo e, em seguida, adaptar com uma pequena quantidade de dados rotulados de robôs reais para alinhamento do espaço de ações. Esperamos que este estudo incentive uma exploração mais ampla de dados egocêntricos e ofereça orientações para a avaliação da qualidade dos dados antes da custosa coleta de dados robóticos.
Os modelos de mundo em vídeo estão avançando em direção à preservação de um mundo observado sob movimentos controláveis de câmera e objeto, permitindo que seu estado ambiental mude. No entanto, esses controles permanecem isolados, e a geração de clima geralmente depende de um vídeo de origem ou cena reconstruída que já especifica a estrutura futura. Estudamos uma configuração de origem-para-estado ancorada no primeiro quadro, onde o modelo parte de uma única imagem e segue controles explícitos de câmera e objeto, além de uma instrução opcional de clima, e então gera um vídeo que preserva o mundo de origem ou o transfere para um estado climático de destino. Para enfrentar esses desafios, primeiro construímos o HoloStateData, um conjunto de dados de vídeo de estado que transforma diversos vídeos em amostras de controle unificadas para supervisão de câmera, objeto e clima. Em segundo lugar, apresentamos o Holo-World, um modelo de mundo de vídeo controlável e unificado que controla conjuntamente a cena a partir de uma única imagem. Seu Adaptador de Cena Unificado fatora a preservação do mundo e a transferência de clima em subespaços de parâmetros distintos, usando fundo renderizado, buffers de geometria e controles de objeto para manter a estrutura da cena controlada enquanto modela a aparência dependente do clima e efeitos de partículas. Além disso, o CFG Decomposto Cena-Clima orienta os resíduos de cena e clima separadamente, fortalecendo os efeitos climáticos de destino sem amplificar excessivamente a condição completa. Experimentos quantitativos e qualitativos demonstram que o Holo-World mantém controle preciso de câmera e objeto com estrutura de cena consistente, enquanto transfere cenas para diversos estados climáticos de destino, superando as linhas de base de edição de clima vídeo-para-vídeo na geração de estado climático. Nossa página do projeto está disponível em https://xiangchenyin.github.io/Holo-World/.
O treinamento FP4 promete reduções substanciais de memória e custo computacional para o pré-treinamento de LLMs, mas os atuais caminhos e receitas de hardware FP4, incluindo sistemas NVIDIA das classes Blackwell/Rubin e GPUs AMD da série MI350, permanecem centrados em elementos de dados E2M1. Neste estudo, identificamos uma limitação fundamental dessa escolha: formatos não uniformes, como E2M1, sofrem inerentemente de Viés de Encolhimento, um erro de arredondamento negativo sistemático causado pela assimetria geométrica de seus intervalos representáveis. Mostramos que esse viés se acumula multiplicativamente entre as camadas e é amplificado pela Transformada Aleatória de Hadamard (RHT), fornecendo uma explicação unificada para a instabilidade de treinamento observada em receitas FP4 existentes baseadas em E2M1. Em contraste, grades uniformes (E1M2/INT4) contornam esse erro de geometria de grade e convertem melhor a melhor utilização de intervalos proveniente da RHT em maior qualidade de quantização. Com base nessa descoberta, propomos o UFP4, uma receita de treinamento uniforme de 4 bits que aplica a RHT a todas as três GEMMs de treinamento, restringindo o arredondamento estocástico apenas ao dY. Em pré-treinamentos de longa duração para Dense 1,5B, MoE 7,9B e MoE 124B, o UFP4 atinge consistentemente uma degradação de perda relativa ao BF16 menor do que fortes linhas de base baseadas em E2M1, com suporte de análise de lei de escalonamento e estudos de ablação. Nossos resultados sugerem que futuros aceleradores devem suportar grades uniformes de 4 bits do tipo E1M2/INT4 como primitivas de treinamento de primeira classe, juntamente com E2M1.
O progresso em IA jurídica depende cada vez mais do acesso a textos legais autoritativos em larga escala. No entanto, uma das camadas mais consequentes do direito americano permanece amplamente ausente dos corpora legíveis por máquina existentes: as portarias locais. Os códigos municipais regulamentam zoneamento, habitação, licenciamento comercial, saúde pública, ruído, controle animal e muitos outros domínios da regulação cotidiana, mas estão fragmentados em plataformas de fornecedores projetadas para navegação humana, e não para acesso em massa à pesquisa. Apresentamos o LOCUS - Corpus de Portarias Locais para os Estados Unidos -, um corpus abrangente e uma camada de acesso harmonizada por condado para códigos municipais e de condados dos EUA. O corpus bruto, disponível para distribuição a pesquisadores, representa praticamente todos os códigos municipais e de condados publicamente acessíveis. O corpus bruto resultante contém códigos de 9.239 cidades e condados. Uma camada de acesso LOCUS menor, harmonizada por condado, oferece cobertura para os 2.309 maiores dos 3.144 condados americanos, abrangendo a maioria da população. Utilizamos OCR para lidar com a miríade de formatos documentais que mantiveram a lei afastada de ser um recurso público. Disponibilizamos o corpus com metadados de cobertura para apoiar a reprodutibilidade, a pesquisa downstream em IA jurídica e a expansão incremental do acesso legível por máquina ao direito local. Treinamos um conjunto de classificadores e pontuadores baseados em ModernBERT para facilitar a análise do direito local americano sob diversas dimensões, como opacidade e paternalismo, que não foram previamente estudadas nessa escala. O LOCUS-v1 e seus modelos derivados estão disponíveis em: https://huggingface.co/datasets/LocalLaws/LOCUS-v1
A Distância de Inception Fréchet (FID) é o árbitro de facto da geração de imagens, embora a maioria dos artigos relate apenas um único número de um único modelo treinado com uma única semente de amostragem. Quão reproduzível é esse número se retreinarmos o modelo, ou apenas reamostrarmos a partir dele? Neste artigo, tratamos a FID como uma variável aleatória em um painel de dois eixos de sementes de treinamento e geração, e medimos sua variância diretamente em várias centenas de redes SiT treinadas no ImageNet 256x256 condicionado por classe. Reportamos descobertas surpreendentes: (a) Retreinar o modelo usando a mesma receita com uma semente diferente desloca a FID 3,2x mais (no espaço de características Inception) do que redesenhar amostras de uma rede fixa. (b) Essa lacuna é impulsionada por três fatores: inicialização aleatória, ordenação dos dados e o ruído gaussiano por passo da perda de correspondência de fluxo. (c) Aumentar o poder computacional ou o tamanho do modelo mal reduz a dispersão, mantendo o coeficiente de variação (CV) da FID dentro de uma faixa de 1-2%. (d) O ajuste de orientação sem classificador por célula reduz pela metade a dispersão, mas reordena quais sementes funcionam melhor, e uma semente de treinamento sortuda atinge a mesma FID com até 2x menos poder computacional do que uma azarada. Com base nessas descobertas, recomendamos um novo protocolo de avaliação da FID: avaliar sob orientação ótima por célula, tratar qualquer diferença na FID abaixo do CV de ~1,3% medido empiricamente como inconclusiva, e reportar uma barra de erro sobre várias sementes de treinamento, em vez de um único valor de FID.
Abordagens recentes de geração aumentada por recuperação (RAG) demonstraram forte capacidade no tratamento de consultas complexas, mas as pesquisas atuais negligenciam um desafio crítico: diferentes recuperadores exigem estratégias de formulação de consultas fundamentalmente distintas para desempenho ideal. Neste trabalho, apresentamos a primeira análise sistemática de como LLMs podem aprender a adaptar suas estratégias de formulação de consultas para diferentes recuperadores por meio de aprendizado por reforço (RL). Nosso estudo empírico revela que o RL ensina efetivamente um LLM a adaptar suas consultas às características específicas do recuperador. Descobrimos que diferentes recuperadores exibem estilos de consulta ótimos surpreendentemente distintos (por exemplo, descritivo vs. semelhante a perguntas), sugerindo que estratégias aprendidas para um recuperador são ineficazes para outro. Mostramos ainda que o desempenho pode ser aprimorado incorporando orientação humana específica ao recuperador e escalando o tamanho do modelo. Para facilitar o aprendizado em trajetórias de múltiplas etapas de recuperação, introduzimos uma técnica de rollout baseada em ramificação que melhora a estabilidade do treinamento. Nosso trabalho fornece as primeiras evidências empíricas e insights acionáveis para construir sistemas RAG verdadeiramente conscientes do recuperador. Código e recursos estão disponíveis em https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.
Agentes de chamada de ferramentas que aderem a políticas em domínios de atendimento ao cliente devem manter estados de tarefa ao longo de turnos, enquanto chamam ferramentas e obedecem a políticas de domínio. Estados de tarefa consistem em fatos relevantes, identificadores, restrições e condições observados por meio da interação com o usuário e de chamadas de ferramentas. Em agentes padrão, os estados de tarefa não são representados separadamente. Observações, retornos de ferramentas e instruções de política são colocados no prompt, deixando que os agentes reconstruam os estados relevantes a partir do prompt cada vez que decidem o que fazer em seguida. Esse design torna o gerenciamento de estados implícito, criando dois modos comuns de falha. Um agente pode recuperar os fatos corretos, mas posteriormente fundamentar sua decisão em informações desatualizadas, ausentes ou incorretas; e uma chamada de ferramenta sintaticamente válida ainda pode violar uma política de domínio que depende do estado de tarefa atual. Apresentamos LedgerAgent, um método em tempo de inferência para agentes de chamada de ferramentas que mantém os estados de tarefa observados em um ledger separado e renderiza os estados no prompt. O ledger também é usado para verificar restrições de política dependentes de estado antes da execução de chamadas de ferramentas que alteram o ambiente, bloqueando violações de política. Em quatro domínios de atendimento ao cliente e um painel misto de modelos de pesos abertos e fechados, LedgerAgent melhora a passk média em relação a uma abordagem padrão de chamada de ferramentas baseada em prompt, com os maiores ganhos sob métricas de consistência de múltiplas tentativas mais rigorosas.
Modelos de atenção linear híbridos oferecem um caminho promissor para inferência mais rápida em contextos longos: reduzem o custo quadrático e a carga do cache KV da atenção softmax completa, mantendo grande parte da qualidade dos modelos Transformer. Uma forma prática de obter tais modelos é converter um Transformer pré-treinado em vez de treinar uma nova arquitetura do zero, mas essa conversão ainda é frágil. Simplesmente copiar as projeções de atenção do professor para um aluno Gated DeltaNet (GDN) não especifica a nova dinâmica de decaimento recorrente, escrita e controle de saída. Como resultado, o modelo convertido frequentemente começa em um regime dinâmico ruim e precisa gastar muitos tokens de destilação reparando a inicialização, em vez de aprender o comportamento restante do professor. Propomos o Taylor-Calibrate, um método de inicialização leve para alunos GDN híbridos. O método utiliza estatísticas de atenção do professor guiadas por Taylor para definir a projeção de valor, a escala de tempo da memória, os controles de escrita e o controle de saída; em seguida, aplica uma etapa curta de alinhamento por camada para ajustar cada camada convertida à saída do professor. Em quatro configurações de professor e três políticas de camadas retidas, o Taylor-Calibrate produz alunos zero-shot substancialmente mais fortes, com uma melhoria de até 88x em uma ablação representativa, e atinge alvos de recuperação correspondentes com 4,9x a 9,2x menos tokens de treinamento do que a conversão ingênua.
Propriedades mecânicas precisas (ou dos materiais) — módulo de Young (E), coeficiente de Poisson (ν) e densidade (ρ) — são essenciais para simulações físicas confiáveis de mundos digitais, mas a maioria dos ativos 3D carece dessas informações. Propomos o AdaVoMP, um método para predizer (E, ν, ρ) densos e espacialmente variáveis com alta precisão para objetos 3D de entrada, independentemente da representação, melhorando resolução, exatidão e eficiência de memória em relação ao estado da arte. A base da nossa técnica é uma estrutura de voxel esparsa e adaptativa, SAV, que representa eficientemente tanto a forma 3D de entrada quanto o campo de material gerado. Substituímos o modelo de voxel fixo do método anterior mais preciso, VoMP, por um novo modelo codificador-decodificador de transformador esparso que aprende a gerar um SAV único de forma autorregressiva para cada forma de entrada, a fim de representar seus materiais, alcançando uma resolução 16³ vezes superior à da arte anterior. Experimentos mostram que o AdaVoMP estima propriedades volumétricas mais precisas, mesmo com menor custo computacional em tempo de teste do que toda a arte anterior. Isso nos permite converter objetos 3D complexos de alta resolução em ativos prontos para simulação, resultando em simulações deformáveis realistas.
Sistemas de IA implantados em fluxos de trabalho jurídicos alucinam a taxas que métricas agregadas relatam em aproximadamente 52%, mas essa média oculta onde os erros se concentram e em que direção ocorrem, deixando os oficiais de conformidade sem um sinal acionável para uma implantação confiável. Apresentamos o LegalHalluLens, uma estrutura de auditoria com três componentes: perfis de alucinação tipificados em quatro categorias de reivindicações com motivação jurídica (numérica, temporal, obrigação/direito, factual) sobre o CUAD (Hendrycks et al., 2021); um Índice de Direção de Risco (IDR) que reduz o viés de omissão versus invenção a um escalar comparável entre implantações; e um pipeline de debate tipificado calibrado tanto para magnitudes quanto para direções. Em 510 contratos e 249.252 instâncias em nível de cláusula, medimos uma lacuna intra-modelo de aproximadamente 38 a 40 pontos percentuais entre reivindicações de obrigação/numéricas e temporais que o relato agregado oculta, e mostramos que dois sistemas com taxas combinadas de 52% podem carregar IDRs opostos. O pipeline de debate reduz detecções fabricadas em 45%, com ganhos por categoria que acompanham o diagnóstico, equiparando-se a APIs comerciais com um backbone substancialmente menor (4 bilhões de parâmetros ativos). Perfis tipificados e o IDR revelam modos de falha que métricas agregadas ocultam; adicionalmente, mostramos que esses diagnósticos servem como entradas de calibração para pipelines de debate multiagente, onde desafios do Cético e portas assimétricas direcionadas a modos de falha medidos superam o debate genericamente ajustado. A estrutura suporta aquisição ciente de direção, responsabilização e design de agentes para IA jurídica implantada no mundo real.
Os contextos dos pacientes abrangem centenas de documentos heterogêneos e milhares de pontos de dados estruturados, mas os metadados em nível de documento de que os sistemas de IA precisam para recuperação e triagem estão ausentes ou incompletos. A geração aumentada por recuperação padrão falha nesses dados, lidando de forma inadequada com raciocínio temporal, dependências entre documentos e metadados ausentes. Implementamos o ACIE (Extração Clínica de Informações Agentica) no Hospital Universitário de Essen: um pipeline agentico de RAG on-premise que raciocina sobre contextos completos dos pacientes e fundamenta cada resposta em passagens de origem para verificação clínica. Quantificamos a lacuna de metadados, traçamos as decisões arquiteturais que ela moldou e avaliamos a extração juntamente com um estudo retrospectivo independente de registro de linfoma, no qual médicos de medicina nuclear verificam cada valor extraído em relação às suas fontes citadas. Em 7.326 julgamentos, os clínicos aceitaram 96,5% das extrações, com aceitação por tipo variando de 80% a 99%.
A orquestração espacial 3D precisa na geração de texto para vídeo continua sendo um desafio significativo, particularmente para cenas com múltiplos objetos, onde o layout semântico e as dinâmicas temporais frequentemente se entrelaçam. Embora os modelos existentes condicionados à profundidade alcancem boa fidelidade estrutural, eles exigem uma orientação densa e precisa por quadro, cuja criação é trabalhosa para eventos dinâmicos envolvendo objetos deformáveis. Apresentamos o LooseControlVideo, uma estrutura que permite controle intuitivo e expressivo ao usar caixas 3D orientadas e esparsas como um proxy de "bloqueio". Isso permite que os usuários definam layout e trajetória de alto nível enquanto aproveitam um modelo generativo de vídeo para gerar oclusões, dinâmicas e interações realistas. Alcançamos isso por meio do ajuste fino de uma rede base Wan 2.2 em um conjunto de dados de vídeo anotado com DNOCS, uma nova codificação para tamanho 3D, orientação e oclusões ordenadas por profundidade. Além disso, nosso método permite refinamento localizado, como ajustar uma trajetória de salto ou adicionar uma interação, com mínima perturbação do contexto global da cena. Avaliações extensas nos benchmarks nuScenes, HO-3D e BEHAVE demonstram que o LooseControlVideo supera significativamente as baselines existentes baseadas em caixas 2D e fluxo. Nossos achados indicam uma melhoria de 1,2x a 3x no Erro de Trajetória; melhoria de 2x na Consistência de Movimento Rígido; e um aumento de 1,5x a 2x na Precisão de Oclusão em relação aos modelos de última geração condicionados a layout, demonstrando que primitivas 3D orientadas fornecem um bom prior geométrico para a criação complexa de vídeos com múltiplos agentes.
O desenvolvimento de jogos atualmente impulsionado por IA fez progressos substanciais na geração de ativos, design de jogabilidade e codificação de jogos baseada na web, mas a engenharia de código em nível de projeto em motores de jogos profissionais permanece em grande parte inexplorada devido à ausência de conjuntos de dados em larga escala e métodos de avaliação determinísticos. Apresentamos JamSet e JamBench, o primeiro conjunto de dados e benchmark de framework de código de jogos em nível de projeto construído sobre um motor de jogos profissional. Nossa principal percepção é que as competições Game Jam, eventos comunitários onde desenvolvedores criam jogos completos sob rígidas restrições de tempo, geram milhares de projetos de código aberto adequados para esse propósito. Aproveitando o formato baseado em texto do motor Godot e o modo de execução headless, projetamos um pipeline de verificação determinístico, desde a integridade dos arquivos até a coleta de comportamento em tempo de execução, destilando 8.133 projetos verificados de mais de 240.000 repositórios. Desses, 300 projetos verificados manualmente formam o JamBench; o restante constitui o JamSet. O JamBench define tarefas de geração orientada por tema e conclusão de código, avaliadas por meio de um pipeline que combina taxas de aprovação de compilação, Pontuação de Completude Estrutural (SCS) e Pontuação de Alinhamento Comportamental (BAS). A avaliação de 9 modelos de fronteira revela um precipício de capacidade à medida que a escala do projeto aumenta, com as taxas de aprovação em tempo de execução caindo de 80,4% em projetos pequenos para 5,7% em projetos grandes (Task2a). Agentes de Código melhoram as taxas de compilação, mas não geram ganhos na qualidade comportamental em tempo de execução, indicando que o gargalo está no design arquitetônico, e não na correção sintática. Experimentos validam o JamSet como dados de treinamento eficazes. Todos os dados e códigos estão publicamente disponíveis.
Abordagens típicas de aprendizado centrado em objetos em vídeo (VOCL) empregam estruturas baseadas em slots que se baseiam em arquiteturas codificador-decodificador orientadas por reconstrução, onde o aprendizado é mediado por dois mapas espaciais: mapas de atenção do codificador e mapas de objetos do decodificador. Como esses dois mapas distintos exibem propriedades diferentes, uma estratégia recente de alinhamento denso tentou reconciliar essa discrepância impondo concordância em todos os patches espaço-temporais via aprendizado contrastivo. No entanto, esse alinhamento indiscriminado propaga inadvertidamente as fraquezas inerentes de cada módulo, como previsões ruidosas do codificador e limites borrados do decodificador. Além disso, calcular similaridades densas entre todos os pares incorre em um custo computacional quadrático no número total de patches espaço-temporais, limitando severamente a escalabilidade. Motivados por isso, propomos o Aprendizado Sinérgico Seletivo (SSync). Em vez de um alinhamento exaustivo patch a patch, o SSync previne a propagação de erros destilando seletivamente apenas as pistas mais confiáveis: utilizando o codificador estritamente para refinamento de limites e o decodificador para remoção de ruído interno. Isso é realizado por meio de uma rotulação pseudo com complexidade linear, eliminando a necessidade de comparações espaciais quadráticas. Além disso, para evitar o reforço de vieses arquitetônicos, como redundância de slots, introduzimos uma fusão pseudo-transitiva de rótulos que consolida slots sobrepostos com base na consistência de ativação espaço-temporal. Estudos extensivos demonstram que o SSync melhora a qualidade da decomposição e atua como um módulo versátil plug-and-play, exibindo também excepcional robustez a configurações de slots. O código está disponível em github.com/wjun0830/SSync.
Existe uma lacuna significativa entre a teoria e a prática em aprendizado profundo. Limites de erro de generalização e aproximação são frequentemente derivados para modelos simplificados ou são demasiado frouxos para serem informativos. Muitos dependem da hipótese da variedade e de regularidades geométricas como dimensão intrínseca, curvatura e alcance. O progresso exige compreensão da geometria da variedade de dados e benchmarks adequados, mas as opções existentes são polarizadas: variedades analíticas com geometria conhecida, porém aplicabilidade limitada, ou conjuntos de dados do mundo real onde a geometria é apenas grosseiramente estimável. Apresentamos uma estrutura de benchmark para estudar a geometria de dados. Reutilizamos e estendemos dSprites e COIL-20 com dimensões de transformação adicionais e amostragem densa e alinhada aos eixos, e os combinamos com estimadores de diferenças finitas que recuperam curvatura, alcance e volume com precisão próxima ao valor real em um regime onde estimadores de propósito geral são não confiáveis ou difíceis de implementar. A estrutura é concebida como um ambiente de teste controlado, útil como ambiente de calibração para estimadores geométricos e um sandbox para sondar suposições teóricas. Para ilustrar seu uso, apresentamos dois estudos de aplicação: a avaliação do comportamento de escala dos limites de Genovese et al. e Fefferman et al., e o rastreamento da geometria camada por camada de um β-VAE, destacando o comportamento dos limites atuais e o valor de benchmarks controlados para orientar e validar teorias futuras. Uma implementação de referência está disponível em https://github.com/koulakis/manifold-microscope.
Modelos de Linguagem de Grande Escala (LLMs) avançaram significativamente a automação de tarefas de engenharia de software. Um exemplo proeminente é a geração de código, na qual um LLM produz código em uma linguagem de programação específica com base em uma descrição em linguagem natural. A maior parte das pesquisas nessa área concentrou-se em linguagens de alto recurso, como Python ou Java, que se beneficiam de abundantes dados de treinamento. Um conjunto menor de trabalhos explorou linguagens de baixo recurso, sub-representadas nos corpora de treinamento. Em contraste, as linguagens sem recurso, para as quais os LLMs praticamente não viram dados de treinamento, permanecem amplamente inexploradas. Essas linguagens frequentemente surgem na indústria, onde organizações desenvolvem linguagens proprietárias ou específicas de domínio, sem suporte de ferramentas comerciais como o GitHub Copilot. Isso resulta na necessidade de as empresas implementarem seus próprios recomendadores de código internos. Para investigar possíveis soluções nesse contexto, construímos e disponibilizamos três benchmarks de geração de código para linguagens sem recurso, baseados em duas linguagens de programação recentemente propostas para as quais há muito poucos dados de treinamento disponíveis. Utilizando esses benchmarks, experimentamos várias soluções para ensinar LLMs sobre linguagens sem recurso, incluindo técnicas baseadas em prompt, bem como pré-treinamento e ajuste fino explorando os poucos dados disponíveis. Embora o pré-treinamento adicional proporcione os maiores ganhos de desempenho para linguagens sem recurso, aplicá-lo diretamente a modelos ajustados por instrução prejudica sua capacidade de seguir instruções. Para resolver isso, partimos de um modelo base, realizamos pré-treinamento adicional na linguagem alvo e, em seguida, injetamos capacidades de seguimento de instruções por meio da transferência de diferenças de pesos (weight diff transfer) de um modelo de instrução. Tal abordagem melhora significativamente as capacidades de geração de código em contextos sem recurso, permitindo que empresas implementem de forma econômica um modelo especializado para instruções sem lidar com o custo computacional do ajuste fino por instrução.
Políticas de escalonamento em pipelines de serviço de Reconhecimento Automático de Fala (ASR) em larga escala desempenham um papel fundamental na determinação da latência ponta a ponta (E2E). No entanto, motores de serviço amplamente utilizados dependem do escalonamento primeiro a chegar, primeiro a ser atendido (FCFS), que ignora a variabilidade na duração das requisições e leva ao bloqueio de cabeça de fila sob mudanças na carga de trabalho. Mostramos que a duração do áudio é uma proxy precisa para o tempo de processamento de jobs em modelos ASR como o Whisper, e utilizamos esse insight para permitir escalonamento ciente da duração. Integramos dois algoritmos clássicos, Shortest Job First (SJF) e Highest Response Ratio Next (HRRN), no vLLM e os avaliamos sob cargas de trabalho realistas e sujeitas a mudanças. No LibriSpeech test-clean, em comparação com a linha de base, o SJF reduz a latência E2E mediana em até 73% sob alta carga, mas aumenta a latência de cauda no percentil 90 em até 97% devido à inanição de requisições longas. O HRRN trata desse compromisso: reduz a latência E2E mediana em até 28%, enquanto limita a degradação da latência de cauda a no máximo 24%. Esses ganhos persistem sob mudanças na carga de trabalho, sem penalidade na vazão e com sobrecarga de escalonamento inferior a 0,1 ms por requisição.
Os sistemas existentes de Programação por Exemplo (PBE) frequentemente dependem de benchmarks simplificados que não capturam a alta complexidade estrutural de expressões regulares do mundo real, como aninhamentos mais profundos e uso frequente de operações de união. Para superar a consequente queda de desempenho, propomos o ReSyn, uma estrutura de dividir para conquistar agnóstica em relação ao sintetizador, que decompõe problemas complexos de síntese em subproblemas gerenciáveis. Também introduzimos o Set2Regex, um sintetizador eficiente em termos de parâmetros que captura a invariância de permutação dos exemplos. Resultados experimentais demonstram que o ReSyn aumenta significativamente a acurácia em diversos sintetizadores, e sua combinação com o Set2Regex estabelece um novo estado da arte em um benchmark desafiador do mundo real. O código-fonte completo, conjuntos de dados e checkpoints de modelos pré-treinados estão disponíveis publicamente em https://github.com/mrseongminkim/ReSyn.