Artigos de pesquisa em IA selecionados diariamente com traduções
Agentes de IA tornaram-se capazes de completar tarefas curtas e bem especificadas de forma autônoma. No entanto, os benchmarks terminais existentes concentram-se majoritariamente em problemas simples que são concluídos em minutos e avaliados apenas pelo seu resultado final. Essa configuração ignora o progresso intermediário e soluções parciais, gerando sinais de recompensa esparsos e uma visão incompleta da capacidade dos agentes. Apresentamos o Long-Horizon-Terminal-Bench, um benchmark terminal composto por 46 tarefas de longo horizonte abrangendo nove categorias, incluindo reprodução de experimentos, engenharia de software, análise multimodal, jogos interativos e computação científica. Cada tarefa segue uma estrutura no estilo Terminal-Bench, com uma solução de referência ou motor de simulação, mas é decomposta em subtarefas graduadas e detalhadas. Esse design possibilita recompensas intermediárias densas e crédito parcial, permitindo que a avaliação capture não apenas se um agente atinge o objetivo final, mas também o quão longe ele progride em fluxos de trabalho abertos. As tarefas no Long-Horizon-Terminal-Bench normalmente exigem centenas de episódios e minutos a horas de execução, enfatizando planejamento de longo horizonte, gerenciamento de contexto estendido e depuração iterativa, em vez de resolução de problemas em uma única tentativa. Avaliamos 15 modelos de fronteira e descobrimos que os agentes consomem, em média, 9,9 milhões de tokens por tarefa, com aproximadamente 231 episódios e 85,3 minutos de tempo de execução por rodada, tornando o Long-Horizon-Terminal-Bench mais exigente que os benchmarks terminais anteriores. Mesmo o modelo mais forte testado alcança 15,2% de pass@1 com um limiar de recompensa parcial de 0,95 e 10,9% com um limiar de recompensa perfeita de 1,0, enquanto a taxa média de aprovação entre os modelos é de 4,3% e 1,7% sob os dois limiares, respectivamente. Esses resultados revelam espaço para melhoria. Analisamos ainda modos de falha e padrões de erro, e disponibilizamos o Long-Horizon-Terminal-Bench para apoiar avanços futuros em agentes terminais de longo horizonte.
O rápido progresso dos grandes modelos fundamentais tem sido impulsionado predominantemente pelo pré-treinamento em grandes corpora de texto. No entanto, muitas formas de conhecimento são transmitidas por meio de representações visuais, onde figuras, equações tipografadas e layouts de página carregam informações ricas que não podem ser fielmente ou completamente capturadas apenas pelo texto. Contudo, as abordagens atuais de pré-treinamento descartam esses sinais visuais ao converter fontes visualmente ricas, como documentos e páginas da web, em texto simples para o aprendizado de inteligência linguística. Este artigo desafia a suposição padrão de que modelos de linguagem devem ser treinados exclusivamente em representações textuais e demonstra que o Pré-treinamento Visual é um aprendiz escalável para a inteligência de modelos fundamentais. Para tal, realizamos um estudo sistemático de paradigmas de pré-treinamento visual não supervisionado que utilizam diretamente documentos visuais sem extração de texto. Através de múltiplos backbones e benchmarks, o pré-treinamento visual nos mesmos corpora subjacentes supera consistentemente o pré-treinamento apenas textual, oferecendo um caminho eficiente para a inteligência linguística escalável.
Impulsionada pela previsão do próximo token, a PNL evoluiu de modelos específicos para tarefas para modelos fundamentais generalistas poderosos. Qual seria, então, o catalisador equivalente necessário para alcançar um modelo de propósito geral em visão computacional? Neste artigo, defendemos que a geração de texto para vídeo em larga escala constitui um paradigma de pré-treinamento robusto para visão computacional, fornecendo os priors espaço-temporais, o alinhamento visão-linguagem e a escalabilidade necessários para uma inteligência visual geral. Apresentamos o GenCeption, que utiliza uma espinha dorsal generativa de difusão de vídeo pré-treinada para definir um modelo de percepção feed-forward, capaz de realizar diversas tarefas visuais orientadas por instruções textuais. Resultados empíricos demonstram que o GenCeption alcança desempenho de ponta em um conjunto diversificado de tarefas, incluindo estimativa de profundidade, normais de superfície e pose de câmera, segmentação referida por expressão e previsão de pontos-chave 3D, frequentemente igualando ou superando modelos especializados (por exemplo, DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo e Lotus-2). Além disso, a espinha dorsal pré-treinada generativa de vídeo supera paradigmas alternativos de pré-treinamento (por exemplo, V-JEPA e Video MAE) sob configurações comparáveis. De forma importante, o GenCeption exibe propriedades preliminares de escala de dados e modelo, juntamente com eficiência excepcional de dados, alcançando desempenho comparável ao de modelos líderes como D4RT e VGGT-Omega com 7 a 500 vezes menos dados de treinamento. Por fim, o GenCeption também exibe comportamentos emergentes intrigantes: um modelo treinado exclusivamente em vídeos humanos sintéticos generaliza para imagens do mundo real e categorias de objetos fora da distribuição (por exemplo, animais e robôs). Essas descobertas sugerem que a geração de vídeo não é meramente uma ferramenta de síntese, mas um caminho fundamental para a inteligência visual generalista no mundo físico. Página do projeto: https://genception.github.io
Grandes objetivos são difíceis de alcançar de uma só vez; dividi-los em pequenos passos é mais sábio. Apresentamos a Destilação de Política por Região de Confiança (TOP-D), que transforma a notoriamente instável e de alta variância Destilação On-Policy (OPD) em um paradigma de treinamento estável, construindo dinamicamente um professor proximal. Teoricamente, estabelecemos um arcabouço rigoroso demonstrando que o TOP-D controla inerentemente a variância do gradiente. Ao fornecer uma análise formal de convergência global juntamente com um limite de melhoria monotônica, formalizamos matematicamente a confiabilidade e a estabilidade da dinâmica geral de treinamento. Empiricamente, o TOP-D melhora drasticamente a estabilidade do treinamento, a eficiência de amostragem e o desempenho final em tarefas de raciocínio matemático. Mais importante, o TOP-D introduz zero de carga computacional adicional, posicionando-se como uma alternativa promissora ao bem estabelecido paradigma OPD.
A quantização pós-treinamento (PTQ) é uma técnica amplamente adotada para comprimir grandes modelos de linguagem (LLMs) sem a necessidade de retreinamento. Métodos existentes de PTQ de segunda ordem, incluindo o GPTQ, constroem objetivos de quantização exclusivamente a partir de estatísticas de ativação de entrada, assumindo efetivamente que todos os canais de saída contribuem igualmente para o objetivo de reconstrução por camada. Propomos o KronQ, uma estrutura de PTQ que desafia essa suposição ao introduzir a covariância do gradiente no pipeline de quantização. Sob a aproximação da Hessiana fatorada por Kronecker, a perda de quantização depende conjuntamente tanto das covariâncias de ativação quanto de gradiente, e o KronQ explora isso em dois níveis complementares. (1) O KronQ introduz o processamento de incoerência bidirecional, estendendo a rotação aleatória existente no lado da entrada para a dimensão de saída usando a covariância do gradiente, reduzindo a variância da magnitude dos pesos nas dimensões de entrada e saída. (2) O KronQ deriva uma nova métrica de sensibilidade para alocação de precisão mista entre camadas, orientada pelos traços da Hessiana do gradiente e da ativação. Notavelmente, no caso da quantização de pesos de 2 bits no LLaMA-3-70B, enquanto o GPTQ e o GPTAQ divergem ou produzem quantizações degeneradas (>2000 de perplexidade no WikiText-2), o KronQ atinge 7,93 de perplexidade.
Modelos de texto-para-imagem em larga escala são bases atrativas para predição densa, pois o pré-treinamento de geração RGB aprende priors semânticos, estruturais e geométricos ricos. Abordagens generativas e de edição existentes reutilizam esses priors ao transformar a predição densa em geração de alvos: anotações como profundidade, normais, mattes alfa, máscaras e mapas de calor são codificadas em um espaço latente de VAE treinado em RGB e decodificadas de volta como alvos semelhantes a imagens. Argumentamos que isso herda mais da interface de saída generativa do que a predição densa exige: diferentemente da síntese RGB, a predição densa requer campos nativos da tarefa, com correção por pixel, no mesmo plano da imagem, e não novo conteúdo RGB a ser renderizado. Nossa observação-chave é que um DiT pré-treinado já organiza entradas RGB por meio de uma malha patch-para-token-para-patch no plano da imagem, de modo que cada token indexa um patch de saída fixo cujos canais podem transportar quantidades nativas da tarefa, em vez de aparência RGB. Materializamos isso como ReChannel: mantemos o codificador VAE para a distribuição de entrada do DiT, mas removemos o decodificador do lado do alvo, adaptamos o DiT congelado com LoRA de tarefa e mapeamos cada token para seu patch de espaço de pixel de p x p x K_t por meio de uma cabeça linear local ao token compartilhada—cerca de 33 mil parâmetros, sem mistura espacial. Usando FLUX-Klein, avaliamos em seis tarefas de predição densa e mais de uma dezena de benchmarks. Essa interface mínima estabelece novo estado da arte em matting sem trimap, profundidade KITTI e segmentação por referência, e mantém competitividade em normais, saliência e pose. Em uma configuração pareada de 4B, é mais precisa e 2,48x mais rápida que uma contraparte de edição mais decodificação latente—a percepção densa pode se beneficiar do pré-treinamento generativo sem herdar sua interface de saída.
O processamento de contexto longo tem se tornado cada vez mais importante para modelos de linguagem de grande escala (LLMs), mas simplesmente estender a janela de contexto não garante a utilização eficaz de entradas longas. À medida que o comprimento da entrada cresce, a precisão frequentemente se degrada, indicando que os modelos ainda têm dificuldade em identificar e usar as evidências mais relevantes para uma pergunta. Uma abordagem promissora para melhorar a utilização de contexto longo é o treinamento em tempo de teste (TTT), que trata o contexto de teste como um exemplo de treinamento para adaptação de parâmetros específica da instância. No entanto, aplicar TTT a todo o contexto longo é proibitivamente caro, enquanto adaptar-se a segmentos amostrados aleatoriamente introduz ruído severo. Como a maioria dos segmentos em um contexto longo é irrelevante para a pergunta específica, treinar neles pode até degradar o desempenho do modelo base. Nosso estudo preliminar mostra que o TTT é altamente sensível à qualidade dos segmentos de treinamento: no LongBench-v2, o TTT em segmentos amostrados aleatoriamente prejudica o desempenho, enquanto o TTT em segmentos de referência o melhora substancialmente. Motivados por isso, propomos um método simples, o TTT Autoguiado (S-TTT): antes da adaptação, o modelo identifica os segmentos de evidência dos quais deve aprender, e o objetivo padrão de treinamento de modelagem de linguagem é aplicado apenas a esses segmentos selecionados. Em dois desafiadores benchmarks de raciocínio de contexto longo, LongBench-v2 e LongBench-Pro, o S-TTT melhora a precisão tanto para Qwen3-4B-Thinking-2507 quanto para Llama-3.1-8B-Instruct, alcançando uma melhoria relativa de até 15%.
O ajuste fino de LLMs para injetar novo conhecimento enfrenta um desafio crítico: LLMs podem memorizar rapidamente novos fatos, mas falham em usá-los para tarefas de raciocínio downstream. Formalizamos essa falha como a \textbf{Lacuna Conhecer--Usar}, caracterizada por um hiato de precisão e um desfasamento temporal entre memorização e generalização. Para compreender esse fenômeno, ajustamos finamente LLMs com conhecimento não visto e monitoramos a dinâmica espacial de permeação do conhecimento internamente usando uma técnica inovadora de intervenção chamada auto-patching. O auto-patching identifica locais de ativação onde realocar representações melhora substancialmente casos de generalização falhos. Esses resultados são consistentes com uma hipótese de desalinhamento do circuito de conhecimento: representações memorizadas podem existir internamente, mas não ser roteadas para camadas computacionalmente eficazes. Para demonstrar a praticidade dessa descoberta diagnóstica, projetamos uma estratégia heurística simples que recupera 58--75\% da margem de melhoria oracle na falha de generalização. Experimentos são realizados de forma transversal para a robustez dessa descoberta.
Neste trabalho, visamos enfrentar o desafio da memória de longo alcance em modelos de mundo panorâmicos, explorando a propriedade de equivariância rotacional das representações omnidirecionais, onde a rotação pode ser tratada como uma transformação geométrica implícita. Com base nessa percepção, propomos o PanoWorld, que simplifica as trajetórias da câmera em translações por meio de direções fixas tanto para a modelagem da ação atual quanto para a memória de longo alcance, através do Condicionamento Densos de Raios Panorâmicos (DPRC) e do Aumento de Memória com Consciência Geométrica (GMA). Em seguida, é introduzido um pipeline de treinamento em três estágios para otimizar progressivamente cada componente. Para avaliar melhor a consistência física sob variações espaciais em grande escala e diversas condições de iluminação, onde os conjuntos de dados existentes são relativamente estáveis, construímos o World360, um conjunto de dados em larga escala composto por clipes de vídeo do mundo real coletados por veículos aéreos não tripulados panorâmicos e clipes simulados de alta qualidade gerados pelo AirSim360. Extensos experimentos no World360 demonstram a eficácia do PanoWorld, superando os métodos alternativos por uma ampla margem. Nossos modelos, código de treinamento e conjunto de dados estarão disponíveis publicamente. Mais informações podem ser encontradas em nossa página do projeto: https://lihaoy-ux.github.io/panoworld-page/.
A simulação de tráfego realista e diversa é essencial para o desenvolvimento de direção autônoma. No entanto, os benchmarks predominantes recompensam predominantemente o realismo, e métodos recentes têm sido otimizados nesse sentido, deixando a diversidade subexplorada. Apresentamos o Flow-ERD, um simulador multiagente que busca conjuntamente realismo e diversidade. Sua espinha dorsal, o Agent-Type Aware Flow Matching (AFM), combina a expressividade multimodal do flow matching com a execução cinemática específica para cada tipo. Ele preserva a diversidade em granularidade fina enquanto mantém movimentos consistentes com cada tipo de agente. Um segundo estágio, o Entropy-Regularized Distillation (ERD), ajusta a distribuição de rollout em circuito fechado com um objetivo reverse-KL regularizado por entropia. Isso mitiga o deslocamento de covariância enquanto previne explicitamente o colapso em modos de alta densidade. Avaliamos o Flow-ERD com uma métrica de diversidade livre de logs juntamente com pontuações padrão de realismo. O Flow-ERD ocupa o primeiro lugar no benchmark de teste WOSAC e domina a fronteira de Pareto entre realismo e diversidade entre as linhas de base reproduzíveis. Nossa página do projeto está disponível em https://seulbinhwang.github.io/flow-erd-project-page/{aqui}.
A medicina é inerentemente multimodal, exigindo que os clínicos sintetizem informações de diversas fontes de dados. No entanto, o desenvolvimento de modelos fundamentais multimodais é limitado pelo acesso restrito a dados clínicos em grande escala e alta qualidade. Embora o PubMed Central (PMC) ofereça uma fonte complementar de dados de imagem-texto elaborados por especialistas, os recursos existentes derivados do PMC permanecem limitados em fidelidade, reprodutibilidade e validação clínica. Apresentamos o MedPMC, uma estrutura automatizada e continuamente atualizável que transforma literatura com licença permissiva em infraestrutura de alta fidelidade para modelos multimodais médicos. Aplicado a 6,1 milhões de artigos do PMC, o MedPMC selecionou 11 milhões de pares imagem-texto médicos. Avaliações de componentes mostraram desempenho robusto para triagem inicial (F1 = 93,2), detecção de figuras em múltiplos painéis (F1 = 96,5), separação de figuras (mAP = 89,8), separação e alinhamento de legendas (F1 = 81,4; ROUGE-L = 85,3) e classificação de figuras médicas (F1 = 96,5). A revisão manual por cinco anotadores, três com formação médica, constatou que 95,3% das imagens do MedPMC eram clinicamente relevantes, contra 19,7% em um conjunto de dados anterior derivado do PMC. Em 26 referências (benchmarks) abrangendo 11 especialidades, um modelo no estilo CLIP treinado com o MedPMC melhorou a AUC média zero-shot em 7,1 pontos percentuais em relação à linha de base CLIP biomédica mais forte com arquitetura correspondente, apesar de usar menos da metade dos pares imagem-texto. Como codificador visual em um modelo de linguagem grande multimodal, ele melhorou o questionamento visual médico em 1,9 e 16,9 pontos percentuais em duas referências. Em 10.524 fotografias dermatológicas do Yale New Haven Health System, melhorou o Recall@5 da recuperação morfologia-para-imagem em 11,7 pontos percentuais. Esses achados mostram que a curadoria de literatura de alta fidelidade fortalece modelos fundamentais multimodais médicos tanto em ambientes de referência quanto clínicos. Disponibilizamos publicamente a estrutura, o corpus, as referências e os modelos pré-treinados.
Segmentação e reconhecimento de fones são tarefas intrinsecamente relacionadas, porém abordagens modernas geralmente as modelam separadamente. Argumentamos que a estrutura fonética já está latente nas representações de modelos de fala auto-supervisionados (S3Ms), sendo necessário apenas orientá-los para resolver ambas as tarefas. Utilizamos o Mapeamento de Ativação Fonológica baseado em S3M (SPAM), que mapeia cada quadro da representação do S3M para um vetor de ativações de características fonológicas, como sonoridade e nasalidade. Sobre o SPAM, introduzimos duas cabeças de predição leves, simples e eficazes, sem necessidade de gradiente descendente: uma cabeça de reconhecimento e uma cabeça de segmentação. Nosso método requer menos de um minuto de transcrições fonéticas e generaliza para fones não vistos durante o treinamento. Em um conjunto diversificado de bases de dados, nossa abordagem alcança desempenho robusto tanto em segmentação quanto em reconhecimento.
Apresentamos o Soofi S 30B-A3B, um modelo fundacional soberano de código aberto, baseado em Mistura de Especialistas (MoE) com arquitetura híbrida Mamba Transformer, desenvolvido para alemão e inglês. Seu design híbrido ativa apenas 3B dos 30B parâmetros por token e mantém o cache de inferência quase constante à medida que o contexto cresce, conferindo-lhe uma vantagem decisiva de taxa de transferência em relação a modelos densos para implantação em contextos longos e alta concorrência. Pré-treinado em aproximadamente 27 trilhões de tokens, com ponderação intencionalmente maior para o alemão, o Soofi S iguala modelos densos de 14 a 27B parâmetros nos benchmarks agregados de inglês e alemão, ao mesmo tempo que alcança os melhores agregados de código em ambos os idiomas entre 17 modelos base abertos, e supera todas as linhas de base soberanas europeias em nossa comparação, incluindo aquelas com parâmetros ativos muito maiores. Entre modelos totalmente abertos, o Soofi S obtém as maiores pontuações de avaliação em inglês e alemão, superando o Olmo 3 32B e o Apertus 70B. O Soofi S foi construído de ponta a ponta na German Industrial AI Cloud, uma infraestrutura soberana de IA de nível HPC operada pela Deutsche Telekom em Munique. O Soofi S será lançado sob termos altamente permissivos e de acesso aberto: pesos, checkpoints intermediários selecionados, contabilidade completa de dados por fonte, hiperparâmetros e código de treinamento e avaliação. Onde as licenças de origem permitirem, artefatos de construção de dados serão lançados sob licenças permissivas; fontes com licenciamento comercial são documentadas com estatísticas agregadas e contabilidade exata da mistura.
Modelos de linguagem visual (VLMs) têm tornado os museus digitais interativos cada vez mais viáveis ao conectar a digitalização 3D com a exploração de artefatos em linguagem natural. No entanto, em domínios do patrimônio cultural, como a cerâmica grega antiga, a assistência confiável dos VLMs é limitada por dois desafios. Primeiro, a interpretação em aberto requer fundamentar evidências visuais 2D/3D de granularidade fina em conhecimento curatorial especializado, mas o processo de recuperação pode introduzir fontes fracas e referências não verificáveis. Segundo, quando as evidências disponíveis são incompletas, ruidosas ou ambíguas, os VLMs frequentemente produzem respostas confiantes, mas sem suporte, em vez de incerteza calibrada. Para enfrentar esses desafios, propomos o VaseMuseum, uma estrutura agente multimodal leve e modular para museus digitais inteligentes de cerâmica grega antiga. O VaseMuseum combina um museu virtual interativo com o VaseAgent, que suporta tanto imagens 2D quanto artefatos 3D por meio de percepção multimodal, raciocínio ciente de 3D, recuperação de conhecimento externo e controle de confiabilidade em tempo de inferência. Especificamente, o VaseAgent recupera evidências de fontes autoritárias da web e de museus, e o controle em nível de fonte seleciona evidências diversas e verificáveis antes da geração. Enquanto isso, o controle em nível de resposta verifica as afirmações geradas em relação ao conjunto de evidências e incentiva respostas neutras e limitadas pelas evidências quando o suporte é insuficiente ou conflitante. Além disso, um mecanismo de seleção estilo GRPO, sem necessidade de treinamento, favorece respostas com referências válidas e confiança calibrada, sem atualizar a espinha dorsal do VLM. Experimentos em uma simulação realista de museu digital mostram que o VaseMuseum melhora a validade das citações, reduz alucinações em consultas intensivas em conhecimento e produz respostas mais neutras em situações de ambiguidade, em comparação com linhas de base de VLMs habilitadas para busca.