Artigos de pesquisa em IA selecionados diariamente com traduções
A capacidade de um agente de IA moderno depende não apenas de seu modelo base, mas também de seu arcabouço (harness), que constrói prompts, gerencia estado, invoca ferramentas e coordena a execução. À medida que modelos, APIs, ambientes e requisitos evoluem, o arcabouço deve ser continuamente modificado. Antes que tal alteração possa ser feita, um desenvolvedor ou agente de codificação precisa identificar todas as localizações de código que implementam o comportamento alvo. Isso é difícil porque arcabouços de produção são grandes, fortemente acoplados e comportamentalmente distribuídos, enquanto as solicitações de modificação descrevem o que o sistema deve fazer e os repositórios são organizados por arquivos e módulos. Busca de código, indexação de repositório e processamento de contexto longo facilitam a inspeção, mas ainda deixam esse mapeamento comportamento-código a ser recuperado manualmente. A localização de comportamento é, portanto, um gargalo central na evolução de arcabouços. Apresentamos o Manual do Arcabouço (Harness Handbook), uma representação centrada em comportamento sintetizada automaticamente a partir de uma base de código de arcabouço por meio de análise estática e estruturação assistida por LLM, vinculando cada comportamento ao seu código fonte correspondente. Também introduzimos a Divulgação Progressiva Guiada por Comportamento (Behavior-Guided Progressive Disclosure, BGPD), que guia agentes desde comportamentos de alto nível até detalhes de implementação relevantes e verifica localizações candidatas em relação ao código-fonte atual. Em diversas solicitações de modificação de dois arcabouços de código aberto, o planejamento assistido pelo Manual melhora a localização de comportamento e a qualidade dos planos de edição, utilizando menos tokens do planejador, com os maiores ganhos em locais dispersos, caminhos raramente executados e interações entre módulos. Evoluir sistemas agentes complexos depende, portanto, não apenas de gerar edições, mas também de determinar onde essas edições devem ser feitas.
Apresentamos o Boogu-Image-0.1, uma família de modelos de código aberto para compreensão e geração multimodal unificada, composta pelas variantes Base, Turbo, Edit e Edit-Turbo. Ela oferece desempenho competitivo em geração de imagem a partir de texto de alta qualidade, inferência rápida, edição baseada em instruções e renderização de texto bilíngue (chinês-inglês). Sistemas multimodais fechados, como Nano-Banana-Pro e GPT-Image-2, alcançam forte desempenho por meio de integração em nível de sistema, em vez de um único modelo, mas suas práticas internas permanecem amplamente não divulgadas. Neste trabalho, demonstramos que melhorias direcionadas na compreensão do modelo, na qualidade dos dados e nos pipelines de treinamento, combinadas com escalonamento do tempo de inferência baseado em agentes, podem aprimorar substancialmente o desempenho de geração e edição, mesmo sob orçamentos computacionais altamente restritos. Avaliações abrangentes mostram que o Boogu-Image-0.1 consistentemente iguala ou supera outros modelos de código aberto em benchmarks padrão, e alcança resultados próximos aos principais sistemas fechados. Notavelmente, isso é realizado com apenas 208,62 milhões de imagens únicas. O custo teórico de treinamento do modelo base é de aproximadamente US$ 400 mil. Compartilhamos discussões práticas que consideramos valiosas para a comunidade de pesquisa em geral e disponibilizamos pesos, código e receitas sob a licença Apache 2.0 para avançar o ecossistema aberto de compreensão e geração multimodal unificada. Nosso código está disponível aqui: https://github.com/Boogu-Project/Boogu-Image.
Aprendizado por reforço com recompensas verificáveis sem dados anotados por humanos, frequentemente referido como RL zero, emergiu como um paradigma poderoso para eliciar raciocínio em cadeia de pensamento. No entanto, devido a restrições computacionais, os estudos existentes são em grande parte restritos a modelos pequenos, deixando inexploradas as dinâmicas de treinamento e as capacidades emergentes em grande escala. Para explorar significativamente essa fronteira, nosso objetivo é eliciar comportamentos de raciocínio de alta qualidade a partir do modelo. Contudo, descobrimos que a escalabilidade ingênua frequentemente sofre de baixa legibilidade, redundância de tokens e falta de profundidade adaptativa de raciocínio. Para enfrentar esses desafios, apresentamos um pipeline de treinamento estável e eficiente, incorporando otimizações algorítmicas e de sistema, como amostragem por importância truncada, correção da razão treinamento-inferência e controle de precisão mista. Nossos experimentos oferecem três descobertas principais que validam a "lição amarga" da escalabilidade: (1) escalar para 1 trilhão de parâmetros melhora significativamente a eficiência amostral e os tetos de desempenho; (2) o processo de treinamento progride sequencialmente através de uma fase inicial de descoberta seguida por uma fase de refinamento; e (3) o modelo desenvolve espontaneamente comportamentos cognitivos avançados, incluindo antropomorfismo, formatação estruturada, autoverificação, raciocínio paralelo e ansiedade de contexto, tornando heurísticas artesanais redundantes. Avaliado em sete benchmarks matemáticos, o Ring-2.5-1T-Zero alcança desempenho competitivo. Além disso, para avaliar a qualidade da cadeia de pensamento além da correção da resposta final, propomos um framework de avaliação estruturado em três dimensões: compreensibilidade, reprodutibilidade e eficiência, onde nosso modelo demonstra vantagens claras na produção de traços de raciocínio estruturados e concisos. Ao compartilhar nossos fenômenos emergentes observados, esperamos fornecer à comunidade insights mais profundos sobre comportamentos de escalabilidade, particularmente na escala de 1 trilhão.
OpenClaw emergiu como um framework de agentes líder para automação de tarefas complexas, porém enfrenta suporte insuficiente para interação GUI multiplataforma e um mecanismo de autoevolução bem estruturado. Essas deficiências limitam sua adaptação a ecossistemas de dispositivos diversos e impedem melhorias de desempenho por meio de aprendizado contínuo a partir da experiência de execução. Para resolver esses problemas, propomos o paradigma Conhecer Profundamente, Agir Perfeitamente para assistentes pessoais, que sustenta que a experiência acumulada de interação com o usuário e de execução de tarefas melhora diretamente a precisão e eficiência da execução, unificando compreensão cognitiva e execução operacional. Com base nesse paradigma, apresentamos o KnowAct-GUIClaw, um novo framework Conhecer-Rotear-Agir-Refletir projetado para abordar as deficiências de manipulação GUI do OpenClaw e romper suas limitações de autoevolução multiplataforma e recursiva. Primeiro, o agente hospedeiro utiliza a experiência de interação acumulada e conhecimento relevante para a tarefa na decomposição e alocação de tarefas de longo horizonte (Conhecer). Segundo, um subagente GUI plugável, com um sistema de memória atribuível à experiência (Conhecer) e uma biblioteca de habilidades autoevolutiva (Agir), possibilita migração multiplataforma contínua e integração de caminho rápido. Especialmente, este framework armazena continuamente perfis de usuário e feedback para melhorar a precisão da decomposição de tarefas e das chamadas de ferramentas. Experimentos extensivos em Android, iOS, HarmonyOS e Windows mostram que o KnowAct-GUIClaw atinge eficiência, precisão e adaptabilidade multiplataforma superiores. Em particular, o GUIClaw com os modelos open-source Kimi-2,6 alcança o melhor desempenho (64,1%) no benchmark MobileWorld de longo horizonte, superando todos os frameworks agentíacos e modelos agentíacos de código fechado, como Seed-2.0-Pro e GPT-5.5. Além disso, a memória baseada em conhecimento e as habilidades de execução suportadas pelo nosso framework são transferíveis entre diversos modelos base, melhorando em 8,5% com Kimi-2,6.
Apresentamos o OvisOCR2, um modelo de análise de documentos com 0,8B de parâmetros. O OvisOCR2 é projetado como um analisador ponta a ponta: dada uma imagem de página de documento, ele gera uma representação em Markdown na ordem natural de leitura, abrangendo texto, fórmulas, tabelas e regiões visuais. Construímos um motor de dados que combina anotações filtradas de documentos reais com páginas sintéticas cujas imagens renderizadas e alvos Markdown são derivados da mesma fonte HTML. O esquema de treinamento inclui ajuste fino supervisionado, aprendizado por reforço em um ramo de 4B com um design de recompensa multicomponente, destilação on-policy no modelo de 0,8B e fusão de modelos. No OmniDocBench v1.6, o OvisOCR2 alcança uma pontuação geral de 96,58, estado da arte, colocando um modelo ponta a ponta no topo deste ranking anteriormente dominado por métodos em pipeline e destacando o potencial da análise de documentos ponta a ponta. No PureDocBench, o OvisOCR2 também atinge a maior pontuação Avg3, de 75,06. Além desses dois benchmarks públicos, avaliamos o OvisOCR2 em um benchmark interno projetado para cobrir um conjunto mais amplo de cenários desafiadores e de cauda longa. O OvisOCR2 obtém o melhor desempenho geral entre os métodos comparados, fornecendo evidências adicionais de sua generalização e robustez. O OvisOCR2 está disponível em https://huggingface.co/ATH-MaaS/OvisOCR2.
Guardrails de imagem são tipicamente treinados e avaliados sob uma política de segurança fixa, tratando implicitamente a segurança como uma propriedade intrínseca de uma imagem. Implantações reais são diferentes: a mesma imagem pode ser permitida em um produto, restrita em outro e recentemente proibida quando um limite de política é alterado. Estudamos a guardrail de imagem adaptável a políticas, onde um modelo deve decidir se uma imagem viola a política fornecida atualmente e generalizar para definições de política não observadas. Apresentamos o PolicyShiftBench, um benchmark abrangente com 2.000 instâncias discriminativas de política sobre 265 imagens, onde cada imagem é emparelhada com 7,55 prompts condicionados à política em média, para testar se os modelos se adaptam à política ativa em vez de depender de prioridades de segurança no nível da imagem. Em seguida, propomos o PolicyShiftGuard, uma guardrail compacta condicionada à política treinada com uma receita de treinamento em dois estágios que combina SFT de Política Randomizada (RP-SFT) com Adaptação de Política por Pares de Limites (BP-Adapt). O BP-Adapt treina prompts correspondentes para a mesma imagem e categoria de risco usando supervisão de rótulo padrão e uma perda de comparação pareada que separa políticas de bloqueio de políticas de aprovação. Experimentos mostram que VLMs existentes e guardrails especializadas permanecem frágeis sob mudanças de política, enquanto o PolicyShiftGuard melhora substancialmente o desempenho sensível à política. O modelo de 7B alcança desempenho state-of-the-art de 76,9 F1 médio e 72,1 PSS médio no PolicyShiftBench, transfere bem para UnSafeBench e SafeEditBench e melhora o trade-off latência-desempenho com um formato de saída conciso. Ablações confirmam que pares de limites de aprovação/bloqueio correspondentes são essenciais para adaptação estável de política.
Os modelos atuais de geração visual são capazes de produzir conteúdo de alta qualidade, porém carecem de uma percepção coerente da estrutura espacial. Métodos existentes de síntese generativa de novas vistas geralmente introduzem priores geométricos explícitos, que impõem consistência espacial, mas restringem inerentemente a generalização em grandes mudanças de vista. Em contraste, métodos generativos interativos recentes favorecem a modelagem implícita da cena, oferecendo maior flexibilidade ao custo de um controle preciso da câmera e da consistência geométrica. Neste artigo, propomos o MetaView, uma estrutura de síntese de novas vistas monoculares baseada em difusão que possibilita a renderização sob grandes mudanças de vista a partir de uma única imagem. Nosso insight principal é combinar a modelagem implícita da geometria com pistas 3D explícitas mínimas, porém essenciais: incorporamos priores geométricos implícitos de uma rede de percepção geométrica feed-forward para regularizar a estrutura sem impor pipelines de reconstrução restritivos, ao mesmo tempo que utilizamos profundidade métrica para ancorar a geração a uma escala métrica. Esse projeto permite que o MetaView alcance tanto consistência geométrica quanto controlabilidade precisa. Experimentos extensivos demonstram que, sob desafiadoras mudanças de ponto de vista monoculares de grande escala, o MetaView supera significativamente os métodos existentes e exibe generalização superior. Nosso código está disponível publicamente em https://github.com/KlingAIResearch/MetaView.
Modelos de Ação do Mundo (WAMs) melhoram o aprendizado de políticas de robôs ao modelar conjuntamente ações e observações visuais futuras, utilizando a evolução da cena futura como supervisão densa para a geração de ações fundamentadas fisicamente. No entanto, um projeto comum nos WAMs existentes é gerar explicitamente vídeos futuros no momento da inferência, incorrendo em uma carga computacional substancial e dificultando a implantação em tempo real em malha fechada. O GigaWorld-Policy aborda esse problema com uma formulação centrada na ação, onde a dinâmica visual futura é utilizada durante o treinamento, enquanto a decodificação apenas de ações é empregada na inferência. Com base nessa estrutura, apresentamos o GigaWorld-Policy-0.5, um WAM centrado na ação aprimorado, projetado para um controle robótico mais eficiente. Durante o pré-treinamento, o GigaWorld-Policy-0.5 adota uma estratégia mista de Modelagem do Mundo Condicionada à Ação (AC-WM) e treinamento WAM. Isso fortalece o acoplamento entre a dinâmica visual e as ações do robô e melhora a transferibilidade das representações de ação para o aprendizado de políticas downstream. Para inferência eficiente, o GigaWorld-Policy-0.5 introduz uma arquitetura Mixture-of-Transformers que separa a modelagem da dinâmica visual e a geração de ações em especialistas dedicados, reduzindo a computação ativa durante a inferência apenas de ações e alcançando uma latência de inferência de 85 ms em uma configuração local com RTX 4090. Além disso, empregamos um pipeline AutoResearch baseado em agente para buscar sistematicamente configurações de treinamento, permitindo uma identificação mais eficiente de configurações experimentais ideais, ao mesmo tempo que reduz o tempo e a intervenção manual necessários para o ajuste de hiperparâmetros. Experimentos e ablações mostram que o GigaWorld-Policy-0.5 preserva os benefícios do treinamento com dinâmica visual futura, ao mesmo tempo que melhora a eficiência de inferência para o controle robótico.
Transformadores de Visão (ViTs) são conhecidos por exibir outliers de tokens de patch de alta norma que degradam a qualidade dos mapas de características, um problema efetivamente mitigado por tokens de registro. À medida que modelos de difusão adotam cada vez mais arquiteturas de transformadores e avançam para treinamento no espaço de pixels, eles se aproximam em forma dos ViTs, levantando a questão de se tokens de registro também são úteis para Transformadores de Difusão (DiTs). Neste trabalho, mostramos que os DiTs diferem dos ViTs em um aspecto fundamental: eles não exibem outliers de tokens de patch, mas ainda se beneficiam de registros. Curiosamente, os tokens de registro são mais eficazes em DiTs no espaço de pixels do que em DiTs no espaço latente. Ao analisar representações intermediárias, descobrimos que os tokens de registro produzem mapas de características mais limpos em níveis altos de ruído, o que pode contribuir para sua eficácia na geração no espaço de pixels. Observamos ainda que arquiteturas recentes de DiTs no espaço de pixels incorporam implicitamente mecanismos semelhantes a registros, o que pode explicar parcialmente seu forte desempenho empírico. Motivados por essas observações, propomos a Orientação de Registro, uma técnica que amplifica a contribuição dos tokens de registro responsáveis por melhorar a estrutura visual e a coerência.
Agentes autônomos autoaprimoráveis estão migrando de protótipos de pesquisa para sistemas implantados. O objetivo principal é a evolução controlável, ou adaptação, a partir da experiência com mínimo ou nenhum input humano. Este levantamento enquadra agentes autoaprimoráveis modernos como sistemas adaptativos que convertem experiência em ganhos acumulados de capacidade. Oferecemos um framework de nível sistêmico que representa um agente moderno como uma configuração que acopla um modelo fundamental a um andaime operacional de prompts, memória, ferramentas e lógica de controle. Dentro desse framework, o autoaprimoramento é formalizado como um operador de atualização autoinduzido que obtém e compromete atualizações nos parâmetros do modelo ou nos componentes do andaime. Organizamos trabalhos anteriores por alvo de atualização e pelos sinais que impulsionam a mudança, revisamos aplicações e discutimos avaliação, antes de encerrar com problemas em aberto e direções futuras. Para conveniência, acompanhamos as atualizações técnicas em https://github.com/selfimproving-agent/awesome-Self-Improving-Agents.
Embora avanços recentes em geração 3D tenham possibilitado síntese visual impressionante, métodos existentes frequentemente dependem de supervisão de difusão 2D sem mecanismos explícitos para consistência geométrica, levando a alucinações espaciais, como estruturas duplicadas e geometria desalinhada. Esses problemas tornam-se mais severos na geração 4D, onde manter consistência entre pontos de vista e evolução temporal introduz desafios adicionais, incluindo tremor, oscilação de identidade e deriva estrutural. Apresentamos Hallo4D, uma estrutura unificada e independente de modelo para mitigar alucinações espaço-temporais na geração de conteúdo 3D e 4D. Hallo4D introduz um paradigma de geração-detecção-correção que aproveita modelos de linguagem multimodal grandes (LMMs) para identificar e resumir inconsistências espaciais e temporais a partir de renderizações multi-visão e multi-quadro. Essas percepções orientam uma otimização de consistência no espaço de imagem conduzida por consenso, onde um seletor baseado em LMM avalia correções candidatas por meio de votação multi-modelo, sem exigir retreinamento ou modificações arquitetônicas. Para melhorar ainda mais a consistência temporal e a eficiência da otimização, Hallo4D incorpora amostragem de quadros-chave ciente de movimento, inicialização guiada por LMM e alinhamento de aparência. Introduzimos adicionalmente otimização ciente de exposição e poda de visibilidade para aumentar a robustez sob pontos de vista desafiadores. Experimentos extensivos demonstram que Hallo4D supera consistentemente bases de referência fortes em diversas configurações de geração 3D e 4D, fornecendo uma solução escalável e generalizável para geração de conteúdo com consciência de consistência.
A poda estruturada é uma forma eficiente de comprimir modelos de linguagem de grande escala (LLMs) do ponto de vista de hardware, mas é majoritariamente validada em tarefas de reconhecimento de múltipla escolha, enquanto os mesmos checkpoints comprimidos podem colapsar na geração de formato livre que a implantação realmente exige. Duas observações explicam essa lacuna. Primeiro, o greedy pass@1 quase desaparece após a compressão, mas o pass@k se recupera substancialmente com amostragem repetida: as gerações úteis são rebaixadas, não apagadas. Segundo, o regime recuperável falha principalmente por meio da repetição de sufixos. A recuperação deve, portanto, treinar nos próprios estados on-policy do modelo comprimido com supervisão densa em nível de token, o que a Destilação On-Policy (OPD) proporciona ao reutilizar o modelo pré-compressão como um professor congelado. No entanto, rollouts on-policy longos gastam o orçamento inicial de recuperação em sufixos repetitivos de baixa informação, atrasando a redução da perda. Para mitigar esse desperdício, propomos \shortopd, um cronograma de OPD curto-para-longo que detecta sufixos repetitivos confirmados pelo professor, trata o prefixo sobrevivente como o comprimento efetivo de cada rollout e aloca orçamentos futuros de rollout aos comprimentos efetivos que a política pode utilizar atualmente. Em tarefas de matemática, código e geração aberta, \shortopd eleva a pontuação do modelo comprimido para cerca de 9 vezes seu valor não recuperado e 1,6 a 4,4 vezes as receitas de recuperação padrão (SFT sem KD, KD e SeqKD), e iguala um horizonte fixo de rollout de 8192 tokens dentro de dois pontos usando um quarto do tempo de treinamento (8,5 vs. 35,9 horas) e 71% menos tokens de rollout. Esperamos que essa receita ajude a mover a poda estruturada além de ganhos marginais em perplexidade e benchmarks de múltipla escolha, um passo mais próximo da qualidade de geração pronta para implantação.
À medida que os Modelos de Linguagem de Grande Porte (LLMs) evoluem para agentes autônomos, a necessidade de uma infraestrutura unificada de avaliação torna-se crítica. No entanto, os pipelines atuais de avaliação permanecem altamente fragmentados e fortemente acoplados, dificultando a reprodutibilidade e gerando engenharia redundante. Para enfrentar esse desafio, apresentamos o AgentCompass, uma infraestrutura de código aberto, leve e extensível para avaliar agentes baseados em LLMs. O AgentCompass organiza o processo de avaliação em torno de três componentes independentes, nomeadamente Benchmark, Harness e Environment, permitindo configurações flexíveis sem a necessidade de reimplementar lógicas de execução complexas. Além disso, conta com um tempo de execução assíncrono tolerante a falhas e ferramentas abrangentes de análise de trajetória para diagnosticar de forma transparente modos de falha sutis, como o reward hacking. Com suporte nativo a mais de 20 benchmarks em cinco dimensões de capacidade, o AgentCompass oferece à comunidade uma infraestrutura escalável e reproduzível para impulsionar a pesquisa em agentes.
Quando um assistente inteligente deve intervir sem ser solicitado? Vídeos egocêntricos contínuos oferecem um contexto rico e em evolução que possibilita uma nova forma de assistência: uma que é proativa em vez de meramente reativa. No entanto, as abordagens existentes ou aguardam passivamente por consultas do usuário ou tratam cada evento detectado como uma situação que exige resposta, sem considerar o histórico do usuário, sua atividade atual ou se a assistência seria realmente bem-vinda. Reformulamos a assistência proativa como um problema de decisão dependente de contexto: o agente não só deve perceber o que está acontecendo, mas também raciocinar sobre o contexto temporal acumulado para determinar quando e se deve intervir. Para isso, apresentamos o Vinci2, um sistema proativo de assistência egocêntrica que avança o assistente de dispositivo Vinci da resposta reativa para a proatividade. No lado da avaliação, apresentamos o EgoServe, o primeiro benchmark em grande escala para assistência proativa em vídeo egocêntrico contínuo. O EgoServe compreende mais de 3.000 instâncias de serviço organizadas em 4 horizontes de memória temporal, variando de alertas de segurança imediatos a treinamento de hábitos de longo prazo, em 10 categorias de serviço. No lado da modelagem, propomos o EgoMemo, um agente livre de treinamento e aumentado por memória que mantém três representações complementares de memória: resumos temporais em múltiplas escalas, um grafo de conhecimento semântico e arquivos de embeddings visuais. A cada passo temporal, o EgoMemo realiza raciocínio aumentado por recuperação (retrieval-augmented reasoning) para determinar se a assistência é justificada e, se for, produz respostas contextualmente fundamentadas. Experimentos demonstram que o EgoMemo estabelece linhas de base fortes no EgoServe, mantendo-se competitivo em benchmarks egocêntricos existentes. Nosso benchmark e código estão disponíveis publicamente em https://sitonggong.github.io/EgoServe-page/{Vinci2}.
A atribuição de falhas em sistemas agentivos baseados em LLM, ou seja, identificar quais etapas em uma trajetória de falha causaram o fracasso da tarefa, é fundamental para depurar e melhorar esses sistemas. As abordagens existentes dependem de pipelines baseados em prompt, que são computacionalmente caros, ou exigem pós-treinamento em trajetórias de falha com anotações de erro em nível de etapa, que são caras de coletar e difíceis de escalar. Argumentamos que um modelo prático de atribuição de falhas deve ser leve e treinável sem supervisão em nível de etapa sobre dados de falha. Para isso, abordamos a atribuição não supervisionada de falhas, ou seja, treinamento exclusivamente em trajetórias bem-sucedidas e identificação de etapas de erro no momento da inferência, dada uma trajetória de falha. Propomos o OAT, que trata esse problema como aprendizado de uma classe com equações diferenciais controladas neurais, modelando o padrão dinâmico de trajetórias bem-sucedidas no espaço latente. No momento da inferência, cada etapa em uma trajetória de falha recebe uma pontuação de anomalia com base em seu desvio da dinâmica aprendida em trajetórias bem-sucedidas, que é então usada para formar um conjunto de etapas de erro. Com treinamento em apenas 100 trajetórias bem-sucedidas, experimentos mostram que o OAT é 200 a 5000 vezes mais rápido que as linhas de base baseadas em prompt e, ao mesmo tempo, supera-as consistentemente em conjuntos de dados dentro do domínio e fora da distribuição, com pontuações F1 de +20% e +7%, respectivamente, demonstrando que o OAT é uma direção promissora e eficiente para diagnosticar falhas em sistemas agentivos.
Modelos de difusão de desruído discreto (DDMs) surgiram recentemente como uma alternativa convincente à modelagem autorregressiva (AR) para dados discretos, oferecendo capacidades de geração paralela e refinamento global iterativo. Diferentemente da difusão contínua, onde o espaço de estados é fixo, os DDMs são fundamentalmente moldados pela forma como o espaço de estados discreto é construído: o esquema de tokenização, a topologia do vocabulário e os alfabetos estruturais específicos do domínio. Este trabalho introduz um arcabouço conceitual unificado que vê os modelos de difusão discreta através da construção do espaço de estados discreto subjacente. Dentro desse arcabouço, formulações existentes, incluindo abordagens baseadas em matriz de transição, mascaramento/estado absorvente e pontuação/razão, emergem como diferentes instanciações de um espaço de design comum. O arcabouço ainda expõe compromissos de design típicos entre objetivos de treinamento, algoritmos de inferência, comportamento de escalonamento, otimização de sistemas e protocolos de avaliação, sugerindo várias direções promissoras para pesquisas futuras.
Agentes baseados em Modelos de Linguagem de Grande Porte (LLMs) evoluíram da geração de respostas para a execução de tarefas de múltiplas etapas, utilizando ferramentas, observando os resultados e decidindo iterativamente a próxima ação. A maioria dos sistemas de agentes opera em desktops ou servidores, que suportam o uso de ferramentas e a automação de tarefas. Dispositivos móveis também constituem ambientes importantes para agentes, por serem amplamente acessíveis e conterem dados, sensores e aplicativos de uso cotidiano dos usuários. Agentes móveis existentes operam principalmente em smartphones por meio de ações na interface gráfica do usuário (GUI), como toques, deslizes e digitação, que frequentemente formam longas sequências dependentes da interface, não conseguem acessar diretamente as capacidades do dispositivo e tornam os limites de execução difíceis de definir. Apresentamos o PalmClaw, um framework de agente de código aberto executado nativamente em telefones móveis que gerencia sessões, memória, habilidades, ferramentas e o ciclo do agente diretamente no dispositivo. O PalmClaw expõe as capacidades do dispositivo como ferramentas do dispositivo com argumentos explícitos, resultados estruturados e limites de execução claramente definidos. Esse design permite que os agentes utilizem as capacidades móveis diretamente, mantendo cada ação explícita e controlada. Experimentos mostram uma melhoria relativa de 11,5% no sucesso da tarefa e uma redução de 94,9% no tempo de conclusão em relação à melhor baseline, com menor carga de configuração e rastros que ilustram como os limites de execução são aplicados. O código está disponível em https://github.com/ModalityDance/PalmClaw.
A otimização de agentes de horizonte longo depende cada vez mais de mecanismos baseados em reflexão, nos quais um modelo de linguagem grande (LLM) atua como otimizador para diagnosticar falhas do agente e aprimorar suas políticas. No entanto, rastros de execução reais são difíceis de usar diretamente para otimização: grandes coleções de rastros são frequentemente redundantes e heterogêneas, tornando a otimização ineficiente e propensa a sobreajuste a falhas de baixo valor; paralelamente, cada trajetória individual também contém muitas etapas irrelevantes, enquanto métodos ingênuos de redução de contexto, como truncamento ou janelas deslizantes, podem descartar evidências causalmente importantes e gerar sinais de otimização enganosos. Para resolver esse dilema, apresentamos o STRACE (Análise Estrutural de Trajetória e Extração Causal), uma estrutura que constrói contextos de otimização com alta relação sinal-ruído para uma otimização mais precisa e eficaz. No nível do lote, o STRACE extrai padrões de falha para filtrar rastros redundantes e reter falhas representativas; dentro de cada rastro selecionado, ele realiza localização causal sobre um grafo de dependência textual para remover etapas não causais e identificar o verdadeiro módulo de causa raiz para otimização. Resultados empíricos demonstram que o STRACE supera significativamente as linhas de base padrão de filtragem de contexto. Notavelmente, em uma tarefa desafiadora de verificação formal (VeruSAGE-Bench), ele otimiza com sucesso agentes projetados por especialistas humanos, proporcionando uma melhoria de 1,4 vez na taxa de sucesso (de 42,5% para 58,5%). O código está disponível em https://github.com/moomight/STRACE.
Aprendizado por reforço com penalidade de comprimento pode encurtar o raciocínio em cadeia de pensamento, ao mesmo tempo que oculta uma influência que direciona a resposta do modelo. Em nossos experimentos, o treinamento com penalidades de comprimento não impede que dicas enganosas influenciem os modelos, embora as cadeias de pensamento dos modelos mencionem a dica com muito menos frequência. Uma avaliação de precisão por token consideraria essas execuções bem-sucedidas por utilizarem menos tokens de raciocínio com pouca perda de precisão; ela deixaria de captar se o traço restante ainda revela o que motivou a resposta. Treinamos variantes do Qwen3-4B e Qwen3-14B com diferentes comprimentos-alvo de cadeia e, em seguida, as avaliamos com intervenções de dicas tendenciosas no conjunto reservado MMLU-Pro-R e em quatro benchmarks de transferência. A compressão reduz drasticamente os tokens de raciocínio, preserva a maior parte da precisão em múltipla escolha e mantém a influência da dica próxima à linha de base. No alvo mais forte, a fidelidade limite inferior cai para 63,1% da linha de base para o Qwen3-14B e para 69,4% para o Qwen3-4B; a taxa bruta com que um monitor detecta o uso da dica cai de 69% para 49% e de 60% para 48%. Para separar comprimento de conteúdo, excluímos aleatoriamente sentenças de cadeias de base não comprimidas até que o texto restante corresponda ao comprimento comprimido. Mesmo após essa correspondência de comprimento, as cadeias comprimidas revelam a dica com 7 a 35 pontos percentuais menos frequência do que as cadeias de base que encurtamos aleatoriamente, para ambos os tamanhos de Qwen3 e todas as cinco distribuições de avaliação. Portanto, a compressão faz mais do que encurtar o raciocínio, removendo preferencialmente as pistas que um monitor precisa para ver o que influenciou a resposta. Em conjunto, esses resultados revelam uma fronteira compressão-monitorabilidade na qual um raciocínio mais barato pode preservar as respostas enquanto torna mais difícil detectar as influências por trás delas.
Agentes de IA para testes de penetração estão se tornando cada vez mais viáveis como sistemas de segurança ofensiva, mas os benchmarks atuais ainda oferecem orientação limitada sobre quais terão melhor desempenho em alvos do mundo real. Protocolos de avaliação existentes avaliam e otimizam objetivos predefinidos, como captura da bandeira (capture-the-flag), execução remota de código, reprodução de explorações ou similaridade de trajetórias, em ambientes simplificados ou restritos. Essas ferramentas são valiosas para medir capacidades delimitadas, mas não capturam adequadamente a complexidade, a exploração aberta e a tomada de decisão estratégica exigidas em testes de penetração realistas. Neste artigo, apresentamos um protocolo prático de avaliação que desloca a avaliação da conclusão de tarefas para a descoberta validada de vulnerabilidades, permitindo a avaliação em alvos suficientemente complexos que abrangem múltiplas superfícies de ataque e classes de vulnerabilidade. O protocolo combina verdade fundamental estruturada com correspondência semântica baseada em LLM para identificar vulnerabilidades, resolução bipartida para pontuar descobertas sob ambiguidade realista, manutenção contínua da verdade fundamental, avaliação repetida e cumulativa de agentes estocásticos, métricas de eficiência e seleção reduzida de conjuntos para experimentação sustentável. Este protocolo avança o estado da arte ao permitir uma comparação mais realista e operacionalmente informativa de agentes de IA para testes de penetração. Para garantir reprodutibilidade, também disponibilizamos a verdade fundamental anotada por especialistas e o código do protocolo de avaliação proposto: https://github.com/ethiack/ethibench.
Os sistemas autônomos de UAV dependem cada vez mais de modelos de linguagem grandes multimodais (MLLMs) para operar em ambientes complexos do mundo real. Tais cenários incorporados exigem não apenas a compreensão do espaço circundante, mas também a manutenção de uma representação coerente do próprio agente. No entanto, as abordagens e benchmarks existentes voltados para UAV permanecem em grande parte centrados no ambiente, focando principalmente em tarefas de compreensão espacial, com a autoconsciência do agente permanecendo implícita. Para preencher essa lacuna, apresentamos o SIS-Bench, um benchmark para avaliar a inteligência espacial incorporada em cenários de UAV sob uma formulação unificada de self-in-space. O SIS-Bench organiza a avaliação ao longo de duas dimensões complementares, espaço e self, e uma hierarquia de três níveis de percepção, memória e raciocínio. Ele contém 4.856 pares pergunta-resposta em 13 tarefas derivadas de 1.646 vídeos reais de UAV por meio de um pipeline de construção condicionado a tarefas, com verificação por especialistas. Avaliações extensas revelam que os MLLMs atuais apresentam limitações fundamentais na modelagem de processos dinâmicos e centrados no agente. Em particular, observamos um desequilíbrio claro entre cognição espacial e autoconsciência, bem como uma degradação progressiva do desempenho entre os níveis cognitivos. Motivados por essas descobertas, exploramos ainda uma representação consciente de movimento que incorpora dinâmicas relacionadas ao self por meio de fluxo óptico e fusão de características visuais. Resultados experimentais mostram que modelar o movimento do agente melhora consistentemente o desempenho de percepção e memória, não apenas na cognição espacial, mas também na autoconsciência, e se generaliza para tarefas posteriores de tomada de decisão de UAV. Nossos resultados destacam a importância da autoconsciência para o avanço da inteligência espacial incorporada e fornecem tanto um novo benchmark quanto evidências empíricas para a modelagem de self-in-space consciente de movimento.
Simuladores interativos tornaram-se ferramentas poderosas para treinar agentes incorporados e gerar dados visuais sintéticos, mas os simuladores fotorrealistas existentes sofrem de generalidade, programabilidade e velocidade de renderização limitadas. Abordamos essas limitações introduzindo o SPEAR: Um Simulador para Pesquisa em IA Incorporada Fotorrealista. Em seu núcleo, o SPEAR é uma biblioteca Python que pode se conectar e controlar programaticamente qualquer aplicação Unreal Engine (UE) por meio de uma arquitetura modular de plugins. O SPEAR expõe mais de 14 mil funções exclusivas da UE para Python, representando um aumento de uma ordem de grandeza na funcionalidade programável em relação aos simuladores baseados em UE existentes. Além disso, uma única instância do SPEAR pode renderizar imagens fotorrealistas de beleza em 1920x1080 diretamente em um array NumPy do usuário a 73 quadros por segundo — uma ordem de grandeza mais rápido que os plugins UE existentes — enquanto também fornece modalidades de imagem ground truth que não estão disponíveis em nenhum simulador baseado em UE existente (por exemplo, uma decomposição intrínseca de imagem não difusa, IDs de material e parâmetros de sombreamento baseados em física). Finalmente, o SPEAR introduz um modelo de programação de alto nível expressivo que permite aos usuários especificar grafos complexos de trabalho da UE com dependências arbitrárias de dados entre itens de trabalho, e executar esses grafos deterministicamente dentro de um único frame da UE. Demonstramos a utilidade do SPEAR por meio de uma coleção diversificada de aplicações de exemplo: controle de múltiplos agentes incorporados com espaços de ação distintos (por exemplo, humanos, carros e robôs) em vários projetos UE in-the-wild; renderização de ambientes fotorrealistas em escala de cidade; manipulação dos sistemas de geração procedural de conteúdo da UE; renderização de imagens multi-visão sincronizadas de rostos humanos detalhados; coordenação de uma co-simulação interativa com o simulador físico MuJoCo; e edição de cenas com linguagem natural por meio de um assistente de codificação de IA.
Apresentamos o AffectFlow-DINO, um sistema de aprendizado multitarefa para o 11º desafio ABAW que estende uma arquitetura determinística padrão com uma cabeça de fluxo retificado condicional para modelar a ambiguidade inerente do comportamento facial em condições reais. Em vez de prever uma única estimativa de afeto, o modelo aprende uma distribuição generativa condicional, possibilitando previsões um-para-muitos com consciência de incerteza por meio de amostragem de Monte Carlo. O sistema estima conjuntamente valência-excitação contínuas, classifica oito expressões faciais e detecta doze Unidades de Ação a partir de imagens faciais estáticas. Construído sobre um backbone DINOv3 ViT-S/16 congelado, estudos de ablação extensivos mostram que a decodificação de fluxo retificado melhora consistentemente a previsão determinística, particularmente para a estimativa de valência-excitação (CCC-V +0,058). Mostramos ainda que a calibragem de limiar post-hoc recupera efetivamente o desempenho em classes raras severamente desbalanceadas (ex.: Medo: 3,8% → 33,1%) sem necessidade de retreinamento. Combinado com ajuste fino do backbone e reajuste do fluxo, o modelo final alcança P_{MTL}=1,177, superando substancialmente a linha de base oficial do desafio de P_{MTL}=0,45.
Linguagens com semântica estática rica, como Rust, oferecem garantias mais fortes para código gerado por IA, mas seu rigor torna a geração mais difícil. Compiladores padrão podem fornecer feedback útil após a geração, mas não orientam as etapas de geração intermediárias, como aquelas durante a decodificação autoregressiva de LLMs. A decodificação restrita intervém mais cedo, rejeitando tokens inválidos durante a amostragem, mas exige acesso ao modelo em caixa-branca e uma reimplementação custosa para restrições semânticas. Apresentamos a compilação generativa, a primeira abordagem para obter feedback do compilador sobre programas parciais durante a geração. O dispositivo técnico central é um *selador*: uma transformação leve, majoritariamente guiada por sintaxe, que converte programas parciais em programas completos que compiladores padrão podem diagnosticar. Ele é projetado para que programas parciais possíveis de completar nunca sejam rejeitados, preservando contexto de código suficiente para detectar becos sem saída genuínos precocemente. Construímos tal selador sobre um cálculo central semelhante a Rust e provamos que ele satisfaz essas propriedades, tudo mecanicamente validado em Lean. Estendemos o método para o primeiro verificador de programas parciais para Rust real. Avaliamos nossa abordagem em tarefas desafiadoras de codificação Rust em nível de repositório, abrangendo tanto modelos de ponta em caixa-preta quanto de peso aberto. Mostramos que a compilação generativa reduz saídas não compiláveis e melhora a correção funcional, em comparação com o feedback padrão pós-geração. Ela faz isso detectando uma ampla gama de erros perto de sua fonte e no início da geração, reduzindo assim cascatas de erros e permitindo diagnósticos focados. De forma mais ampla, a compilação generativa é um passo para tornar os compiladores cidadãos de primeira classe da programação assistida por IA, ativos durante a geração, em vez de uma verificação separada pós-geração.