Artigos de Pesquisa em IA Diários

Podem os grandes modelos de linguagem (LLMs) servir diretamente como poderosos modelos mundiais para agentes baseados em modelos? Embora existam lacunas entre o conhecimento prévio dos LLMs e a dinâmica do ambiente especificado, nosso estudo revela que essas lacunas podem ser superadas alinhando um LLM com seu ambiente implantado e esse "alinhamento mundial" pode ser alcançado de forma eficiente por meio da aprendizagem de regras nos LLMs. Dado o rico conhecimento prévio dos LLMs, apenas algumas regras adicionais são suficientes para alinhar as previsões do LLM com a dinâmica do ambiente especificado. Para isso, propomos uma abordagem neuro-simbólica para aprender essas regras sem gradientes por meio dos LLMs, induzindo, atualizando e podando regras com base em comparações entre trajetórias exploradas pelo agente e previsões do modelo mundial. O modelo mundial resultante é composto pelo LLM e pelas regras aprendidas. Nosso agente LLM incorporado "WALL-E" é construído com base no controle preditivo do modelo (MPC). Ao otimizar ações de antecipação com base no modelo mundial preciso, o MPC melhora significativamente a eficiência da exploração e da aprendizagem. Comparado aos agentes LLM existentes, o raciocínio do WALL-E requer apenas algumas regras principais em vez de trajetórias em buffer verbosas incluídas na entrada do LLM. Em desafios de mundo aberto no Minecraft e ALFWorld, o WALL-E alcança taxas de sucesso mais altas do que os métodos existentes, com menores custos de tempo de replanejamento e número de tokens usados para o raciocínio. No Minecraft, o WALL-E supera as linhas de base em 15-30% na taxa de sucesso, enquanto custa de 8 a 20 rodadas de replanejamento a menos e apenas 60-80% dos tokens. No ALFWorld, sua taxa de sucesso atinge um novo recorde de 95% após apenas 6 iterações.

Foi demonstrado que o código é eficaz em aprimorar as habilidades de raciocínio matemático de grandes modelos de linguagem devido à sua precisão e exatidão. Trabalhos anteriores envolvendo pré-treinamento matemático contínuo frequentemente incluem código que utiliza pacotes relacionados à matemática, os quais são principalmente projetados para áreas como engenharia, aprendizado de máquina, processamento de sinais ou teste de módulos, em vez de estarem diretamente focados no raciocínio matemático. Neste artigo, introduzimos um método inovador para gerar código matemático acompanhado de passos de raciocínio correspondentes para pré-treinamento contínuo. Nossa abordagem começa com a construção de um conjunto de dados de pré-treinamento matemático contínuo de alta qualidade, incorporando dados da web relacionados à matemática, código usando pacotes matemáticos, livros didáticos de matemática e dados sintéticos. Em seguida, construímos passos de raciocínio extraindo expressões em LaTeX, as condições necessárias para as expressões e os resultados das expressões do conjunto de dados coletado anteriormente. Com base nessas informações extraídas, geramos código correspondente para capturar com precisão o processo de raciocínio matemático. Anexando o código gerado a cada passo de raciocínio resulta em dados compostos por passos de raciocínio em linguagem natural emparelhados com seu código correspondente. Combinando esses dados com o conjunto de dados original resulta em um corpus de pré-treinamento matemático de alto desempenho de 19,2 bilhões de tokens, ao qual denominamos MathCode-Pile. Treinar vários modelos base populares com este corpus melhora significativamente suas habilidades matemáticas, levando à criação da família de modelos MathCoder2. Todo o nosso código de processamento de dados e treinamento é de código aberto, garantindo total transparência e fácil reprodutibilidade de todo o processo de coleta de dados e treinamento. O código está disponível em https://github.com/mathllm/MathCoder2.

Agentes MLLM demonstram potencial para tarefas corporificadas complexas ao recuperar dados de trajetória multimodais relevantes para a tarefa. No entanto, os métodos de recuperação atuais focam principalmente em similaridades de nível superficial de pistas textuais ou visuais em trajetórias, negligenciando sua eficácia para a tarefa específica em questão. Para abordar esse problema, propomos um método inovador, MLLM como Recuperador (MART), que aprimora o desempenho de agentes corporificados ao utilizar dados de interação para ajustar um recuperador MLLM com base em aprendizado de preferência, de modo que o recuperador considere totalmente a eficácia das trajetórias e as priorize para tarefas não vistas. Também introduzimos Abstração de Trajetória, um mecanismo que aproveita as capacidades de sumarização dos MLLMs para representar trajetórias com menos tokens, preservando informações-chave, permitindo que os agentes compreendam melhor marcos na trajetória. Resultados experimentais em diversos ambientes demonstram que nosso método melhora significativamente as taxas de sucesso da tarefa em cenas não vistas em comparação com métodos de referência. Este trabalho apresenta um novo paradigma para recuperação multimodal em agentes corporificados, ajustando um MLLM de propósito geral como o recuperador para avaliar a eficácia da trajetória. Todos os conjuntos de tarefas de referência e modificações de código do simulador para espaços de ação e observação serão disponibilizados.

A quantização é essencial para implementar Modelos de Linguagem Grandes (LLMs) ao aprimorar a eficiência de memória e a velocidade de inferência. Os métodos existentes para quantização de ativação abordam principalmente os valores discrepantes por canal, muitas vezes negligenciando os valores discrepantes por token, o que leva à dependência de uma quantização dinâmica por token custosa. Para lidar com isso, introduzimos o PrefixQuant, uma técnica inovadora que isola tokens discrepantes offline sem a necessidade de retrabalho. Especificamente, o PrefixQuant identifica tokens discrepantes de alta frequência e os prefixa no cache KV, evitando a geração de tokens discrepantes durante a inferência e simplificando a quantização. Até onde sabemos, o PrefixQuant é o primeiro a permitir uma quantização estática por tensor eficiente para superar a quantização dinâmica por token cara. Por exemplo, no Llama-3-8B W4A4KV4 (peso de 4 bits, ativação de 4 bits e cache KV de 4 bits), o PrefixQuant com quantização estática por tensor alcança uma perplexidade de 7,43 no WikiText2 e uma precisão média de 71,08% em 5 tarefas de raciocínio de senso comum, superando métodos anteriores de quantização dinâmica por token como o QuaRot com uma melhoria de 0,98 na perplexidade e +5,98 pontos na precisão. Além disso, a velocidade de inferência dos modelos quantizados W4A4 usando o PrefixQuant é de 1,60x a 2,81x mais rápida do que os modelos FP16 e supera os modelos QuaRot em 1,2x a 1,3x. Nosso código está disponível em https://github.com/ChenMnZ/PrefixQuant.

Os Modelos de Linguagem de Grande Escala (LLMs), com sua capacidade excepcional de lidar com uma ampla gama de tarefas, impulsionaram avanços significativos no enfrentamento de tarefas de raciocínio e planejamento, em que a decomposição de problemas complexos em fluxos de trabalho executáveis é um passo crucial nesse processo. Os frameworks existentes de avaliação de fluxo de trabalho geralmente se concentram apenas no desempenho holístico ou sofrem de limitações como cobertura de cenários restrita, estruturas de fluxo de trabalho simplistas e padrões de avaliação frouxos. Com esse propósito, apresentamos o WorFBench, um benchmark unificado de geração de fluxo de trabalho com cenários multifacetados e estruturas de fluxo de trabalho em grafo intrincadas. Além disso, apresentamos o WorFEval, um protocolo de avaliação sistemático que utiliza algoritmos de correspondência de subsequências e subgrafos para quantificar com precisão as capacidades de geração de fluxo de trabalho do agente LLM. Através de avaliações abrangentes em diferentes tipos de LLMs, descobrimos lacunas distintas entre as capacidades de planejamento de sequência e de grafo dos agentes LLM, com até mesmo o GPT-4 exibindo uma lacuna de cerca de 15%. Também treinamos dois modelos de código aberto e avaliamos suas capacidades de generalização em tarefas retidas. Além disso, observamos que os fluxos de trabalho gerados podem aprimorar tarefas subsequentes, permitindo que alcancem desempenho superior com menos tempo durante a inferência. O código e o conjunto de dados estarão disponíveis em https://github.com/zjunlp/WorFBench.

Apresentamos o Agente S, um framework agente aberto que possibilita interação autônoma com computadores por meio de uma Interface Gráfica do Usuário (GUI), com o objetivo de transformar a interação humano-computador automatizando tarefas complexas e multi-etapas. O Agente S visa lidar com três desafios-chave na automação de tarefas computacionais: aquisição de conhecimento específico do domínio, planejamento em horizontes de tarefa longos e lidar com interfaces dinâmicas e não uniformes. Para isso, o Agente S introduz planejamento hierárquico aumentado por experiência, que aprende a partir de busca de conhecimento externo e recuperação de experiência interna em múltiplos níveis, facilitando o planejamento eficiente de tarefas e execução de subtarefas. Além disso, emprega uma Interface Agente-Computador (IAC) para elicitar melhor as capacidades de raciocínio e controle de agentes de GUI com base em Modelos de Linguagem Multimodal Grande (MLLMs). A avaliação no benchmark OSWorld mostra que o Agente S supera a linha de base em 9,37% na taxa de sucesso (uma melhoria relativa de 83,6%) e alcança um novo estado da arte. Uma análise abrangente destaca a eficácia dos componentes individuais e fornece insights para melhorias futuras. Além disso, o Agente S demonstra ampla generalizabilidade para diferentes sistemas operacionais em um novo benchmark WindowsAgentArena recém-lançado. Código disponível em https://github.com/simular-ai/Agent-S.

Os modelos de difusão tornaram-se a abordagem dominante para geração visual. Eles são treinados através da remoção de ruído de um processo Markoviano que gradualmente adiciona ruído à entrada. Argumentamos que a propriedade Markoviana limita a capacidade dos modelos de utilizar plenamente a trajetória de geração, levando a ineficiências durante o treinamento e inferência. Neste artigo, propomos DART, um modelo baseado em transformadores que unifica autoregressivo (AR) e difusão dentro de um framework não Markoviano. DART remove iterativamente patches de imagem espacialmente e espectralmente usando um modelo AR com a mesma arquitetura dos modelos de linguagem padrão. DART não depende de quantização de imagem, permitindo modelagem de imagem mais eficaz mantendo a flexibilidade. Além disso, DART treina de forma integrada com dados de texto e imagem em um modelo unificado. Nossa abordagem demonstra desempenho competitivo em tarefas de geração condicionada por classe e texto-para-imagem, oferecendo uma alternativa escalável e eficiente aos modelos de difusão tradicionais. Através deste framework unificado, DART estabelece um novo referencial para síntese de imagem escalável e de alta qualidade.

Os modelos de difusão discreta têm obtido sucesso em tarefas como geração de imagens e modelagem de linguagem mascarada, mas enfrentam limitações na edição de conteúdo controlada. Apresentamos o DICE (Inversão Discreta para Edição Controlada), a primeira abordagem que possibilita a inversão precisa para modelos de difusão discreta, incluindo difusão multinomial e modelos generativos mascarados. Ao gravar sequências de ruído e padrões de mascaramento durante o processo de difusão reversa, o DICE possibilita a reconstrução precisa e a edição flexível de dados discretos sem a necessidade de máscaras predefinidas ou manipulação de atenção. Demonstramos a eficácia do DICE em domínios de imagens e texto, avaliando-o em modelos como VQ-Diffusion, Paella e RoBERTa. Nossos resultados mostram que o DICE preserva alta fidelidade dos dados enquanto aprimora as capacidades de edição, oferecendo novas oportunidades para manipulação de conteúdo detalhada em espaços discretos. Para acessar a página do projeto, visite https://hexiaoxiao-cs.github.io/DICE/.

Os modelos de difusão melhoraram significativamente a geração visual, mas são prejudicados pela lentidão de geração devido à natureza computacionalmente intensiva da resolução de EDOs generativas. O fluxo retificado, uma solução amplamente reconhecida, melhora a velocidade de geração endireitando o caminho da EDO. Seus principais componentes incluem: 1) o uso da forma de difusão de correspondência de fluxo, 2) a utilização de previsão em negrito v-prediction e 3) a realização de retificação (também conhecida como refluxo). Neste artigo, argumentamos que o sucesso da retificação reside principalmente no uso de um modelo de difusão pré-treinado para obter pares correspondentes de ruído e amostras, seguido de um retrabalho com esses pares de ruído-amostra correspondentes. Com base nisso, os componentes 1) e 2) são desnecessários. Além disso, destacamos que a retidão não é um alvo de treinamento essencial para a retificação; ao invés disso, é um caso específico de modelos de correspondência de fluxo. O alvo de treinamento mais crítico é alcançar um caminho de EDO aproximado de primeira ordem, que é inherentemente curvo para modelos como DDPM e Sub-VP. Com base nessa percepção, propomos a Difusão Retificada, que generaliza o espaço de design e o escopo de aplicação da retificação para abranger a categoria mais ampla de modelos de difusão, em vez de ser restrito a modelos de correspondência de fluxo. Validamos nosso método no Stable Diffusion v1-5 e no Stable Diffusion XL. Nosso método não apenas simplifica significativamente o procedimento de treinamento de trabalhos anteriores baseados em fluxo retificado (por exemplo, InstaFlow), mas também alcança um desempenho superior com um custo de treinamento ainda menor. Nosso código está disponível em https://github.com/G-U-N/Rectified-Diffusion.

Neste trabalho, propomos um método inovador (GLOV) que permite que Modelos de Linguagem Grandes (LLMs) atuem como Otimizadores implícitos para Modelos de Visão-Linguagem (VLMs) a fim de aprimorar tarefas de visão subsequentes. Nosso GLOV meta-solicita um LLM com a descrição da tarefa subsequente, consultando-o para obter prompts adequados para VLMs (por exemplo, para classificação de zero-shot com CLIP). Esses prompts são classificados de acordo com uma medida de pureza obtida por meio de uma função de adequação. Em cada etapa de otimização respectiva, os prompts classificados são alimentados como exemplos em contexto (com suas precisões) para equipar o LLM com o conhecimento do tipo de prompts de texto preferidos pelo VLM subsequente. Além disso, também direcionamos explicitamente o processo de geração do LLM em cada etapa de otimização, adicionando especificamente um vetor de diferença de deslocamento das incrustações das soluções positivas e negativas encontradas pelo LLM, em etapas de otimização anteriores, à camada intermediária da rede para a próxima etapa de geração. Esse vetor de deslocamento direciona a geração do LLM para o tipo de linguagem preferido pelo VLM subsequente, resultando em um desempenho aprimorado nas tarefas de visão subsequentes. Avaliamos abrangentemente nosso GLOV em 16 conjuntos de dados diversos usando duas famílias de VLMs, ou seja, modelos de duplo codificador (por exemplo, CLIP) e codificador-decodificador (por exemplo, LLaVa) - mostrando que as soluções descobertas podem aprimorar o desempenho de reconhecimento em até 15,0% e 57,5% (3,8% e 21,6% em média) para esses modelos.

Recentemente, os grandes modelos de linguagem e visão (LLVMs) têm recebido significativa atenção e esforços de desenvolvimento devido ao seu notável desempenho de generalização em uma ampla gama de tarefas que exigem habilidades de percepção e cognitivas. Um fator-chave por trás de seu sucesso é a sua arquitetura simples, que consiste em um codificador de visão, um projetor e um grande modelo de linguagem (LLM). Apesar de suas conquistas em tarefas avançadas de raciocínio, seu desempenho em tarefas fundamentais relacionadas à percepção (por exemplo, MMVP) permanece surpreendentemente baixo. Essa discrepância levanta a questão de como os LLVMs realmente percebem imagens e exploram as vantagens do codificador de visão. Para abordar isso, investigamos sistematicamente essa questão em relação a vários aspectos: invariância de permutação, robustez, raciocínio matemático, preservação e importância de alinhamento, avaliando as famílias mais comuns de LLVMs (ou seja, LLaVA) em 10 benchmarks de avaliação. Nossos experimentos extensivos revelam várias propriedades intrigantes dos LLVMs atuais: (1) eles processam internamente a imagem de maneira global, mesmo quando a ordem das sequências de patches visuais é permutada aleatoriamente; (2) às vezes são capazes de resolver problemas matemáticos sem perceber totalmente informações numéricas detalhadas; (3) o alinhamento cruzado modal é superajustado a tarefas de raciocínio complexas, fazendo com que percam algumas das capacidades perceptuais originais de seu codificador de visão; (4) o espaço de representação nas camadas inferiores (<25%) desempenha um papel crucial na determinação do desempenho e no aprimoramento da compreensão visual. Por fim, com base nas observações acima, sugerimos direções futuras potenciais para a construção de LLVMs melhores e a criação de benchmarks de avaliação mais desafiadores.

Os modelos de difusão de vídeo da fronteira atual demonstraram resultados notáveis na geração de vídeos de alta qualidade. No entanto, eles só conseguem gerar pequenos trechos de vídeo, normalmente em torno de 10 segundos ou 240 quadros, devido a limitações computacionais durante o treinamento. Neste trabalho, mostramos que os modelos existentes podem ser naturalmente estendidos para modelos de difusão de vídeo autoregressivos sem alterar as arquiteturas. Nossa ideia chave é atribuir aos quadros latentes níveis de ruído progressivamente crescentes em vez de um único nível de ruído, o que permite uma condição refinada entre os latentes e grandes sobreposições entre as janelas de atenção. Esse processo progressivo de remoção de ruído de vídeo permite que nossos modelos gerem autoregressivamente quadros de vídeo sem degradação de qualidade ou mudanças abruptas de cena. Apresentamos resultados de ponta na geração de vídeos longos em 1 minuto (1440 quadros a 24 FPS). Os vídeos deste artigo estão disponíveis em https://desaixie.github.io/pa-vdm/.

Neste artigo, propomos um novo método para aprimorar a compreensão composicional em modelos pré-treinados de visão e linguagem (VLMs) sem sacrificar o desempenho em tarefas multi-modais de zero-shot. Abordagens tradicionais de ajuste fino frequentemente melhoram o raciocínio composicional ao custo da degradação das capacidades multi-modais, principalmente devido ao uso da perda global de negativos difíceis (HN), que contrasta representações globais de imagens e textos. Essa perda global de HN empurra textos HN altamente semelhantes aos originais, prejudicando as representações multi-modais do modelo. Para superar essa limitação, propomos o CLIP Calibrado Seletivo de Granularidade Fina (FSC-CLIP), que integra perda local de negativos difíceis e regularização seletiva calibrada. Essas inovações fornecem supervisão negativa de granularidade fina enquanto preservam a integridade representacional do modelo. Nossas extensas avaliações em diversos benchmarks para tarefas de composicionalidade e multi-modais mostram que o FSC-CLIP não apenas alcança composicionalidade em nível com modelos de ponta, mas também mantém fortes capacidades multi-modais. O código está disponível em: https://github.com/ytaek-oh/fsc-clip.

A busca em árvore de Monte Carlo (Monte Carlo Tree Search - MCTS) surgiu recentemente como uma técnica poderosa para aprimorar as capacidades de raciocínio de LLMs. Técnicas como SFT ou DPO têm possibilitado que LLMs destilem comportamentos de alta qualidade do MCTS, melhorando seu desempenho de raciocínio. No entanto, os métodos de destilação existentes subutilizam as informações de trajetória geradas pelo MCTS, limitando o potencial de melhorias no raciocínio de LLMs. Neste artigo, propomos o AlphaLLM-CPL, um novo framework de treinamento em pares que permite que LLMs se auto aprimorem por meio da destilação de comportamentos do MCTS. O AlphaLLM-CPL aproveita de forma eficiente as trajetórias do MCTS por meio de duas inovações-chave: (1) o AlphaLLM-CPL constrói pares de trajetórias passo a passo a partir de nós filhos que compartilham o mesmo pai na árvore de busca, fornecendo informações em nível de passo para uma destilação de comportamento do MCTS mais eficaz. (2) O AlphaLLM-CPL introduz a aprendizagem de preferência de currículo, ajustando dinamicamente a sequência de treinamento de pares de trajetórias em cada época de treinamento offline para priorizar etapas críticas de aprendizado e mitigar o overfitting. Resultados experimentais em tarefas de raciocínio matemático demonstram que o AlphaLLM-CPL supera significativamente os métodos anteriores de destilação de comportamento do MCTS, impulsionando substancialmente as capacidades de raciocínio de LLMs.

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram notáveis capacidades de aprendizado em contexto (ICL). Neste estudo, exploramos um fenômeno surpreendente relacionado ao ICL: os LLMs podem realizar múltiplas tarefas de ICL computacionalmente distintas simultaneamente, durante uma única chamada de inferência, uma capacidade que denominamos "superposição de tarefas". Fornecemos evidências empíricas desse fenômeno em diversas famílias e escalas de LLMs e mostramos que esse fenômeno emerge mesmo se treinarmos o modelo para aprender em contexto uma tarefa de cada vez. Oferecemos explicações teóricas de que essa capacidade está dentro do poder expressivo dos transformadores. Também exploramos como os LLMs compõem internamente vetores de tarefas durante a superposição. Além disso, demonstramos que modelos maiores podem resolver mais tarefas de ICL em paralelo e calibrar melhor a distribuição de suas saídas. Nossas descobertas oferecem insights sobre as capacidades latentes dos LLMs, corroboram ainda mais a perspectiva de "LLMs como superposição de simuladores" e levantam questões sobre os mecanismos que permitem a execução simultânea de tarefas.

Para induzir comportamentos desejados em grandes modelos de linguagem (LLMs) para tarefas orientadas à interação, a etapa de ajuste de instruções geralmente treina LLMs em pares de instrução-resposta usando a perda de previsão do próximo token (NTP). Trabalhos anteriores que visam melhorar o desempenho do ajuste de instruções frequentemente enfatizam a necessidade de conjuntos de dados de ajuste fino supervisionado (SFT) de alta qualidade, que geralmente envolve filtragem de dados cara com LLMs proprietários ou geração de dados intensiva por anotadores humanos. No entanto, essas abordagens não aproveitam totalmente as propriedades intrínsecas dos conjuntos de dados, resultando em altos custos computacionais e trabalhistas, limitando assim a escalabilidade e os ganhos de desempenho. Neste artigo, propomos o SFTMix, uma nova abordagem que eleva o desempenho do ajuste de instruções além do paradigma convencional NTP, sem a necessidade de conjuntos de dados bem curados. Observando que os LLMs exibem confiança desigual em todo o espaço de representação semântica, argumentamos que exemplos com diferentes níveis de confiança devem desempenhar papéis distintos durante o processo de ajuste de instruções. Com base nessa percepção, o SFTMix aproveita a dinâmica de treinamento para identificar exemplos com diferentes níveis de confiança, em seguida, aplica uma regularização baseada em Mixup para mitigar o overfitting em exemplos confiantes enquanto propaga sinais de supervisão para melhorar o aprendizado em exemplos relativamente não confiantes. Essa abordagem permite que o SFTMix supere significativamente o NTP em uma ampla gama de tarefas de SFT específicas de seguir instruções e do domínio da saúde, demonstrando sua adaptabilidade a diversas famílias de LLMs e escalabilidade para conjuntos de dados de qualquer tamanho. Estudos abrangentes de ablação verificam ainda a robustez das escolhas de design do SFTMix, destacando sua versatilidade em aprimorar consistentemente o desempenho em diferentes LLMs e conjuntos de dados em aplicações mais amplas de processamento de linguagem natural.

Os Sistemas Multiagentes (MAS) baseados em Modelos de Linguagem Grande (LLM) demonstram um potencial notável na resolução colaborativa de problemas, porém ainda enfrentam desafios críticos: baixa eficiência de comunicação, escalabilidade limitada e falta de métodos eficazes de otimização de atualização de parâmetros. Apresentamos o Optima, um novo framework que aborda essas questões ao aprimorar significativamente tanto a eficiência de comunicação quanto a eficácia da tarefa em MAS baseados em LLM por meio do treinamento do LLM. O Optima emprega um paradigma iterativo de geração, classificação, seleção e treinamento com uma função de recompensa que equilibra o desempenho da tarefa, eficiência de tokens e legibilidade da comunicação. Exploramos vários algoritmos de RL, incluindo Ajuste Fino Supervisionado, Otimização Direta de Preferências e suas abordagens híbridas, fornecendo insights sobre os compromissos entre eficácia e eficiência. Integramos técnicas inspiradas em Monte Carlo Tree Search para geração de dados de ODP, tratando as trocas de conversa como nós de árvores para explorar caminhos de interação diversos. Avaliado em tarefas multiagentes comuns, incluindo perguntas assimétricas de resposta à informação e raciocínio complexo, o Optima mostra melhorias consistentes e substanciais em relação às bases de agentes únicos e MAS simples baseados no Llama 3 8B, alcançando até 2,8 vezes mais desempenho com menos de 10% de tokens em tarefas que exigem intenso intercâmbio de informações. Além disso, os ganhos de eficiência do Optima abrem novas possibilidades para aproveitar a inferência-computação de forma mais eficaz, levando a leis de escalonamento de tempo de inferência aprimoradas. Ao abordar desafios fundamentais em MAS baseados em LLM, o Optima demonstra o potencial para MAS escaláveis, eficientes e eficazes (https://chenweize1998.github.io/optima-project-page).

Este artigo propõe o paradigma de grandes kernels convolucionais no design de Redes Neurais Convolucionais (ConvNets) modernas. Estabelecemos que o uso de alguns grandes kernels, em vez de empilhar vários menores, pode ser uma estratégia de design superior. Nosso trabalho introduz um conjunto de diretrizes de design de arquitetura para ConvNets de grandes kernels que otimizam sua eficiência e desempenho. Propomos a arquitetura UniRepLKNet, que oferece princípios de design de arquitetura sistematizados especificamente elaborados para ConvNets de grandes kernels, enfatizando sua capacidade única de capturar informações espaciais extensivas sem empilhamento profundo de camadas. Isso resulta em um modelo que não apenas supera seus predecessores com uma precisão no ImageNet de 88,0%, um mIoU no ADE20K de 55,6% e um AP de caixa no COCO de 56,4%, mas também demonstra escalabilidade e desempenho impressionantes em várias modalidades, como previsão de séries temporais, áudio, nuvem de pontos e reconhecimento de vídeo. Esses resultados indicam as habilidades de modelagem universais de ConvNets de grandes kernels com uma velocidade de inferência mais rápida em comparação com os transformadores de visão. Nossas descobertas revelam que ConvNets de grandes kernels possuem campos receptivos eficazes maiores e um viés de forma mais alto, afastando-se do viés de textura típico das CNNs de pequenos kernels. Todos os códigos e modelos estão disponíveis publicamente em https://github.com/AILab-CVC/UniRepLKNet, promovendo pesquisas e desenvolvimentos adicionais na comunidade.

Benchmarks automáticos de LLM, como AlpacaEval 2.0, Arena-Hard-Auto e MT-Bench, tornaram-se populares para avaliar modelos de linguagem devido à sua relação custo-eficácia e escalabilidade em comparação com a avaliação humana. Alcançar altas taxas de vitória nessas referências pode impulsionar significativamente o impacto promocional de modelos de linguagem recém-lançados. Esse benefício promocional pode motivar artifícios, como manipular o comprimento ou estilo de saída do modelo para aumentar as taxas de vitória, mesmo que vários mecanismos tenham sido desenvolvidos para controlar o comprimento e desembaraçar o estilo para reduzir a possibilidade de manipulação. No entanto, mostramos que até mesmo um "modelo nulo" que sempre produz uma resposta constante (irrelevante para as instruções de entrada) pode trapacear em benchmarks automáticos e alcançar altas taxas de vitória classificatórias: uma taxa de vitória de 86,5% no AlpacaEval 2.0; uma pontuação de 83,0 no Arena-Hard-Auto; e uma pontuação de 9,55 no MT-Bench. Além disso, as saídas de trapaça elaboradas são transferíveis, pois presumimos que as instruções desses benchmarks (por exemplo, 805 amostras do AlpacaEval 2.0) são privadas e não podem ser acessadas. Embora nossos experimentos sejam principalmente de prova de conceito, um adversário poderia usar LLMs para gerar respostas de trapaça mais imperceptíveis, beneficiando-se de maneira antiética de altas taxas de vitória e impacto promocional. Nossas descobertas destacam a necessidade do desenvolvimento de mecanismos anti-trapaça para benchmarks automáticos confiáveis. O código está disponível em https://github.com/sail-sg/Cheating-LLM-Benchmarks.

Estudamos o desempenho dos transformadores em função do número de repetições de exemplos de treinamento com conjuntos de dados gerados algoritmicamente. Em três problemas de matemática - o maior divisor comum, multiplicação modular e autovalores de matriz - mostramos que, para um número fixo de etapas de treinamento, modelos treinados em conjuntos menores de exemplos repetidos superam modelos treinados em conjuntos maiores de exemplos de uso único. Também demonstramos que o treinamento de dois conjuntos - uso repetido de um pequeno subconjunto aleatório de exemplos, juntamente com amostragem normal no restante do conjunto de treinamento - proporciona aprendizado mais rápido e melhor desempenho. Isso destaca que os benefícios da repetição podem superar os da diversidade de dados. Esses conjuntos de dados e problemas fornecem um ambiente controlado para lançar luz sobre a interação ainda pouco compreendida entre generalização e memorização em aprendizado profundo.

A Aprendizagem por Reforço a partir do Feedback Humano (ARFH) emergiu como uma ferramenta fundamental para alinhar grandes modelos de linguagem (GMLs) com as preferências humanas. A Otimização Direta de Preferências (ODP), uma das abordagens mais populares, formula a ARFH como um problema de otimização de política sem estimar explicitamente a função de recompensa. Ela supera os problemas de estabilidade e eficiência das abordagens em dois passos, que tipicamente envolvem primeiro a estimativa da função de recompensa e então a otimização da política via otimização de política proximal (OPP). Uma vez que a ARFH é essencialmente um problema de otimização, e é bem conhecido que técnicas de momentum podem acelerar a otimização tanto teoricamente quanto empiricamente, surge naturalmente a questão: a ARFH pode ser acelerada pelo momentum? Este artigo responde afirmativamente a essa questão. Detalhadamente, mostramos primeiramente que o método iterativo de otimização de preferências pode ser visto como um método de ponto proximal. Com base nessa observação, propomos um framework geral de Otimização Acelerada de Preferências (OAP), que unifica muitos algoritmos de otimização de preferências existentes e emprega a técnica de momentum de Nesterov para acelerar o alinhamento de GMLs. Teoricamente, demonstramos que a OAP pode alcançar uma taxa de convergência mais rápida do que os métodos padrão iterativos de otimização de preferências, incluindo ODP e Otimização de Preferências de Autojogo (OPA). Empiricamente, mostramos a superioridade da OAP sobre a ODP, ODP iterativo e outras bases fortes para ARFH no benchmark AlpacaEval 2.0.

Os dados são um elemento crucial no alinhamento de grandes modelos de linguagem (LLM). Estudos recentes têm explorado o uso de LLMs para coleta eficiente de dados. No entanto, os dados gerados por LLM frequentemente sofrem com problemas de qualidade, com aspectos sub-representados ou ausentes e pontos de dados de baixa qualidade. Para lidar com esses problemas, propomos o Data Advisor, um método aprimorado baseado em LLM para geração de dados que leva em consideração as características do conjunto de dados desejado. Partindo de um conjunto de princípios predefinidos, o Data Advisor monitora o estado dos dados gerados, identifica fraquezas no conjunto de dados atual e aconselha a próxima iteração da geração de dados de acordo. O Data Advisor pode ser facilmente integrado a métodos existentes de geração de dados para aprimorar a qualidade e cobertura dos dados. Experimentos sobre o alinhamento de segurança de três LLMs representativos (ou seja, Mistral, Llama2 e Falcon) demonstram a eficácia do Data Advisor em aprimorar a segurança do modelo contra várias questões de segurança detalhadas sem sacrificar a utilidade do modelo.

A reconstrução dinâmica de cenas é um desafio de longo prazo no campo da visão 3D. Recentemente, a emergência do Splatting Gaussiano 3D proporcionou novas perspectivas sobre esse problema. Embora esforços subsequentes rapidamente estendam o Gaussiano 3D estático para cenas dinâmicas, frequentemente carecem de restrições explícitas sobre o movimento do objeto, o que leva a dificuldades de otimização e degradação de desempenho. Para abordar as questões mencionadas, propomos um novo framework deformável de Splatting Gaussiano 3D chamado MotionGS, que explora priores de movimento explícitos para guiar a deformação dos Gaussianos 3D. Especificamente, introduzimos primeiro um módulo de desacoplamento de fluxo óptico que separa o fluxo óptico em fluxo da câmera e fluxo de movimento, correspondendo respectivamente ao movimento da câmera e ao movimento do objeto. Em seguida, o fluxo de movimento pode efetivamente restringir a deformação dos Gaussianos 3D, simulando assim o movimento de objetos dinâmicos. Além disso, propomos um módulo de refinamento de pose da câmera para otimizar alternadamente os Gaussianos 3D e as poses da câmera, mitigando o impacto de poses de câmera imprecisas. Experimentos extensivos em cenas dinâmicas monoculares validam que o MotionGS supera os métodos de ponta e exibe uma superioridade significativa tanto em resultados qualitativos quanto quantitativos. Página do projeto: https://ruijiezhu94.github.io/MotionGS_page

Grandes modelos de linguagem (LLMs) têm mostrado notáveis capacidades de aprendizado em contexto (ICL) em dados textuais. Exploramos se essas capacidades podem ser estendidas para vetores contínuos de diversos domínios, obtidos de codificadores pré-treinados caixa-preta. Ao alinhar os dados de entrada com o espaço de incorporação de um LLM por meio de projetores leves, observamos que os LLMs podem processar e aprender de forma eficaz a partir desses vetores projetados, que denominamos Vetor-ICL. Em particular, descobrimos que o pré-treinamento dos projetores com objetivos gerais de modelagem de linguagem possibilita o Vetor-ICL, enquanto o ajuste fino específico da tarefa melhora ainda mais o desempenho. Em nossos experimentos em várias tarefas e modalidades, incluindo reconstrução de texto, regressão de funções numéricas, classificação de texto, sumarização, legenda de moléculas, classificação de séries temporais, classificação de grafos e decodificação de fMRI, o Vetor-ICL frequentemente supera tanto o ICL de poucas amostras quanto modelos ou ajustes específicos de domínio. Realizamos ainda análises e estudos de caso, indicando o potencial dos LLMs para processar representações vetoriais além dos paradigmas tradicionais baseados em tokens.

Resolver equações diferenciais parciais (EDPs) paramétricas dependentes do tempo é desafiador, pois os modelos precisam se adaptar às variações nos parâmetros, como coeficientes, termos de forçamento e condições de contorno. Solucionadores neurais orientados por dados treinam em dados amostrados da distribuição de parâmetros da EDP na esperança de que o modelo generalize para novas instâncias ou dependem de adaptação baseada em gradientes e meta-aprendizado para codificar implicitamente a dinâmica a partir de observações. Isso frequentemente resulta em maior complexidade de inferência. Inspirados pelas capacidades de aprendizado em contexto de grandes modelos de linguagem (LLMs), apresentamos Zebra, um novo transformador auto-regressivo generativo projetado para resolver EDPs paramétricas sem necessidade de adaptação de gradientes na inferência. Ao alavancar informações em contexto durante o pré-treinamento e a inferência, Zebra se adapta dinamicamente a novas tarefas condicionando-se a sequências de entrada que incorporam trajetórias de contexto ou estados anteriores. Essa abordagem permite que Zebra lide flexivelmente com entradas de contexto de tamanho arbitrário e suporte a quantificação de incerteza por meio da amostragem de múltiplas trajetórias de solução. Avaliamos Zebra em uma variedade de cenários desafiadores de EDP, demonstrando sua adaptabilidade, robustez e desempenho superior em comparação com abordagens existentes.

Apesar do desempenho excepcional, a Busca de Arquitetura Neural (NAS) é criticada pela enorme quantidade de cálculos. Recentemente, a NAS de Zero-shot surgiu como uma abordagem promissora ao explorar Proxies de Zero-custo (ZC), que reduzem significativamente as demandas computacionais. Apesar disso, os Proxies ZC existentes dependem fortemente do conhecimento especializado e incorrem em custos significativos de tentativa e erro. Especialmente em tarefas de Processamento de Linguagem Natural (NLP), a maioria dos Proxies ZC existentes não consegue superar o desempenho da linha de base ingênua. Para enfrentar esses desafios, apresentamos um novo framework, LPZero, que é o primeiro a projetar automaticamente Proxies ZC para várias tarefas, alcançando uma consistência de classificação mais alta do que os Proxies projetados por humanos. Especificamente, modelamos o Proxy ZC como uma equação simbólica e incorporamos um espaço de busca de Proxy unificado que engloba os Proxies ZC existentes, compostos por um conjunto predefinido de símbolos matemáticos. Para buscar heuristicamente o melhor Proxy ZC, o LPZero incorpora programação genética para encontrar a composição simbólica ideal. Propomos uma Estratégia de Poda Baseada em Regras (RPS), que elimina preventivamente Proxies pouco promissores, mitigando assim o risco de degradação do Proxy. Experimentos extensos em FlexiBERT, GPT-2 e LLaMA-7B demonstram a capacidade de classificação superior do LPZero e seu desempenho em tarefas subsequentes em comparação com abordagens atuais.