Artigos de pesquisa em IA selecionados diariamente com traduções
Os métodos de Campo de Radiação revolucionaram recentemente a síntese de novas visões de cenas capturadas com múltiplas fotos ou vídeos. No entanto, alcançar alta qualidade visual ainda requer redes neurais que são custosas para treinar e renderizar, enquanto métodos mais rápidos recentes inevitavelmente trocam velocidade por qualidade. Para cenas ilimitadas e completas (em vez de objetos isolados) e renderização em resolução 1080p, nenhum método atual consegue atingir taxas de exibição em tempo real. Introduzimos três elementos-chave que nos permitem alcançar qualidade visual de ponta enquanto mantemos tempos de treinamento competitivos e, principalmente, permitem a síntese de novas visões em tempo real (>= 30 fps) com alta qualidade em resolução 1080p. Primeiro, partindo de pontos esparsos produzidos durante a calibração da câmera, representamos a cena com Gaussianas 3D que preservam propriedades desejáveis de campos de radiação volumétricos contínuos para otimização da cena, evitando cálculos desnecessários em espaços vazios; Segundo, realizamos uma otimização/densidade intercalada das Gaussianas 3D, notavelmente otimizando a covariância anisotrópica para alcançar uma representação precisa da cena; Terceiro, desenvolvemos um algoritmo rápido de renderização com consciência de visibilidade que suporta splatting anisotrópico e acelera tanto o treinamento quanto permite a renderização em tempo real. Demonstramos qualidade visual de ponta e renderização em tempo real em vários conjuntos de dados estabelecidos.
A bajulação é um comportamento indesejável em que os modelos ajustam suas respostas para seguir a visão de um usuário humano, mesmo quando essa visão não é objetivamente correta (por exemplo, adotando visões liberais assim que um usuário revela que é liberal). Neste artigo, estudamos a prevalência da bajulação em modelos de linguagem e propomos uma intervenção simples com dados sintéticos para reduzir esse comportamento. Primeiro, em um conjunto de três tarefas de bajulação (Perez et al., 2022), onde os modelos são solicitados a dar uma opinião sobre afirmações sem respostas corretas (por exemplo, política), observamos que tanto o escalonamento do modelo quanto o ajuste por instrução aumentam significativamente a bajulação em modelos PaLM com até 540 bilhões de parâmetros. Segundo, estendemos as avaliações de bajulação para afirmações simples de adição que são objetivamente incorretas, descobrindo que, apesar de saberem que essas afirmações estão erradas, os modelos de linguagem ainda concordam com elas se o usuário também concordar. Para reduzir a bajulação, apresentamos uma intervenção direta com dados sintéticos que utiliza tarefas públicas de PLN e incentiva os modelos a serem robustos às opiniões dos usuários nessas tarefas. A adição desses dados em uma etapa leve de ajuste fino pode reduzir significativamente o comportamento bajulatório em prompts de teste. O código para gerar dados sintéticos para a intervenção pode ser encontrado em https://github.com/google/sycophancy-intervention.
Aviso: este artigo contém conteúdo que pode ser inadequado ou ofensivo. À medida que os modelos generativos se tornam disponíveis para uso público em diversas aplicações, testar e analisar as vulnerabilidades desses modelos tornou-se uma prioridade. Aqui, propomos uma estrutura automatizada de red teaming que avalia um determinado modelo e expõe suas vulnerabilidades em relação à geração de conteúdo inseguro e inadequado. Nossa estrutura utiliza aprendizado em contexto em um ciclo de feedback para realizar red teaming em modelos e induzi-los a gerar conteúdo inseguro. Propomos diferentes estratégias de ataque em contexto para aprender automaticamente prompts adversários eficazes e diversificados para modelos de texto para imagem. Nossos experimentos demonstram que, em comparação com abordagens de linha de base, nossa estratégia proposta é significativamente mais eficaz em expor vulnerabilidades no modelo Stable Diffusion (SD), mesmo quando este é aprimorado com recursos de segurança. Além disso, demonstramos que a estrutura proposta é eficaz para red teaming em modelos de texto para texto, resultando em uma taxa significativamente maior de geração de respostas tóxicas em comparação com números relatados anteriormente.
Modelos de Pré-Treinamento em Grande Escala de Visão e Linguagem, como o CLIP, demonstraram desempenho excepcional em classificação zero-shot, por exemplo, alcançando 76,3% de precisão top-1 no ImageNet sem ver nenhum exemplo, o que traz benefícios potenciais para muitas tarefas que não possuem dados rotulados. No entanto, ao aplicar o CLIP a um domínio de destino downstream, a presença de lacunas de domínio visual e textual e o desalinhamento entre modalidades podem impactar significativamente o desempenho do modelo. Para enfrentar esses desafios, propomos o ReCLIP, o primeiro método de adaptação de domínio sem fonte para modelos de visão e linguagem, que não requer nenhum dado de origem ou dados rotulados de destino. O ReCLIP primeiro aprende um espaço de projeção para mitigar o desalinhamento dos embeddings visuais e textuais e aprende rótulos pseudo, e então implanta o auto-treinamento entre modalidades com os rótulos pseudo, para atualizar os codificadores visuais e textuais, refinar os rótulos e reduzir as lacunas de domínio e os desalinhamentos de forma iterativa. Com experimentos extensivos, demonstramos que o ReCLIP reduz a taxa média de erro do CLIP de 30,17% para 25,06% em 22 benchmarks de classificação de imagens.
A legalidade de treinar modelos de linguagem (LMs) com dados protegidos por direitos autorais ou de outra forma restritos está sob intenso debate. No entanto, como mostramos, o desempenho do modelo degrada significativamente se treinado apenas com textos de baixo risco (por exemplo, livros de domínio público ou documentos governamentais), devido ao seu tamanho limitado e cobertura de domínio. Apresentamos o SILO, um novo modelo de linguagem que gerencia esse tradeoff entre risco e desempenho durante a inferência. O SILO é construído (1) treinando um LM paramétrico no Open License Corpus (OLC), um novo corpus que curamos com 228 bilhões de tokens de textos de domínio público e licenciados de forma permissiva, e (2) aprimorando-o com um armazenamento de dados não paramétrico mais geral e facilmente modificável (por exemplo, contendo livros ou notícias protegidos por direitos autorais) que é consultado apenas durante a inferência. O armazenamento de dados permite o uso de dados de alto risco sem treinar com eles, suporta atribuição de dados em nível de frase e permite que produtores de dados optem por não participar do modelo removendo conteúdo do armazenamento. Essas capacidades podem promover a conformidade com regulamentações de uso de dados, como a doutrina de uso justo nos Estados Unidos e o GDPR na União Europeia. Nossos experimentos mostram que o LM paramétrico tem dificuldades em domínios não cobertos pelo OLC. No entanto, o acesso ao armazenamento de dados melhora significativamente o desempenho fora do domínio, fechando 90% da lacuna de desempenho em relação a um LM treinado no Pile, um corpus mais diversificado com textos majoritariamente de alto risco. Também analisamos qual abordagem não paramétrica funciona melhor, onde os erros remanescentes estão e como o desempenho escala com o tamanho do armazenamento de dados. Nossos resultados sugerem que é possível construir modelos de linguagem de alta qualidade enquanto se mitiga seu risco legal.