Relatório Técnico do PaLM 2

Resumo

Apresentamos o PaLM 2, um novo modelo de linguagem de última geração que possui capacidades multilingues e de raciocínio superiores, além de ser mais eficiente em termos de computação do que seu antecessor, o PaLM. O PaLM 2 é um modelo baseado em Transformer treinado com uma mistura de objetivos. Por meio de avaliações extensas em tarefas de linguagem em inglês e multilingue, e de raciocínio, demonstramos que o PaLM 2 apresenta uma qualidade significativamente melhorada em tarefas subsequentes em diferentes tamanhos de modelo, ao mesmo tempo em que exibe inferência mais rápida e eficiente em comparação com o PaLM. Essa eficiência aprimorada permite uma implantação mais ampla, além de permitir que o modelo responda mais rapidamente, proporcionando um ritmo de interação mais natural. O PaLM 2 demonstra capacidades robustas de raciocínio, exemplificadas por grandes melhorias em relação ao PaLM no BIG-Bench e em outras tarefas de raciocínio. O PaLM 2 exibe desempenho estável em uma série de avaliações de IA responsável e permite controle de toxicidade durante a inferência sem sobrecarga adicional ou impacto em outras capacidades. No geral, o PaLM 2 alcança desempenho de última geração em um conjunto diversificado de tarefas e capacidades. Ao discutir a família PaLM 2, é importante distinguir entre modelos pré-treinados (de vários tamanhos), variantes ajustadas desses modelos e os produtos voltados ao usuário que utilizam esses modelos. Em particular, os produtos voltados ao usuário geralmente incluem etapas adicionais de pré e pós-processamento. Além disso, os modelos subjacentes podem evoluir ao longo do tempo. Portanto, não se deve esperar que o desempenho dos produtos voltados ao usuário corresponda exatamente aos resultados relatados neste relatório.

English

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

Relatório Técnico do PaLM 2

PaLM 2 Technical Report

Resumo

Support