Rapport technique de PaLM 2

Résumé

Nous présentons PaLM 2, un nouveau modèle de langage de pointe qui offre de meilleures capacités multilingues et de raisonnement, tout en étant plus efficace en termes de calcul que son prédécesseur, PaLM. PaLM 2 est un modèle basé sur l'architecture Transformer, entraîné à l'aide d'un mélange d'objectifs. Grâce à des évaluations approfondies sur des tâches linguistiques en anglais et multilingues, ainsi que sur des tâches de raisonnement, nous démontrons que PaLM 2 présente une qualité significativement améliorée sur les tâches en aval, quelle que soit la taille du modèle, tout en offrant une inférence plus rapide et plus efficace par rapport à PaLM. Cette efficacité accrue permet un déploiement plus large et une interaction plus naturelle grâce à des réponses plus rapides. PaLM 2 montre des capacités de raisonnement robustes, illustrées par des améliorations majeures par rapport à PaLM sur BIG-Bench et d'autres tâches de raisonnement. PaLM 2 affiche une performance stable sur une série d'évaluations d'IA responsable et permet un contrôle en temps réel de la toxicité sans surcharge supplémentaire ni impact sur les autres capacités. Globalement, PaLM 2 atteint des performances de pointe sur un ensemble diversifié de tâches et de capacités. Lorsqu'on discute de la famille PaLM 2, il est important de distinguer entre les modèles pré-entraînés (de différentes tailles), les variantes affinées de ces modèles, et les produits destinés aux utilisateurs qui exploitent ces modèles. En particulier, les produits destinés aux utilisateurs incluent généralement des étapes de prétraitement et de post-traitement supplémentaires. De plus, les modèles sous-jacents peuvent évoluer au fil du temps. Par conséquent, il ne faut pas s'attendre à ce que la performance des produits destinés aux utilisateurs corresponde exactement aux résultats rapportés dans ce document.

English

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

Rapport technique de PaLM 2

PaLM 2 Technical Report

Résumé

Support