Rapporto Tecnico di PaLM 2

Abstract

Presentiamo PaLM 2, un nuovo modello linguistico all'avanguardia che offre migliori capacità multilingue e di ragionamento, oltre a una maggiore efficienza computazionale rispetto al suo predecessore PaLM. PaLM 2 è un modello basato su Transformer addestrato utilizzando una combinazione di obiettivi. Attraverso valutazioni estensive su compiti linguistici in inglese e multilingue, nonché su attività di ragionamento, dimostriamo che PaLM 2 ha una qualità significativamente migliorata nei task downstream, indipendentemente dalle dimensioni del modello, mostrando al contempo un'inferenza più veloce ed efficiente rispetto a PaLM. Questa maggiore efficienza consente un impiego più ampio e permette al modello di rispondere più rapidamente, garantendo un ritmo di interazione più naturale. PaLM 2 dimostra solide capacità di ragionamento, evidenziate da notevoli miglioramenti rispetto a PaLM su BIG-Bench e altri task di ragionamento. Il modello mostra prestazioni stabili in una serie di valutazioni sull'IA responsabile e consente un controllo in tempo reale sulla tossicità senza sovraccarichi aggiuntivi o impatti su altre capacità. Nel complesso, PaLM 2 raggiunge prestazioni all'avanguardia su un'ampia gamma di task e capacità. Quando si discute della famiglia PaLM 2, è importante distinguere tra modelli pre-addestrati (di varie dimensioni), varianti fine-tuned di questi modelli e i prodotti rivolti agli utenti che li utilizzano. In particolare, i prodotti rivolti agli utenti includono tipicamente ulteriori passaggi di pre- e post-elaborazione. Inoltre, i modelli sottostanti possono evolversi nel tempo. Pertanto, non ci si deve aspettare che le prestazioni dei prodotti rivolti agli utenti corrispondano esattamente ai risultati riportati in questo documento.

English

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

Rapporto Tecnico di PaLM 2

PaLM 2 Technical Report

Abstract

Support