PaLM 2 기술 보고서

초록

PaLM 2를 소개합니다. 이는 이전 버전인 PaLM보다 더 나은 다국어 및 추론 능력을 갖추고 있으며, 더 높은 계산 효율성을 자랑하는 최첨단 언어 모델입니다. PaLM 2는 Transformer 기반 모델로, 다양한 목적 함수를 혼합하여 학습되었습니다. 영어 및 다국어 언어 작업과 추론 작업에 대한 광범위한 평가를 통해, PaLM 2가 다양한 모델 크기에서 다운스트림 작업의 품질을 크게 향상시켰음을 입증했습니다. 동시에 PaLM에 비해 더 빠르고 효율적인 추론을 보여주었습니다. 이러한 향상된 효율성은 더 넓은 배포를 가능하게 하며, 모델이 더 빠르게 응답하여 더 자연스러운 상호작용 속도를 제공합니다. PaLM 2는 BIG-Bench 및 기타 추론 작업에서 PaLM 대비 큰 개선을 보여주며 강력한 추론 능력을 입증했습니다. 또한, PaLM 2는 책임 있는 AI 평가에서 안정적인 성능을 보이며, 추가 오버헤드 없이도 유해성에 대한 추론 시점 제어를 가능하게 하여 다른 기능에 영향을 미치지 않습니다. 전반적으로 PaLM 2는 다양한 작업과 기능에서 최첨단 성능을 달성했습니다. PaLM 2 패밀리를 논의할 때는 사전 학습된 모델(다양한 크기), 이 모델들의 미세 조정 버전, 그리고 이러한 모델을 사용하는 사용자 지향 제품을 구분하는 것이 중요합니다. 특히, 사용자 지향 제품은 일반적으로 추가적인 전처리 및 후처리 단계를 포함합니다. 또한, 기본 모델은 시간이 지남에 따라 진화할 수 있습니다. 따라서 사용자 지향 제품의 성능이 이 보고서에서 보고된 결과와 정확히 일치할 것이라고 기대해서는 안 됩니다.

English

We introduce PaLM 2, a new state-of-the-art language model that has better multilingual and reasoning capabilities and is more compute-efficient than its predecessor PaLM. PaLM 2 is a Transformer-based model trained using a mixture of objectives. Through extensive evaluations on English and multilingual language, and reasoning tasks, we demonstrate that PaLM 2 has significantly improved quality on downstream tasks across different model sizes, while simultaneously exhibiting faster and more efficient inference compared to PaLM. This improved efficiency enables broader deployment while also allowing the model to respond faster, for a more natural pace of interaction. PaLM 2 demonstrates robust reasoning capabilities exemplified by large improvements over PaLM on BIG-Bench and other reasoning tasks. PaLM 2 exhibits stable performance on a suite of responsible AI evaluations, and enables inference-time control over toxicity without additional overhead or impact on other capabilities. Overall, PaLM 2 achieves state-of-the-art performance across a diverse set of tasks and capabilities. When discussing the PaLM 2 family, it is important to distinguish between pre-trained models (of various sizes), fine-tuned variants of these models, and the user-facing products that use these models. In particular, user-facing products typically include additional pre- and post-processing steps. Additionally, the underlying models may evolve over time. Therefore, one should not expect the performance of user-facing products to exactly match the results reported in this report.

PaLM 2 기술 보고서

PaLM 2 Technical Report

초록

Support