Esqueleto-do-Pensamento: Modelos de Linguagem de Grande Porte Podem Realizar Decodificação Paralela

Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding

July 28, 2023

Autores: Xuefei Ning, Zinan Lin, Zixuan Zhou, Huazhong Yang, Yu Wang

cs.AI

Resumo

Este trabalho tem como objetivo reduzir a latência de geração de ponta a ponta em modelos de linguagem de grande escala (LLMs, na sigla em inglês). Uma das principais causas da alta latência de geração é a abordagem de decodificação sequencial adotada por quase todos os LLMs de última geração. Neste trabalho, motivados pelo processo de pensamento e escrita dos seres humanos, propomos o "Skeleton-of-Thought" (SoT), que orienta os LLMs a gerar primeiro o esqueleto da resposta e, em seguida, realiza chamadas paralelas de API ou decodificação em lote para completar o conteúdo de cada ponto do esqueleto em paralelo. O SoT não apenas proporciona uma aceleração considerável (até 2,39x em 11 LLMs diferentes), mas também pode potencialmente melhorar a qualidade das respostas em várias categorias de perguntas em termos de diversidade e relevância. O SoT é uma tentativa inicial de otimização centrada em dados para eficiência e revela o potencial de fazer com que os LLMs pensem mais como humanos para melhorar a qualidade das respostas.

English

This work aims at decreasing the end-to-end generation latency of large language models (LLMs). One of the major causes of the high generation latency is the sequential decoding approach adopted by almost all state-of-the-art LLMs. In this work, motivated by the thinking and writing process of humans, we propose "Skeleton-of-Thought" (SoT), which guides LLMs to first generate the skeleton of the answer, and then conducts parallel API calls or batched decoding to complete the contents of each skeleton point in parallel. Not only does SoT provide considerable speed-up (up to 2.39x across 11 different LLMs), but it can also potentially improve the answer quality on several question categories in terms of diversity and relevance. SoT is an initial attempt at data-centric optimization for efficiency, and reveal the potential of pushing LLMs to think more like a human for answer quality.