LLMs de Múltiplos Fluxos: Desbloqueando Modelos de Linguagem com Fluxos Paralelos de Pensamentos, Entradas e Saídas

Resumo

Os contínuos avanços na capacidade dos modelos de linguagem permitiram sua ampla utilização como impulsionadores de agentes autônomos, por exemplo, em aplicações de codificação ou uso de computadores. No entanto, o núcleo desses sistemas não mudou muito desde os primeiros modelos ajustados por instruções, como o ChatGPT. Mesmo agentes de IA avançados funcionam com base em formatos de troca de mensagens, trocando sucessivamente mensagens com usuários, sistemas, consigo mesmos (ou seja, cadeia de pensamento) e ferramentas em um único fluxo de computação. Esse gargalo em um único fluxo nos modelos de chat leva a uma série de limitações: o agente não pode agir (gerar saída) enquanto lê e, inversamente, não pode reagir a novas informações enquanto escreve. Da mesma forma, o agente não pode agir enquanto pensa e não pode pensar enquanto lê ou age com base em informações. Neste trabalho, mostramos que os modelos podem ser desbloqueados ao alternar do ajuste por instruções para formatos sequenciais de mensagens para o ajuste por instruções para múltiplos fluxos paralelos de computação, dividindo cada função em um fluxo separado. Cada passagem direta do modelo de linguagem, então, lê simultaneamente de múltiplos fluxos de entrada e gera tokens em múltiplos fluxos de saída, todos dependendo causalmente de etapas temporais anteriores. Argumentamos que essa mudança orientada por dados corrige várias limitações de usabilidade, conforme delineado acima, melhora a eficiência do modelo por meio da paralelização, melhora a segurança do modelo por meio de uma melhor separação de preocupações e pode ainda melhorar a monitorabilidade do modelo.

English

The continued improvements in language model capability have unlocked their widespread use as drivers of autonomous agents, for example in coding or computer use applications. However, the core of these systems has not changed much since early instruction-tuned models like ChatGPT. Even advanced AI agents function on message exchange formats, successively exchanging messages with users, systems, with itself (i.e. chain-of-thought) and tools in a single stream of computation. This bottleneck to a single stream in chat models leads to a number of limitations: the agent cannot act (generate output) while reading, and in reverse, cannot react to new information while writing. Similarly, the agent cannot act while thinking and cannot think while reading or acting on information. In this work, we show that models can be unblocked by switching from instruction-tuning for sequential message formats to instruction-tuning for multiple, parallel streams of computation, splitting each role into a separate stream. Every forward pass of the language model then simultaneously reads from multiple input streams and generates tokens in multiple output streams, all of which causally depend on earlier timesteps. We argue that this data-driven change remedies a number of usability limitations as outlined above, improves model efficiency through parallelization, improves model security through better separation of concerns and can further improve model monitorability.