Ajuste Fino de LLMs Multimodais com ART: Treinamento por Reforço Baseado em Arte

Resumo

Existem duas principais técnicas de Ajuste Fino com Eficiência de Parâmetros (PEFT) para Modelos de Linguagem Grandes (LLMs). Enquanto a Adaptação de Baixo Posto (LoRA) introduz pesos adicionais entre as camadas do LLM, a Promptização Suave (Soft Prompting) introduz tokens brutos específicos ao ajuste fino na entrada do LLM. No entanto, ambas exigem modificação nos grafos computacionais de LLMs pré-compilados e pré-otimizados. Como resultado, nenhuma delas é totalmente suportada em motores de alto rendimento como o vLLM. Propomos o ajuste fino com ART (Treinamento por Reforço Baseado em Arte, do inglês Art-based Reinforcement Training). O método injeta informações em um Modelo de Linguagem Grande Multimodal (MLLM) congelado, otimizando apenas sua entrada visual bruta, possibilitando assim a abordagem de tokens suaves em grafos computacionais pré-compilados. Ele depende da retropropagação dos gradientes de volta para uma matriz de pixels simples, suportando, portanto, qualquer objetivo de ajuste fino. Além disso, a entrada visual otimizada pode ser estilizada como obras de arte computacionais relevantes à tarefa. A eficácia da abordagem é confirmada para diferentes tamanhos da popular arquitetura Qwen de código aberto e para vários referenciais textuais. Especificamente, o ART atinge precisão competitiva com LoRA em referencias de matemática e de uso estruturado de ferramentas.

English

There are two main Parameter-Efficient Fine-Tuning (PEFT) techniques for Large Language Models (LLMs). While Low-Rank Adaptation (LoRA) introduces additional weights between the LLM layers, Soft Prompting introduces additional fine-tuning-specific raw tokens to an LLM input. However, both require modification to the computational graphs of precompiled, preoptimized LLMs. As a result, neither is fully supported in high-throughput engines like vLLM. We propose fine-tuning with ART (Art-based Reinforcement Training). The method injects information into a frozen Multimodal Large Language Model (MLLM) by optimizing only its raw visual input, thus enabling the soft-token approach on pre-compiled computational graphs. It relies on backpropagation of gradients back into a plain pixel array and thus supports any fine-tuning objective. Moreover, the optimized visual input can be stylized as task-relevant computational artworks. The approach's effectiveness is confirmed for different sizes of a popular open Qwen architecture and for several textual benchmarks. Specifically, ART reaches accuracy competitive with LoRA across mathematics and structured-tool-use benchmarks.