Soundwave: Menos é Mais para o Alinhamento Fala-Texto em LLMs

Soundwave: Less is More for Speech-Text Alignment in LLMs

February 18, 2025

Autores: Yuhao Zhang, Zhiheng Liu, Fan Bu, Ruiyu Zhang, Benyou Wang, Haizhou Li

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) de fala end-to-end existentes geralmente dependem de grandes volumes de dados anotados para treinamento, enquanto o treinamento eficiente em termos de dados não foi discutido em profundidade. Nós nos concentramos em dois problemas fundamentais entre fala e texto: a lacuna no espaço de representação e a inconsistência no comprimento das sequências. Propomos o Soundwave, que utiliza uma estratégia de treinamento eficiente e uma nova arquitetura para abordar essas questões. Os resultados mostram que o Soundwave supera o avançado Qwen2-Audio em tarefas de tradução de fala e no benchmark AIR-Bench de fala, utilizando apenas um quinquagésimo dos dados de treinamento. Análises adicionais mostram que o Soundwave ainda mantém sua inteligência durante conversas. O projeto está disponível em https://github.com/FreedomIntelligence/Soundwave.

English

Existing end-to-end speech large language models (LLMs) usually rely on large-scale annotated data for training, while data-efficient training has not been discussed in depth. We focus on two fundamental problems between speech and text: the representation space gap and sequence length inconsistency. We propose Soundwave, which utilizes an efficient training strategy and a novel architecture to address these issues. Results show that Soundwave outperforms the advanced Qwen2-Audio in speech translation and AIR-Bench speech tasks, using only one-fiftieth of the training data. Further analysis shows that Soundwave still retains its intelligence during conversation. The project is available at https://github.com/FreedomIntelligence/Soundwave.