Roteiro rumo à Compreensão de Fala Super-humana usando Modelos de Linguagem Grandes

Roadmap towards Superhuman Speech Understanding using Large Language Models

October 17, 2024

Autores: Fan Bu, Yuhao Zhang, Xidong Wang, Benyou Wang, Qun Liu, Haizhou Li

cs.AI

Resumo

O sucesso dos grandes modelos de linguagem (LLMs) tem motivado esforços para integrar dados de fala e áudio, com o objetivo de criar modelos fundamentais gerais capazes de processar tanto entradas textuais quanto não textuais. Avanços recentes, como o GPT-4o, destacam o potencial para LLMs de fala de ponta a ponta, que preservam informações não semânticas e conhecimento do mundo para uma compreensão mais profunda da fala. Para orientar o desenvolvimento de LLMs de fala, propomos um roadmap de cinco níveis, que vai desde o reconhecimento automático de fala (ASR) básico até modelos super-humanos avançados capazes de integrar informações não semânticas com conhecimento acústico abstrato para tarefas complexas. Além disso, projetamos um benchmark, o Benchmark SAGI, que padroniza aspectos críticos em várias tarefas nesses cinco níveis, revelando desafios no uso de conhecimento acústico abstrato e completude de capacidade. Nossas descobertas revelam lacunas no tratamento de pistas paralinguísticas e conhecimento acústico abstrato, e oferecemos direções futuras. Este artigo delineia um roadmap para avançar os LLMs de fala, introduz um benchmark para avaliação e fornece insights-chave sobre suas limitações atuais e potencialidades.

English

The success of large language models (LLMs) has prompted efforts to integrate speech and audio data, aiming to create general foundation models capable of processing both textual and non-textual inputs. Recent advances, such as GPT-4o, highlight the potential for end-to-end speech LLMs, which preserves non-semantic information and world knowledge for deeper speech understanding. To guide the development of speech LLMs, we propose a five-level roadmap, ranging from basic automatic speech recognition (ASR) to advanced superhuman models capable of integrating non-semantic information with abstract acoustic knowledge for complex tasks. Moreover, we design a benchmark, SAGI Bechmark, that standardizes critical aspects across various tasks in these five levels, uncovering challenges in using abstract acoustic knowledge and completeness of capability. Our findings reveal gaps in handling paralinguistic cues and abstract acoustic knowledge, and we offer future directions. This paper outlines a roadmap for advancing speech LLMs, introduces a benchmark for evaluation, and provides key insights into their current limitations and potential.