PodAgent: Un Framework Completo per la Generazione di Podcast

PodAgent: A Comprehensive Framework for Podcast Generation

March 1, 2025

Autori: Yujia Xiao, Lei He, Haohan Guo, Fenglong Xie, Tan Lee

cs.AI

Abstract

I metodi esistenti per la generazione automatica di audio faticano a produrre efficacemente programmi audio simili a podcast. Le principali sfide risiedono nella generazione di contenuti approfonditi e nella produzione vocale appropriata ed espressiva. Questo articolo propone PodAgent, un framework completo per la creazione di programmi audio. PodAgent 1) genera contenuti informativi di discussione su argomenti specifici progettando un sistema di collaborazione multi-agente Host-Ospite-Scrittore, 2) crea un pool di voci per un abbinamento vocale-ruolo adeguato e 3) utilizza un metodo di sintesi vocale potenziato da LLM per generare un parlato conversazionale espressivo. Data l'assenza di criteri di valutazione standardizzati per la generazione di audio simile a podcast, abbiamo sviluppato linee guida di valutazione complete per valutare efficacemente le prestazioni del modello. I risultati sperimentali dimostrano l'efficacia di PodAgent, superando significativamente la generazione diretta con GPT-4 nei contenuti di dialogo su argomenti specifici, raggiungendo una precisione del 87,4% nell'abbinamento vocale e producendo un parlato più espressivo attraverso la sintesi guidata da LLM. Pagina demo: https://podcast-agent.github.io/demo/. Codice sorgente: https://github.com/yujxx/PodAgent.

English

Existing Existing automatic audio generation methods struggle to generate podcast-like audio programs effectively. The key challenges lie in in-depth content generation, appropriate and expressive voice production. This paper proposed PodAgent, a comprehensive framework for creating audio programs. PodAgent 1) generates informative topic-discussion content by designing a Host-Guest-Writer multi-agent collaboration system, 2) builds a voice pool for suitable voice-role matching and 3) utilizes LLM-enhanced speech synthesis method to generate expressive conversational speech. Given the absence of standardized evaluation criteria for podcast-like audio generation, we developed comprehensive assessment guidelines to effectively evaluate the model's performance. Experimental results demonstrate PodAgent's effectiveness, significantly surpassing direct GPT-4 generation in topic-discussion dialogue content, achieving an 87.4% voice-matching accuracy, and producing more expressive speech through LLM-guided synthesis. Demo page: https://podcast-agent.github.io/demo/. Source code: https://github.com/yujxx/PodAgent.