PodAgent: Een Uitgebreid Framework voor Podcastgeneratie

PodAgent: A Comprehensive Framework for Podcast Generation

March 1, 2025

Auteurs: Yujia Xiao, Lei He, Haohan Guo, Fenglong Xie, Tan Lee

cs.AI

Samenvatting

Bestaande automatische audiogeneratiemethoden hebben moeite om podcast-achtige audioprogramma's effectief te genereren. De belangrijkste uitdagingen liggen in diepgaande inhoudsgeneratie, gepaste en expressieve stemproductie. Dit artikel introduceert PodAgent, een uitgebreid raamwerk voor het creëren van audioprogramma's. PodAgent 1) genereert informatieve onderwerp-discussie-inhoud door het ontwerpen van een Host-Gast-Schrijver multi-agent samenwerkingssysteem, 2) bouwt een stempool voor geschikte stem-rol matching en 3) maakt gebruik van een LLM-verbeterde spraaksynthesemethode om expressief conversatiespraak te genereren. Gezien het ontbreken van gestandaardiseerde evaluatiecriteria voor podcast-achtige audiogeneratie, hebben we uitgebreide beoordelingsrichtlijnen ontwikkeld om de prestaties van het model effectief te evalueren. Experimentele resultaten tonen de effectiviteit van PodAgent aan, die significant beter presteert dan directe GPT-4-generatie in onderwerp-discussiedialooginhoud, een stemmatchingnauwkeurigheid van 87,4% bereikt en meer expressieve spraak produceert via LLM-geleide synthese. Demopagina: https://podcast-agent.github.io/demo/. Broncode: https://github.com/yujxx/PodAgent.

English

Existing Existing automatic audio generation methods struggle to generate podcast-like audio programs effectively. The key challenges lie in in-depth content generation, appropriate and expressive voice production. This paper proposed PodAgent, a comprehensive framework for creating audio programs. PodAgent 1) generates informative topic-discussion content by designing a Host-Guest-Writer multi-agent collaboration system, 2) builds a voice pool for suitable voice-role matching and 3) utilizes LLM-enhanced speech synthesis method to generate expressive conversational speech. Given the absence of standardized evaluation criteria for podcast-like audio generation, we developed comprehensive assessment guidelines to effectively evaluate the model's performance. Experimental results demonstrate PodAgent's effectiveness, significantly surpassing direct GPT-4 generation in topic-discussion dialogue content, achieving an 87.4% voice-matching accuracy, and producing more expressive speech through LLM-guided synthesis. Demo page: https://podcast-agent.github.io/demo/. Source code: https://github.com/yujxx/PodAgent.