PodAgent: Ein umfassendes Framework zur Podcast-Generierung

PodAgent: A Comprehensive Framework for Podcast Generation

March 1, 2025

Autoren: Yujia Xiao, Lei He, Haohan Guo, Fenglong Xie, Tan Lee

cs.AI

Zusammenfassung

Bestehende automatische Audioerzeugungsmethoden haben Schwierigkeiten, podcast-ähnliche Audioprogramme effektiv zu generieren. Die zentralen Herausforderungen liegen in der tiefgehenden Inhaltsgenerierung sowie der angemessenen und ausdrucksstarken Sprachproduktion. Dieses Papier stellt PodAgent vor, ein umfassendes Framework zur Erstellung von Audioprogrammen. PodAgent 1) generiert informative Themen-Diskussionsinhalte durch die Gestaltung eines Host-Gast-Autor-Multi-Agenten-Kollaborationssystems, 2) erstellt einen Sprachpool für eine geeignete Sprach-Rollen-Zuordnung und 3) nutzt eine LLM-verbesserte Sprachsynthesemethode, um ausdrucksstarke Konversationssprache zu erzeugen. Angesichts des Fehlens standardisierter Bewertungskriterien für podcast-ähnliche Audioerzeugung haben wir umfassende Bewertungsrichtlinien entwickelt, um die Leistung des Modells effektiv zu evaluieren. Experimentelle Ergebnisse demonstrieren die Wirksamkeit von PodAgent, die direkte GPT-4-Generierung in Themen-Diskussionsdialoginhalten deutlich übertrifft, eine Sprach-Zuordnungsgenauigkeit von 87,4 % erreicht und durch LLM-gesteuerte Synthese ausdrucksvollere Sprache produziert. Demoseite: https://podcast-agent.github.io/demo/. Quellcode: https://github.com/yujxx/PodAgent.

English

Existing Existing automatic audio generation methods struggle to generate podcast-like audio programs effectively. The key challenges lie in in-depth content generation, appropriate and expressive voice production. This paper proposed PodAgent, a comprehensive framework for creating audio programs. PodAgent 1) generates informative topic-discussion content by designing a Host-Guest-Writer multi-agent collaboration system, 2) builds a voice pool for suitable voice-role matching and 3) utilizes LLM-enhanced speech synthesis method to generate expressive conversational speech. Given the absence of standardized evaluation criteria for podcast-like audio generation, we developed comprehensive assessment guidelines to effectively evaluate the model's performance. Experimental results demonstrate PodAgent's effectiveness, significantly surpassing direct GPT-4 generation in topic-discussion dialogue content, achieving an 87.4% voice-matching accuracy, and producing more expressive speech through LLM-guided synthesis. Demo page: https://podcast-agent.github.io/demo/. Source code: https://github.com/yujxx/PodAgent.