MovieSum: Набор данных для абстрактного резюмирования сценариев кинофильмов

MovieSum: An Abstractive Summarization Dataset for Movie Screenplays

August 12, 2024

Авторы: Rohit Saxena, Frank Keller

cs.AI

Аннотация

Сжатие сценариев фильмов представляет собой сложную задачу, поскольку требует понимания длинных контекстов ввода и различных элементов, уникальных для кино. Большие языковые модели показали значительные успехи в сжатии документов, но часто испытывают трудности при обработке длинных контекстов ввода. Более того, хотя транскрипты телевизионных передач получили внимание в последних исследованиях, сжатие сценариев фильмов остается малоисследованным. Для стимулирования исследований в этой области мы представляем новый набор данных, MovieSum, для абстрактного сжатия сценариев фильмов. Этот набор данных включает 2200 сценариев фильмов вместе с их краткими описаниями сюжета из Википедии. Мы вручную отформатировали сценарии фильмов, чтобы представить их структурные элементы. По сравнению с существующими наборами данных, MovieSum обладает несколькими отличительными особенностями: (1) Он включает сценарии фильмов, которые длиннее сценариев телевизионных эпизодов. (2) Он вдвое больше по размеру, чем предыдущие наборы данных сценариев фильмов. (3) Он предоставляет метаданные с идентификаторами IMDb для облегчения доступа к дополнительным внешним знаниям. Мы также показываем результаты недавно выпущенных больших языковых моделей, примененных к сжатию нашего набора данных, чтобы предоставить подробную отправную точку.

English

Movie screenplay summarization is challenging, as it requires an understanding of long input contexts and various elements unique to movies. Large language models have shown significant advancements in document summarization, but they often struggle with processing long input contexts. Furthermore, while television transcripts have received attention in recent studies, movie screenplay summarization remains underexplored. To stimulate research in this area, we present a new dataset, MovieSum, for abstractive summarization of movie screenplays. This dataset comprises 2200 movie screenplays accompanied by their Wikipedia plot summaries. We manually formatted the movie screenplays to represent their structural elements. Compared to existing datasets, MovieSum possesses several distinctive features: (1) It includes movie screenplays, which are longer than scripts of TV episodes. (2) It is twice the size of previous movie screenplay datasets. (3) It provides metadata with IMDb IDs to facilitate access to additional external knowledge. We also show the results of recently released large language models applied to summarization on our dataset to provide a detailed baseline.