아랍어와 그 방언에서의 지시어 기반 시 생성

초록

시(詩)는 오랫동안 아랍어 사용자들에게 핵심적인 예술 형태로 자리 잡으며, 강력한 표현 수단이자 문화적 정체성을 구현해 왔습니다. 현대 아랍어 사용자들도 시를 계속해서 소중히 여기고 있지만, 대규모 언어 모델(LLM) 내 아랍어 시에 대한 기존 연구는 주로 해석이나 운율 체계 및 제목과 같은 메타데이터 예측과 같은 분석 작업에 집중되어 왔습니다. 이에 반해, 우리의 연구는 사용자가 시를 창작하는 데 도움을 주기 위해 제어 가능한 생성 기능을 도입함으로써 아랍어 시 창작의 실용적인 측면을 다룹니다. 구체적으로, 우리는 현대 표준 아랍어(MSA)와 다양한 아랍어 방언으로 된 대규모의 신중하게 구성된 지시 기반 데이터 세트를 제시합니다. 이 데이터 세트는 스타일과 운율 같은 사전 정의된 기준을 바탕으로 시를 쓰고, 수정하고, 이어가는 작업뿐만 아니라 시 분석을 수행하는 데도 활용됩니다. 우리의 실험 결과, 이 데이터 세트로 LLM을 미세 조정하면 자동 평가 지표와 아랍어 원어민을 대상으로 한 인간 평가 모두를 기준으로 사용자 요구 사항에 부합하는 시를 효과적으로 생성할 수 있는 모델이 만들어짐을 보여줍니다. 데이터와 코드는 https://github.com/mbzuai-nlp/instructpoet-ar 에서 확인할 수 있습니다.

English

Poetry has long been a central art form for Arabic speakers, serving as a powerful medium of expression and cultural identity. While modern Arabic speakers continue to value poetry, existing research on Arabic poetry within Large Language Models (LLMs) has primarily focused on analysis tasks such as interpretation or metadata prediction, e.g., rhyme schemes and titles. In contrast, our work addresses the practical aspect of poetry creation in Arabic by introducing controllable generation capabilities to assist users in writing poetry. Specifically, we present a large-scale, carefully curated instruction-based dataset in Modern Standard Arabic (MSA) and various Arabic dialects. This dataset enables tasks such as writing, revising, and continuing poems based on predefined criteria, including style and rhyme, as well as performing poetry analysis. Our experiments show that fine-tuning LLMs on this dataset yields models that can effectively generate poetry that is aligned with user requirements, based on both automated metrics and human evaluation with native Arabic speakers. The data and the code are available at https://github.com/mbzuai-nlp/instructpoet-ar

아랍어와 그 방언에서의 지시어 기반 시 생성

Instruction-Guided Poetry Generation in Arabic and Its Dialects

초록

Support