AstroLLaMA: 천문학 분야 전용 파운데이션 모델을 향하여

초록

대규모 언어 모델은 많은 인간 언어 작업에서 뛰어난 성능을 보이지만, 학문적 천문학과 같은 고도로 전문화된 분야에서는 종종 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 우리는 arXiv에서 수집한 30만 개 이상의 천문학 초록을 사용하여 LLaMA-2에서 미세 조정된 70억 개의 파라미터를 가진 AstroLLaMA를 소개합니다. 전통적인 인과적 언어 모델링에 최적화된 AstroLLaMA는 LLaMA-2 대비 30% 더 낮은 퍼플렉서티를 달성하며, 뚜렷한 도메인 적응을 보여줍니다. 우리의 모델은 훨씬 적은 파라미터를 가지고도 최첨단 기반 모델보다 더 통찰력 있고 과학적으로 관련성 높은 텍스트 완성 및 임베딩 추출을 생성합니다. AstroLLaMA는 광범위한 미세 조정 잠재력을 가진 강력한 도메인 특화 모델로 기능합니다. 이 모델의 공개는 자동 논문 요약 및 대화형 에이전트 개발을 포함한 천문학 중심 연구를 촉진하기 위한 목적을 가지고 있습니다.

English

Large language models excel in many human-language tasks but often falter in highly specialized domains like scholarly astronomy. To bridge this gap, we introduce AstroLLaMA, a 7-billion-parameter model fine-tuned from LLaMA-2 using over 300,000 astronomy abstracts from arXiv. Optimized for traditional causal language modeling, AstroLLaMA achieves a 30% lower perplexity than Llama-2, showing marked domain adaptation. Our model generates more insightful and scientifically relevant text completions and embedding extraction than state-of-the-arts foundation models despite having significantly fewer parameters. AstroLLaMA serves as a robust, domain-specific model with broad fine-tuning potential. Its public release aims to spur astronomy-focused research, including automatic paper summarization and conversational agent development.

AstroLLaMA: 천문학 분야 전용 파운데이션 모델을 향하여

AstroLLaMA: Towards Specialized Foundation Models in Astronomy

초록

Support