Технический отчет Llama-3.1-FoundationAI-SecurityLLM-Base-8B
Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report
April 28, 2025
Авторы: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi
cs.AI
Аннотация
По мере того как крупные языковые модели (LLM) на основе трансформеров всё больше проникают в общество, они произвели революцию в таких областях, как разработка программного обеспечения, творческое письмо и цифровое искусство. Однако их внедрение в кибербезопасность остаётся ограниченным из-за таких проблем, как нехватка специализированных данных для обучения и сложность представления знаний, специфичных для кибербезопасности. Чтобы устранить эти пробелы, мы представляем Foundation-Sec-8B — LLM, ориентированную на кибербезопасность, построенную на архитектуре Llama 3.1 и улучшенную за счёт дополнительного предобучения на тщательно отобранном корпусе данных по кибербезопасности. Мы оцениваем Foundation-Sec-8B на основе как устоявшихся, так и новых тестовых наборов для кибербезопасности, демонстрируя, что она сопоставима с Llama 3.1-70B и GPT-4o-mini в определённых задачах, связанных с кибербезопасностью. Публикуя нашу модель, мы стремимся ускорить прогресс и внедрение инструментов на основе ИИ как в государственных, так и в частных контекстах кибербезопасности.
English
As transformer-based large language models (LLMs) increasingly permeate
society, they have revolutionized domains such as software engineering,
creative writing, and digital arts. However, their adoption in cybersecurity
remains limited due to challenges like scarcity of specialized training data
and complexity of representing cybersecurity-specific knowledge. To address
these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on
the Llama 3.1 architecture and enhanced through continued pretraining on a
carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across
both established and new cybersecurity benchmarks, showing that it matches
Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By
releasing our model to the public, we aim to accelerate progress and adoption
of AI-driven tools in both public and private cybersecurity contexts.