Технический отчет Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

Авторы: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие успехи во многих областях, однако их интеграция в приложения кибербезопасности остается ограниченной из-за недостатка универсальных данных по кибербезопасности, сложности представления, а также проблем безопасности и регулирования. Для устранения этого пробела мы ранее представили Foundation-Sec-8B — языковую модель, ориентированную на кибербезопасность и подходящую для тонкой настройки на последующих задачах. Однако эта модель не была предназначена для чат-взаимодействий или выполнения инструкций. В данном отчете мы представляем Foundation-Sec-8B-Instruct: модель, специально обученную для универсального диалога в области кибербезопасности. Построенная на основе Foundation-Sec-8B, она сочетает в себе предметные знания, способность следовать инструкциям, навыки ведения диалога и соответствие человеческим предпочтениям для создания высококачественных и релевантных ответов. Комплексные оценки показывают, что Foundation-Sec-8B-Instruct превосходит Llama 3.1-8B-Instruct в ряде задач по кибербезопасности, одновременно соответствуя её производительности в выполнении инструкций. Она также конкурентоспособна с GPT-4o-mini в задачах анализа киберугроз и выполнения инструкций. Мы предполагаем, что Foundation-Sec-8B-Instruct станет незаменимым помощником в повседневной работе специалистов по кибербезопасности. Модель доступна публично по адресу https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.