Hackphyr: 네트워크 보안 환경을 위한 로컬로 세밀하게 조정된 LLM 에이전트

Hackphyr: A Local Fine-Tuned LLM Agent for Network Security Environments

September 17, 2024

저자: Maria Rigaki, Carlos Catania, Sebastian Garcia

cs.AI

초록

대형 언어 모델 (LLMs)은 사이버 보안을 포함한 다양한 분야에서 놀라운 잠재력을 보여주고 있습니다. 상용 클라우드 기반 LLMs를 사용하는 것은 개인 정보 보호 문제, 비용 및 네트워크 연결 제약 때문에 바람직하지 않을 수 있습니다. 본 논문에서는 네트워크 보안 환경 내에서 레드팀 에이전트로 사용되는 로컬로 세밀하게 조정된 LLM인 Hackphyr를 제시합니다. 저희가 세밀하게 조정한 70억 개의 매개변수 모델은 단일 GPU 카드에서 실행되며 GPT-4와 같이 훨씬 크고 강력한 상용 모델과 비교 가능한 성능을 달성합니다. Hackphyr는 명확하게 GPT-3.5-turbo 및 Q-러닝 에이전트와 같은 다른 모델 및 기준선을 능가하며, 복잡하고 이전에 보지 못한 시나리오에서 우수한 성과를 거두었습니다. 이러한 성능을 달성하기 위해 우리는 기본 모델의 능력을 향상시키기 위해 새로운 과제별 사이버 보안 데이터셋을 생성했습니다. 마지막으로, 본 연구에서는 이러한 에이전트들의 행동에 대한 포괄적인 분석을 실시하여 이러한 에이전트들의 계획 능력과 잠재적인 결점에 대한 통찰을 제공하며, 사이버 보안 환경에서 LLM 기반 에이전트들에 대한 보다 폭넓은 이해에 기여합니다.

English

Large Language Models (LLMs) have shown remarkable potential across various domains, including cybersecurity. Using commercial cloud-based LLMs may be undesirable due to privacy concerns, costs, and network connectivity constraints. In this paper, we present Hackphyr, a locally fine-tuned LLM to be used as a red-team agent within network security environments. Our fine-tuned 7 billion parameter model can run on a single GPU card and achieves performance comparable with much larger and more powerful commercial models such as GPT-4. Hackphyr clearly outperforms other models, including GPT-3.5-turbo, and baselines, such as Q-learning agents in complex, previously unseen scenarios. To achieve this performance, we generated a new task-specific cybersecurity dataset to enhance the base model's capabilities. Finally, we conducted a comprehensive analysis of the agents' behaviors that provides insights into the planning abilities and potential shortcomings of such agents, contributing to the broader understanding of LLM-based agents in cybersecurity contexts