Hackphyr: Ein lokal feinabgestimmter LLM-Agent für Netzwerksicherheitsumgebungen

Hackphyr: A Local Fine-Tuned LLM Agent for Network Security Environments

September 17, 2024

Autoren: Maria Rigaki, Carlos Catania, Sebastian Garcia

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswertes Potenzial in verschiedenen Bereichen gezeigt, einschließlich der Cybersicherheit. Die Verwendung von kommerziellen Cloud-basierten LLMs kann aufgrund von Datenschutzbedenken, Kosten und Netzwerkverbindungseinschränkungen unerwünscht sein. In diesem Artikel stellen wir Hackphyr vor, ein lokal feinabgestimmtes LLM, das als Red-Team-Agent in Netzwerksicherheitsumgebungen eingesetzt werden soll. Unser feinabgestimmtes Modell mit 7 Milliarden Parametern kann auf einer einzelnen GPU-Karte ausgeführt werden und erreicht eine Leistung, die mit deutlich größeren und leistungsstärkeren kommerziellen Modellen wie GPT-4 vergleichbar ist. Hackphyr übertrifft eindeutig andere Modelle, einschließlich GPT-3.5-turbo, sowie Baselines wie Q-Learning-Agenten in komplexen, zuvor ungesehenen Szenarien. Um diese Leistung zu erzielen, haben wir einen neuen aufgabenbezogenen Cybersicherheitsdatensatz generiert, um die Fähigkeiten des Basismodells zu verbessern. Abschließend führten wir eine umfassende Analyse des Verhaltens der Agenten durch, die Einblicke in die Planungsfähigkeiten und potenzielle Schwächen solcher Agenten liefert und so zum umfassenderen Verständnis von LLM-basierten Agenten in Cybersicherheitskontexten beiträgt.

English

Large Language Models (LLMs) have shown remarkable potential across various domains, including cybersecurity. Using commercial cloud-based LLMs may be undesirable due to privacy concerns, costs, and network connectivity constraints. In this paper, we present Hackphyr, a locally fine-tuned LLM to be used as a red-team agent within network security environments. Our fine-tuned 7 billion parameter model can run on a single GPU card and achieves performance comparable with much larger and more powerful commercial models such as GPT-4. Hackphyr clearly outperforms other models, including GPT-3.5-turbo, and baselines, such as Q-learning agents in complex, previously unseen scenarios. To achieve this performance, we generated a new task-specific cybersecurity dataset to enhance the base model's capabilities. Finally, we conducted a comprehensive analysis of the agents' behaviors that provides insights into the planning abilities and potential shortcomings of such agents, contributing to the broader understanding of LLM-based agents in cybersecurity contexts