Hackphyr: Un Agente LLM Ajustado Localmente para Entornos de Seguridad de Redes

Hackphyr: A Local Fine-Tuned LLM Agent for Network Security Environments

September 17, 2024

Autores: Maria Rigaki, Carlos Catania, Sebastian Garcia

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) han demostrado un potencial notable en diversos ámbitos, incluida la ciberseguridad. El uso de LLMs comerciales basados en la nube puede resultar poco deseable debido a preocupaciones de privacidad, costos y limitaciones de conectividad de red. En este documento, presentamos Hackphyr, un LLM ajustado localmente para ser utilizado como un agente red-team dentro de entornos de seguridad de red. Nuestro modelo ajustado fino de 7 mil millones de parámetros puede ejecutarse en una sola tarjeta GPU y logra un rendimiento comparable con modelos comerciales mucho más grandes y potentes, como GPT-4. Hackphyr supera claramente a otros modelos, incluido GPT-3.5-turbo, y a baselines, como agentes Q-learning, en escenarios complejos previamente no vistos. Para lograr este rendimiento, generamos un nuevo conjunto de datos de ciberseguridad específico de la tarea para mejorar las capacidades del modelo base. Finalmente, realizamos un análisis exhaustivo de los comportamientos de los agentes que proporciona información sobre las habilidades de planificación y posibles deficiencias de dichos agentes, contribuyendo a una comprensión más amplia de los agentes basados en LLM en contextos de ciberseguridad.

English

Large Language Models (LLMs) have shown remarkable potential across various domains, including cybersecurity. Using commercial cloud-based LLMs may be undesirable due to privacy concerns, costs, and network connectivity constraints. In this paper, we present Hackphyr, a locally fine-tuned LLM to be used as a red-team agent within network security environments. Our fine-tuned 7 billion parameter model can run on a single GPU card and achieves performance comparable with much larger and more powerful commercial models such as GPT-4. Hackphyr clearly outperforms other models, including GPT-3.5-turbo, and baselines, such as Q-learning agents in complex, previously unseen scenarios. To achieve this performance, we generated a new task-specific cybersecurity dataset to enhance the base model's capabilities. Finally, we conducted a comprehensive analysis of the agents' behaviors that provides insights into the planning abilities and potential shortcomings of such agents, contributing to the broader understanding of LLM-based agents in cybersecurity contexts