필요한 것은 퍼징 뇌뿐: 자동화된 취약점 탐지 및 패치를 위한 LLM 기반 시스템

초록

우리 팀 'All You Need Is A Fuzzing Brain'은 DARPA의 인공지능 사이버 챌린지(AIxCC)에서 7개 최종 팀 중 하나로 선정되어 결승전에서 4위를 차지했습니다. 대회 기간 동안 우리는 실제 오픈소스 C 및 Java 프로젝트에서 28개의 보안 취약점(이 중 6개는 이전에 알려지지 않은 제로데이 취약점 포함)을 자동으로 탐지하고, 이 중 14개를 성공적으로 패치한 사이버 추론 시스템(CRS)을 개발했습니다. 전체 CRS는 https://github.com/o2lab/afc-crs-all-you-need-is-a-fuzzing-brain에서 오픈소스로 공개되어 있습니다. 본 논문은 우리의 CRS에 대한 상세한 기술 설명을 제공하며, 특히 LLM(대형 언어 모델) 기반 구성 요소와 전략에 중점을 둡니다. AIxCC를 기반으로, 우리는 AIxCC 데이터셋에서 도출된 취약점 탐지 및 패치 작업에 대한 최신 LLM 벤치마킹을 위한 공개 리더보드를 추가로 소개합니다. 이 리더보드는 https://o2lab.github.io/FuzzingBrain-Leaderboard/에서 확인할 수 있습니다.

English

Our team, All You Need Is A Fuzzing Brain, was one of seven finalists in DARPA's Artificial Intelligence Cyber Challenge (AIxCC), placing fourth in the final round. During the competition, we developed a Cyber Reasoning System (CRS) that autonomously discovered 28 security vulnerabilities - including six previously unknown zero-days - in real-world open-source C and Java projects, and successfully patched 14 of them. The complete CRS is open source at https://github.com/o2lab/afc-crs-all-you-need-is-a-fuzzing-brain. This paper provides a detailed technical description of our CRS, with an emphasis on its LLM-powered components and strategies. Building on AIxCC, we further introduce a public leaderboard for benchmarking state-of-the-art LLMs on vulnerability detection and patching tasks, derived from the AIxCC dataset. The leaderboard is available at https://o2lab.github.io/FuzzingBrain-Leaderboard/.

필요한 것은 퍼징 뇌뿐: 자동화된 취약점 탐지 및 패치를 위한 LLM 기반 시스템

All You Need Is A Fuzzing Brain: An LLM-Powered System for Automated Vulnerability Detection and Patching

초록

Support