ChatPaper.aiChatPaper

프론티어 모델 안전성 프레임워크 하에서 아마존 노바 프리미어의 주요 위험성 평가

Evaluating the Critical Risks of Amazon's Nova Premier under the Frontier Model Safety Framework

July 7, 2025
저자: Satyapriya Krishna, Ninareh Mehrabi, Abhinav Mohanty, Matteo Memelli, Vincent Ponzo, Payal Motwani, Rahul Gupta
cs.AI

초록

Nova Premier는 Amazon의 가장 강력한 멀티모달 기초 모델이자 모델 증류를 위한 교사 모델입니다. 이 모델은 100만 토큰의 컨텍스트 윈도우를 통해 텍스트, 이미지, 비디오를 처리하며, 단일 프롬프트로 대규모 코드베이스, 400페이지 분량의 문서, 90분 길이의 비디오를 분석할 수 있습니다. 본 논문에서는 Frontier Model Safety Framework 하에서 Nova Premier의 주요 위험 프로필에 대한 첫 번째 포괄적 평가를 제시합니다. 평가는 세 가지 고위험 영역——화학, 생물학, 방사능 및 핵(CBRN), 공격적 사이버 작전, 자동화된 AI 연구 개발——을 대상으로 하며, 자동화된 벤치마크, 전문가 레드 팀 활동, 그리고 업리프트 연구를 결합하여 모델이 출시 기준을 초과하는지 여부를 판단합니다. 우리는 방법론을 요약하고 핵심 결과를 보고합니다. 이 평가를 바탕으로, Nova Premier는 2025년 파리 AI 안전 정상회의에서 한 약속에 따라 공개 출시에 안전한 것으로 판단됩니다. 우리는 프론티어 모델과 관련된 새로운 위험과 역량이 식별됨에 따라 안전 평가 및 완화 파이프라인을 지속적으로 강화할 것입니다.
English
Nova Premier is Amazon's most capable multimodal foundation model and teacher for model distillation. It processes text, images, and video with a one-million-token context window, enabling analysis of large codebases, 400-page documents, and 90-minute videos in a single prompt. We present the first comprehensive evaluation of Nova Premier's critical risk profile under the Frontier Model Safety Framework. Evaluations target three high-risk domains -- Chemical, Biological, Radiological & Nuclear (CBRN), Offensive Cyber Operations, and Automated AI R&D -- and combine automated benchmarks, expert red-teaming, and uplift studies to determine whether the model exceeds release thresholds. We summarize our methodology and report core findings. Based on this evaluation, we find that Nova Premier is safe for public release as per our commitments made at the 2025 Paris AI Safety Summit. We will continue to enhance our safety evaluation and mitigation pipelines as new risks and capabilities associated with frontier models are identified.
PDF31July 10, 2025