YOLO-PEFT：YOLOファミリーにおけるパラメータ効率的ファインチューニング

要旨

言語モデルから転用される一般的なパラメータ効率的ファインチューニング（PEFT）手法は、リアルタイム検出器では暗黙のうちに失敗することがある。これは、検出器の異種オペレータと検出固有のコンポーネントが、通常のTransformerスタックには存在しない配置制約を課すためである。本稿では、アダプタ配置を監査可能な制約計画問題として定式化する構造認識フレームワークYOLO-PEFTを提案する。YOLO-PEFTは、検出器グラフ、PEFTリクエスト、リソース予算が与えられると、オペレータ役割と意味役割を割り当て、明示的なオペレータ妥当性、検出器セマンティクス、グラフインターフェース、デプロイメントの各述語を評価し、除外された各モジュールの理由コードを記録した上で、予算内のターゲットモジュール計画を出力するか、トレーニング前にRefuse（拒否）を返す。公式のVOC07+12 trainval-to-VOC07テストプロトコルでは、プランナーが選択したRS-LoRAはYOLO11sおよびYOLO12sでそれぞれmAP50-95 0.7138および0.7307を達成し、一方Full-SFTでは0.6428および0.6662であった。RT-DETR-Lでは、評価された7つのLoRAファミリ構成すべてが事前定義された壊滅的閾値を超え、評価範囲内で較正された「拒否してFull-SFTを使用する」判断を支持する。管理されたYOLO11監査はさらに、LoRAがトレーニング時のピークメモリ使用量を43.9%削減する一方、トレーニング時間は1.72倍長くなることを示している。評価された検出器ファミリ、配置ポリシー、較正範囲内では、YOLO-PEFTは、検証済みのトレーニング・保存・マージ・エクスポート経路を維持しつつ、手動によるターゲットモジュールの試行錯誤を明示的かつ検査可能な計画に置き換える。未見の検出器アーキテクチャに対する拒否は、依然として未解決の検証課題である。プロジェクトページ：github.com/Tencent/YOLO-Master

English

Generic parameter-efficient fine-tuning (PEFT) methods transferred from language models can fail silently on real-time detectors, whose heterogeneous operators and detection-specific components impose placement constraints absent from regular Transformer stacks. We propose YOLO-PEFT, a structure-aware framework that formulates adapter placement as an auditable constraint-planning problem. Given a detector graph, a PEFT request, and a resource budget, YOLO-PEFT assigns operator and semantic roles, evaluates explicit operator-validity, detector-semantic, graph-interface, and deployment predicates, records a reason code for each excluded module, and either emits a budgeted target-module plan or returns Refuse before training. Under the official VOC07+12 trainval-to-VOC07 test protocol, planner-selected RS-LoRA reaches 0.7138 and 0.7307 mAP50-95 on YOLO11s and YOLO12s, respectively, compared with 0.6428 and 0.6662 for Full-SFT. On RT-DETR-L, all seven evaluated LoRA-family configurations cross the predefined catastrophic threshold, supporting a calibrated Refuse-to-Full-SFT decision within the evaluated coverage. A controlled YOLO11 audit further shows that LoRA reduces peak training memory by 43.9 percent, although training takes 1.72 times longer. Within the evaluated detector families, placement policies, and calibration coverage, YOLO-PEFT replaces manual target-module trial and error with explicit, inspectable planning while preserving verified train-save-merge-export paths; refusal on unseen detector architectures remains an open validation problem. Project Page: github.com/Tencent/YOLO-Master