Generalisierung auf Token-Ebene in LoRA-Adapter-Backdoors: Angriffscharakterisierung und verhaltensbasierte Erkennung

Zusammenfassung

Wir zeigen, dass LoRA-Adapter, das dominante Verteilungsformat für feinabgestimmte LLMs, durch Trainingsdatenvergiftung zuverlässig mit einer Backdoor versehen werden können, während die Basisaufgabenleistung erhalten bleibt. Bei einem Qwen 2.5 1.5B Prompt-Injection-Klassifikator treibt bereits ein kleiner Anteil vergifteter Beispiele eine die saubere Genauigkeit erhaltende Backdoor in die Sättigung. Die resultierende Backdoor generalisiert auf Token-Merkmalsebene und nicht auf struktureller Musterebene: Ein auf eine RFC-Referenz trainiertes Modell aktiviert auf jede RFC-Referenz, überträgt sich jedoch nicht auf strukturell identische ISO-, OWASP-, CWE- oder NIST-Zitate. Diese Asymmetrie begünstigt den Angreifer, da ein Verteidiger nicht pauschal nach „strukturierten Zitaten“ suchen kann. Wir charakterisieren den Angriff über Basis-Modellgröße und -Familie, LoRA-Rang und Trigger-String und evaluieren zwei komplementäre Erkennungswege an einer Multi-Seed-Adapter-Kohorte. Ein aus zwei Sondenbatterie-Statistiken – outlier_gap und mean_attack_rate – aufgebauter Verhaltensdetektor trennt vergiftete von sauberen Adaptern perfekt, wenn die Batterie die Token-Nachbarschaft des Triggers überlappt, und bei hohem Recall ohne falsch Positive, wenn sie dies nicht tut. Eine gewichtsebenenstatistische Größe – die modulübergreifende Standardabweichung der dimensionsnormalisierten Frobenius-Normen – trennt die Kohorte ebenfalls perfekt, ohne das Modell auszuführen. In Kombination sind die beiden Wege robust gegenüber der Sondenzusammensetzung. Kausales Patching lokalisiert die Backdoor im MLP-Block der mittleren bis späten Schichten, wobei down_proj die stärkste Einzelprojektionsursache darstellt. Replikationen über Größe, Familie und Rang zeigen, dass der Verhaltensdetektor ohne Nachjustierung übertragbar ist, während der gewichtsebenenstatistische Detektor kalibrierungsgebunden an das Basismodell ist. Der Angriff skaliert monoton mit dem Rang, und das gewählte Trigger-Anker-Token ist sowohl trigger- als auch basismodellabhängig. Die Verhaltensdetektion ist das operationell portable Ergebnis für das Scanning der Adapter-Lieferkette.

English

We show that LoRA adapters, the dominant distribution format for fine-tuned LLMs, can be reliably backdoored through training data poisoning while preserving baseline task performance. On a Qwen 2.5 1.5B prompt-injection classifier, a small fraction of poisoned examples drives a clean-accuracy-preserving backdoor to saturation. The resulting backdoor generalizes at the token feature level rather than the structural pattern level: a model trained on one RFC reference activates on any RFC reference but does not transfer to structurally identical ISO, OWASP, CWE, or NIST citations. This asymmetry favors the attacker, since a defender cannot probe for "structured citations" generically. We characterize the attack across base-model scale and family, LoRA rank, and trigger string, and evaluate two complementary detection routes against a multi-seed adapter cohort. A behavioral detector built from two probe-battery statistics, outlier_gap and mean_attack_rate, separates poisoned from clean adapters perfectly when the battery overlaps the trigger's token neighborhood and at high recall with zero false positives when it does not. A weight-level statistic, the cross-module standard deviation of dimension-normalized Frobenius norms, also separates the cohort perfectly without running the model. Combined, the two routes are robust to probe composition. Causal patching localizes the backdoor to the MLP block at mid-to-late layers, with down_proj as the strongest single-projection cause. Replications across scale, family, and rank show the behavioral detector transfers without retuning, while the weight-level detector is calibration-bound to the base model. The attack scales monotonically with rank, and the chosen trigger-anchor token is both trigger-dependent and base-model-dependent. Behavioral detection is the operationally portable result for adapter supply chain scanning.