Modellagnostische PII-Erkennung mit Large Language Models

Herkömmliche Werkzeuge zur Erkennung personenbezogener Informationen (PII) sind häufig auf bidirektionale Token-Klassifizierungsmodelle mit festem Schema ausgelegt. Die Erweiterung um neue, domänenspezifische Entitätstypen erfordert dabei stets neues Labeling und Retraining.

AWS hat einen konfigurierbaren, instruktionsgesteuerten und modellagnostischen PII-Detektor entwickelt. Dieser kann auf jedem Large Language Model ausgeführt werden, das über Amazon Bedrock bereitgestellt wird oder auf selbst gehosteten Open-Source-Modellen läuft.

Kernarchitektur

Der Detektor basiert auf vier Hauptkomponenten:

• Einem zentralen PII-Schema, das innerhalb einer einzigen System-Prompt-Vorlage fünfzehn Entitätskategorien, eine „Do-not-flag“-Liste und optionale Few-Shot-Beispiele definiert. Die Ausgabe erfolgt als strukturierte JSON-Liste von Entitäten (Typ und Wert).
• Der „Inferencer“-Schnittstelle, die eine einheitliche Abstraktion zwischen Detektor und LLM-Backend herstellt.
• Einem bereitgestellten Amazon-Bedrock-Adapter, der die Converse API nutzt.
• Einer Nachbearbeitungsschicht, die JSON-Parsing, die Berechnung exakter Zeichen-Offsets und die Korrektur halluzinierter Labels auf ein kanonisches Vokabular durchführt.

Durch die vollständige Verlagerung der Erkennungslogik in den Prompt und die schlanke Parsing-Schicht wird die Abhängigkeit von modell-spezifischen Eigenschaften eliminiert. Neue Entitätstypen oder Ausgabeformate können durch reine Prompt-Anpassung integriert werden, ohne Retraining oder Neudeployment.

Evaluierung

Die Lösung wurde auf fünf öffentlichen PII-Korpora von Hugging Face evaluiert (ai4privacy_500k, ai4privacy, gretel, isotonic, nemotron). Diese umfassen Datensätze in acht Sprachen: Deutsch, Englisch, Spanisch, Französisch, Hindi, Italienisch, Niederländisch und Telugu.

Der Detektor wurde mit acht weiteren LLM-basierten Systemen, darunter dem OpenAI PrivacyFilter, verglichen. Die primäre Bewertungsmetrik war der Span-Level Core F1-Score. OSS-GPT 20B erreichte dabei auf Amazon EC2 und Amazon Bedrock vergleichbare Ergebnisse. Das System zeigte konsistente Leistung über die acht Sprachen hinweg, mit besonders hoher Genauigkeit bei kritischen Identifikatoren wie Sozialversicherungsnummern, Finanzdaten und nationalen ID-Nummern. Die Erkennung von DATUM-Entitäten erwies sich als herausfordernd aufgrund inhärenter Formatmehrdeutigkeiten.

Die „Extended“-Konfiguration, bei der zusätzliche domänenspezifische Entitäten über den Prompt hinzugefügt wurden, führte zu einer deutlichen Verbesserung des Extended-Entity F1-Scores bei unveränderter oder leicht verbesserter Core-F1-Leistung.

Schnittstellen und Skalierbarkeit

Die einheitliche Inferencer-Schnittstelle ermöglicht den Austausch des LLM-Backends ohne Änderungen am Detektor selbst. Dies schafft die strukturelle Voraussetzung für den Einsatz in regulierten, sicheren oder luftdichten Umgebungen auf selbstverwalteter Infrastruktur wie Amazon EC2.

Quelle: AWS AI Blog

FAQ

Welche Sprachen unterstützt der modellagnostische PII-Detektor?
Der Detektor erkennt PII kontextbezogen in acht Sprachen (Deutsch, Englisch, Spanisch, Französisch, Hindi, Italienisch, Niederländisch, Telugu) ohne separaten Übersetzungsschritt.

Kann der Detektor um neue, unternehmensspezifische PII-Typen erweitert werden?
Ja. Durch Anpassung des System-Prompts können neue Entitätstypen wie Krypto-Wallet-Adressen oder interne Mitarbeiter-IDs hinzugefügt werden, ohne dass ein Modell retrainiert oder die Pipeline neu deployt werden muss.

Welche Komponenten sind für die Genauigkeit der Span-Lokalisierung verantwortlich?
Eine dedizierte Nachbearbeitungsschicht berechnet exakte Zeichen-Offsets und korrigiert halluzinierte Labels, da LLMs Positionsinformationen nicht zuverlässig liefern.

Wo ist die Implementierung verfügbar?
Der Detektor ist als pii-detector-Paket im sample-llm-pii-detection-Repository verfügbar.