Das Problem stiller KI-Fehler
KI-Agenten unterscheiden sich von klassischer Software: Sie versagen oft leise. Statt abzustürzen, liefern sie selbstsichere, aber falsche Ergebnisse. Ein internes AWS-Beispiel zeigte, wie ein Agent einen Betrag von 410,08 Dollar als 410,08 Millionen interpretierte oder nicht autorisierte Berechnungen ausführte – ohne dass herkömmliche Monitoring-Systeme Alarm schlugen.
Kontinuierliche Qualitätssicherung als Betriebssystem
Das AWS SMGS Operations-Team hat erkannt, dass Qualität bei KI-Agenten kein einmaliger QA-Schritt sein darf. Änderungen an Daten, Prompts, Code oder Releases können die Leistung erheblich beeinträchtigen. Deshalb wurde ein neunstufiges Evaluierungs-Framework auf Basis von Amazon Bedrock AgentCore entwickelt.
Das neunstufige Framework
Das Framework begleitet KI-Agenten über den gesamten Lebenszyklus – von der ersten Code-Änderung bis zum laufenden Betrieb. Es ist auf Tool-, Agent- und Multi-Agent-Ebene anwendbar.
Phase 1 – Grundlage: Definition von Geschäftszielen und Übersetzung in messbare Evaluierungskennzahlen wie Genauigkeit, Halluzinationsrate, Relevanz, Treue und Hilfsbereitschaft. Sechs spezifische Fehlertypen werden definiert. Ein Evaluator-Stack (AgentCore-Evaluatoren, kundenspezifische, DeepEval, AutoEval, deterministische) und ein Golden Set werden aufgebaut.
Phase 2 – Experiment: AgentCore On-Demand Evaluation vergleicht Versionen anhand des Golden Sets unter Berücksichtigung von Qualität, Latenz und Kosten.
Phase 3 – Merge (CI): Automatische Pre-Production-Evaluation auf einem Sentinel Set verhindert Regressionen.
Phase 4 – Gate (CD): Umfassende Evaluation mit Sandboxing und Tool-Mocking vor der Auslieferung.
Phase 5 – Kanarienvogel: AgentCore Batch Evaluation prüft alle 30 Minuten Live-Traffic und synthetische Fälle.
Phase 6 – Widersacher: Amazon Bedrock Guardrails schützen vor schädlichen Inhalten und Prompt-Injection-Angriffen.
Phase 7 – Drift: AgentCore Online Evaluation überwacht kontinuierlich einen Teil des Live-Traffics. A/B-Tests erfolgen über AgentCore Gateway.
Phase 8 – Puls: AgentCore Observability mit OpenTelemetry, CloudWatch und Dashboards reduziert die Zeit bis zur Erkennung von Problemen erheblich.
Phase 9 – Feedbackschleife: AgentCore Optimization analysiert Traces und gibt datengestützte Empfehlungen zur Verbesserung von Prompts und Tool-Beschreibungen.
Technische Integration
Das Framework nutzt Amazon Bedrock AgentCore Evaluations, Guardrails, CloudWatch, S3, Redshift, Quick, Lambda sowie OpenTelemetry und Drittanbieter-Tools wie DeepEval und AutoEval.
Messbare Effekte
Die Zeit bis zur Erkennung von Qualitätsproblemen wurde deutlich verkürzt. Bereitstellungen basieren auf quantitativen Schwellenwerten. Prompt-Iterationen laufen deutlich schneller. Die Sicherheit wird durch vollständige Guardrail-Abdeckung gewährleistet.
Quelle: AWS AI Blog
FAQ
Was sind „leise Fehler“ bei KI-Agenten?
Leise Fehler sind inkorrekte, aber selbstsicher und flüssig formulierte Ausgaben, die im Gegensatz zu klassischen Software-Abstürzen von herkömmlichen Monitoring-Tools nicht erkannt werden.
Welche Phasen umfasst das neunstufige Framework?
Es deckt neun Phasen ab – von der Definition von Qualitätskennzahlen über CI/CD-Gates, kontinuierliche Post-Production-Überwachung, Schutzmechanismen, Drift-Erkennung, Observability bis hin zur datengesteuerten Optimierung.
Welche AWS-Dienste werden primär eingesetzt?
Kernkomponenten sind Amazon Bedrock AgentCore Evaluations, Amazon Bedrock Guardrails, CloudWatch, OpenTelemetry sowie Integrationen mit DeepEval und AutoEval.