Quelle: AWS AI Blog

KI-Agenten, die autonom Tools auswählen und Operationen über mehrere Quellen sequenzieren, erzeugen Verhalten, das durch reine Output-Tests nicht vollständig erfasst werden kann. Ein Agent kann eine strukturierte Antwort liefern und dabei halluzinieren, wenn Tools leere Ergebnisse zurückgeben. Oder er erreicht das korrekte Ergebnis, ohne notwendige Verifikationsschritte auszuführen.

Diese verborgenen Fehler erfordern eine Evaluation, die den vollständigen Ausführungspfad nachverfolgt: aufgerufene Tools, zurückgegebene Daten und die Treue der finalen Antwort zu diesen Daten.

Agent-EvalKit

Agent-EvalKit ist ein Open-Source-Toolkit (Apache 2.0), das diese Infrastruktur bereitstellt. Es integriert sich direkt in AI-Coding-Assistenten wie Claude Code, Kiro CLI und Kilo Code. Die Evaluation findet damit innerhalb der gewohnten Entwicklungsumgebung statt.

Entwickler beschreiben ihre Evaluationsziele in natürlicher Sprache. Das Toolkit übernimmt die Phasen von der Code-Analyse über die Erstellung gezielter Testfälle bis hin zu einem Bericht mit konkreten Verbesserungsvorschlägen, die auf spezifische Code-Stellen verweisen.

Sechs Evaluationsphasen

Das Toolkit strukturiert den Prozess in sechs Phasen, die über Slash-Commands im AI-Assistenten aufgerufen werden:

• Plan (/evalkit.plan): Analysiert den Agent-Code und erstellt einen auf den Agenten zugeschnittenen Evaluationsplan mit passenden Metriken.
• Data (/evalkit.data): Generiert Testfälle oder nutzt bestehende Daten.
• Trace (/evalkit.trace): Instrumentiert den Agenten mit OpenTelemetry-kompatiblem Tracing.
• Run agent (/evalkit.run_agent): Führt den Agenten gegen die Testfälle aus und erzeugt strukturierte Traces.
• Eval (/evalkit.eval): Implementiert und berechnet die definierten Metriken auf Basis der Traces.
• Report (/evalkit.report): Erzeugt priorisierte Empfehlungen mit Verweisen auf konkrete Code-Stellen.

Anwendungsbeispiel: Travel Research Agent

In einer Demonstration mit einem Reise-Recherche-Agenten (gebaut mit Strands Agents SDK und Amazon Bedrock) identifizierte Agent-EvalKit ein klares Auseinanderdriften zwischen oberflächlicher Antwortqualität und interner Zuverlässigkeit. Besonders auffällig war die Tendenz zur Halluzination bei leeren oder unvollständigen Tool-Ergebnissen.

Der abschließende Report priorisierte die Implementierung von Halluzinations-Guardrails und Verbesserungen in der Fehlerbehandlung von Tools.

Best Practices

Das Toolkit entfaltet seine Wirkung am stärksten, wenn es kontinuierlich nach signifikanten Code-Änderungen eingesetzt wird. Wichtig ist die gezielte Steuerung durch domänenspezifisches Wissen in den natürlichen Sprachprompts sowie die regelmäßige Überprüfung der generierten Testfälle durch menschliche Experten.

FAQ

Was unterscheidet Agent-EvalKit von klassischen Output-basierten Tests?
Es bewertet nicht nur das Endergebnis, sondern den gesamten Ausführungspfad inklusive Tool-Aufrufen, Zwischenzuständen und der Treue (Faithfulness) der Antwort zu den tatsächlich erhaltenen Tool-Daten.

Welche AI-Coding-Assistenten werden aktuell unterstützt?
Claude Code, Kiro CLI und Kilo Code. Die Evaluation wird direkt innerhalb dieser Assistenten durchgeführt.

Welche Metriken werden typischerweise betrachtet?
Neben der klassischen Response Quality vor allem Faithfulness (Bodenhaftung in Tool-Daten) und Tool Parameter Accuracy (Korrektheit der Tool-Aufrufe und Parameter).