Amazon Bedrock Ops Alert implementiert eine dreischichtige automatisierte Überwachungsarchitektur für generative KI-Workloads auf Amazon Bedrock.

Die Lösung adressiert strukturelle Schwachstellen im Betrieb: reaktive Fehlererkennung, fehlenden Kontext in Supportfällen und manuellen Aufwand bei der Verwaltung von Service Quotas.

Architektur der Lösung

Amazon Bedrock Ops Alert ist eine CloudFormation-basierte Lösung, die drei komplementäre Erkennungsebenen integriert:

Schicht 1 – Kritische Fehlererkennung überwacht die Metriken InvocationClientErrors, InvocationServerErrors und InvocationThrottles und löst unmittelbare Warnungen aus.

Schicht 2 – Nutzungsratenüberwachung vergleicht Requests pro Minute (RPM), Tokens pro Minute (TPM) und InvocationLatency mit dynamisch berechneten Schwellenwerten, um bevorstehende Quota-Limitierungen proaktiv zu erkennen.

Schicht 3 – Anomalieerkennung nutzt CloudWatch Machine Learning, um ungewöhnliche Muster in Invocations, InputTokenCount, OutputTokenCount und Latenz zu identifizieren.

Automatisierte Schwellenwertverwaltung

Eine Lambda-Funktion ruft die Service Quotas API ab und berechnet die Alarm-Schwellenwerte neu. Die Aktualisierung erfolgt bei der Bereitstellung sowie regelmäßig über Amazon EventBridge. Die Werte werden im Systems Manager Parameter Store abgelegt. Dadurch entfällt die manuelle Anpassung nach Quota-Änderungen.

Automatisierte Supportfallerstellung

Die Lösung klassifiziert Alarme in „Quota-bezogen“ und „Nicht-Quota-bezogen“. Je nach Kategorie wird entweder ein Quota-Request oder ein Investigation-Request über die AWS Support API erstellt. Vor Quota-Anfragen wird die Spitzenlast der letzten 14 Tage validiert. Eine Duplikaterkennung verhindert redundante Fälle und hängt stattdessen Informationen an bestehende Fälle an. Alle relevanten Metriken und Kontextinformationen werden automatisch in den Supportfall übertragen.

Die Lösung erfordert einen AWS Business- oder Enterprise Support Plan.

Quelle: AWS AI Blog

FAQ

Welche AWS-Dienste werden von Amazon Bedrock Ops Alert genutzt?
Die Lösung integriert Amazon CloudWatch, AWS Lambda, Amazon SNS, Service Quotas API, AWS Support API, AWS Systems Manager Parameter Store, AWS Secrets Manager und Amazon EventBridge.

Wie viele Erkennungsschichten besitzt die Architektur?
Die Architektur besteht aus drei komplementären Schichten: kritische Fehlererkennung, Nutzungsratenüberwachung und ML-basierte Anomalieerkennung.

Kann die Lösung für mehrere Foundation Models gleichzeitig eingesetzt werden?
Ja. Für jedes zusätzliche Modell kann ein separater CloudFormation-Stack bereitgestellt werden, wodurch die Überwachung skalierbar bleibt.

Welche Voraussetzung muss für die automatisierte Supportfallerstellung erfüllt sein?
Es wird ein AWS Business- oder Enterprise Support Plan benötigt.