Amazon Bedrock führt mit Cross-Region Inference (CRIS) eine verwaltete Funktion ein, die Modell-Inference-Anfragen automatisch innerhalb vordefinierter geografischer Grenzen über mehrere AWS-Regionen routet. Dies ermöglicht Kunden in Europa, die Verfügbarkeit und Kapazität neuester generativer KI-Modelle besser zu nutzen, während Sicherheits- und Datenschutzanforderungen eingehalten werden.
Cross-Region Inference Profiles
CRIS nutzt Inference Profiles, die festlegen, in welche Regionen Anfragen weitergeleitet werden dürfen. Diese Profile sind systemdefiniert und tragen Namen, die das Modell und den unterstützten geografischen Scope widerspiegeln. Es wird zwischen zwei Haupttypen unterschieden: Global Inference und EU-Geography-based Inference.
Global Inference
Global Inference Profiles leiten Anfragen an beliebige unterstützte kommerzielle AWS-Regionen weltweit weiter. Eingabeprompts werden verschlüsselt über das sichere AWS-Netzwerk an eine Zielregion gesendet, dort verarbeitet und die Ausgabe zurückgesendet. Die Zielregion wird automatisch zur Optimierung von Kapazität und Latenz ausgewählt. Dieser Ansatz erhöht die Resilienz gegenüber regionalen Kapazitätsengpässen und bietet für bestimmte Modelle einen günstigeren Preis.
EU-Geography-based Inference (EU CRIS)
EU CRIS Profiles beschränken die Weiterleitung strikt auf AWS-Regionen innerhalb der Europäischen Union. Bei Anfragen aus einer EU-Source-Region dürfen keine non-EU-Regionen (wie London oder Zürich) als Ziel genutzt werden. Anfragen aus London können nur zwischen London und EU-Regionen, Anfragen aus Zürich nur zwischen Zürich und EU-Regionen optimiert werden. Dieses Design unterstützt Kunden bei der Einhaltung von EU-Datenresidency-Anforderungen.
Sicherheit und Kontrolle
Alle Datenübertragungen zwischen Regionen erfolgen ausschließlich über das private AWS-Backbone-Netzwerk und werden in Transit verschlüsselt. Die Nutzung von CRIS erfordert die explizite Angabe eines Inference Profile ID im Code statt einer reinen Model-ID. Über AWS IAM können Kunden den Zugriff auf spezifische Profile nach dem Least-Privilege-Prinzip steuern.
Transparenz und Auditierbarkeit
AWS CloudTrail protokolliert standardmäßig Metadaten aller Bedrock-API-Aufrufe, inklusive Source- und Destination-Region (inferenceRegion-Feld). Logs verbleiben dabei immer in der Source-Region des Kunden. Optional kann Model Invocation Logging aktiviert werden, um vollständige Anfragen und Antworten in CloudWatch Logs oder S3 zu speichern – ebenfalls ausschließlich in der Source-Region.
Quelle: AWS AI Blog
FAQ
Welcher Unterschied besteht zwischen Global und EU CRIS Profiles? Global Profiles nutzen alle kommerziellen AWS-Regionen weltweit, EU CRIS Profiles beschränken die Verarbeitung auf Regionen innerhalb der EU und erfüllen damit strengere Residency-Anforderungen.
Wo werden die Logs bei Cross-Region Inference gespeichert? Sowohl CloudTrail- als auch optionale Model-Invocation-Logs werden ausschließlich in der Source-Region des Kunden gespeichert, unabhängig davon, in welcher Destination-Region die Inference tatsächlich stattfindet.
Muss man CRIS explizit im Code aktivieren? Ja. Statt einer normalen Model-ID muss die entsprechende Inference Profile ID (z. B. „eu.amazon.nova-2-lite-v1:0“ oder „global.amazon.nova-2-lite-v1:0“) verwendet werden.