%20hat%20eine%20neue%20Funktion%20namens%20%22Container%20Image%20Caching%22%20f%C3%BCr%20Amazon%20SageMaker%20AI%20Inference%20eingef%C3%BChrt%2C%20die%20die%20Skalierung%20von%20generativen%20KI-Modellen%20erheblich%20beschleunigt.%0A%0A**Ank%C3%BCndigung%3A**%20Die%20Funktion%20wurde%20am%20**2.%20Dezember%202024**%20auf%20der%20AWS%20re%3AInvent%202024%20vorgestellt.%0A%0A**Kernfakten%20und%20technologische%20Details%3A**%0A%0A*%20%20%20**Zweck%3A**%20Das%20Container-Caching%20zielt%20darauf%20ab%2C%20die%20End-to-End-Latenz%20bei%20Scale-out-Ereignissen%20f%C3%BCr%20generative%20KI-Modelle%20zu%20reduzieren.%20Es%20eliminiert%20den%20Engpass%20beim%20Herunterladen%20von%20Container-Images%2C%20insbesondere%20bei%20der%20Bereitstellung%20neuer%20Instanzen.%0A*%20%20%20**Leistungsverbesserung%3A**%0A%20%20%20%20*%20%20%20Die%20neue%20Funktion%20kann%20die%20End-to-End-Latenz%20f%C3%BCr%20generative%20KI-Modelle%20bei%20Scale-out-Ereignissen%20um%20bis%20zu%20**2x**%20beschleunigen.%0A%20%20%20%20*%20%20%20Spezifische%20Tests%20mit%20dem%20Llama3.1%2070B-Modell%20zeigten%20eine%20Reduzierung%20der%20End-to-End-Skalierungszeit%20von%20379%20Sekunden%20auf%20166%20Sekunden%2C%20was%20einer%20Verbesserung%20von%20**56%20%25**%20entspricht.%0A%20%20%20%20*%20%20%20Bei%20der%20Skalierung%20einer%20neuen%20Modellkopie%20wird%20eine%20Latenzreduzierung%20von%20bis%20zu%20**56%20%25**%20erreicht%2C%20und%20beim%20Hinzuf%C3%BCgen%20einer%20Modellkopie%20auf%20einer%20neuen%20Instanz%20bis%20zu%20**30%20%25**.%0A%20%20%20%20*%20%20%20Ein%20Beispiel%20im%20Blogbeitrag%20demonstrierte%20eine%20Reduzierung%20der%20Startlatenz%20von%20525%20Sekunden%20auf%20258%20Sekunden%20(ca.%20**51%20%25**%20Verbesserung)%20f%C3%BCr%20das%20Qwen3-8B-Modell%20auf%20einer%20ml.g6.2xlarge-Instanz%20mit%20einem%2017%2C7%20GB%20gro%C3%9Fen%20LMI-Container.%0A*%20%20%20**Funktionsweise%3A**%0A%20%20%20%20*%20%20%20Beim%20Start%20neuer%20Instanzen%20wird%20das%20Container-Image%20lokal%20zwischengespeichert%2C%20wodurch%20der%20Schritt%20des%20Herunterladens%20des%20Images%20von%20Amazon%20Elastic%20Container%20Registry%20(Amazon%20ECR)%20entf%C3%A4llt.%0A%20%20%20%20*%20%20%20Dies%20reduziert%20auch%20die%20Konkurrenz%20um%20Netzwerkbandbreite%2C%20was%20zu%20einem%20schnelleren%20Herunterladen%20von%20Modellartefakten%20von%20Amazon%20Simple%20Storage%20Service%20(Amazon%20S3)%20f%C3%BChrt.%0A%20%20%20%20*%20%20%20Falls%20ein%20zwischengespeichertes%20Image%20nicht%20verf%C3%BCgbar%20ist%2C%20greift%20SageMaker%20AI%20automatisch%20auf%20das%20Herunterladen%20von%20Amazon%20ECR%20zur%C3%BCck%2C%20um%20die%20Skalierung%20nicht%20zu%20blockieren.%0A*%20%20%20**Integration%20mit%20bestehenden%20Optimierungen%3A**%20Das%20Container-Caching%20ist%20die%20j%C3%BCngste%20Erg%C3%A4nzung%20zu%20einer%20Reihe%20von%20Auto-Scaling-Optimierungen%20in%20SageMaker%20AI%3A%0A%20%20%20%201.%20%20**Sub-Minuten-Metriken%3A**%20Erm%C3%B6glichen%20eine%20bis%20zu%20**6x%20schnellere**%20Erkennung%20des%20Skalierungsbedarfs%20im%20Vergleich%20zu%20herk%C3%B6mmlichen%20Mechanismen%2C%20indem%20Metriken%20in%2010-Sekunden-Intervallen%20ausgegeben%20werden.%0A%20%20%20%202.%20%20**Daten-Cache%20f%C3%BCr%20Inferenzkomponenten-basierte%20Endpunkte%3A**%20Reduziert%20die%20Zeit%20f%C3%BCr%20das%20Herunterladen%20von%20Images%20und%20Modellen%2C%20wenn%20Modellkopien%20auf%20bereits%20laufenden%20Instanzen%20hinzugef%C3%BCgt%20werden.%20Diese%20Funktion%20wurde%20Ende%202023%20eingef%C3%BChrt.%0A%20%20%20%203.%20%20**Container%20Image%20Cache%20(diese%20Einf%C3%BChrung)%3A**%20Eliminiert%20die%20Image-Pull-Zeit%20beim%20Starten%20neuer%20Instanzen.%0A*%20%20%20**Unterst%C3%BCtzte%20Konfigurationen%3A**%0A%20%20%20%20*%20%20%20Das%20Container-Caching%20wird%20f%C3%BCr%20**Accelerator-Instanztypen**%20auf%20SageMaker-Inferenz-Endpunkten%20unterst%C3%BCtzt.%0A%20%20%20%20*%20%20%20Es%20funktioniert%20mit%20jedem%20Container-Image%2C%20das%20in%20Amazon%20ECR%20gehostet%20wird%2C%20einschlie%C3%9Flich%20benutzerdefinierter%20Images.%0A%20%20%20%20*%20%20%20Es%20sind%20keine%20%C3%84nderungen%20am%20Container%20erforderlich.%0A%20%20%20%20*%20%20%20Die%20Funktion%20wird%20automatisch%20f%C3%BCr%20Endpunkte%20aktiviert%2C%20die%20unterst%C3%BCtzte%20Accelerator-Instanztypen%20verwenden%2C%20und%20erfordert%20kein%20Opt-in.%0A%20%20%20%20*%20%20%20Unterst%C3%BCtzt%20g%C3%A4ngige%20Frameworks%20wie%20LMI%2C%20Hugging%20Face%20TGI%2C%20PyTorch%20und%20NVIDIA%20Triton.%0A%20%20%20%20*%20%20%20Verf%C3%BCgbar%20in%20allen%20kommerziellen%20AWS-Regionen%2C%20in%20denen%20SageMaker%20AI%20Inference%20unterst%C3%BCtzt%20wird.%0A*%20%20%20**Sicherheit%20und%20Mandantenisolation%3A**%20Jeder%20Cache%20ist%20einem%20einzelnen%20Kunden-Endpunkt%20gewidmet%20und%20wird%20nicht%20%C3%BCber%20AWS-Konten%20oder%20Endpunkte%20hinweg%20geteilt.%20Beim%20L%C3%B6schen%20eines%20SageMaker%20AI-Endpunkts%20wird%20der%20zugeh%C3%B6rige%20Image-Cache%20automatisch%20gel%C3%B6scht.%0A%0A**Autoren%3A**%20Mona%20Mona%20(Sr.%20AI%2FML%20Specialist%20Solutions%20Architect)%2C%20Kunal%20Shah%20(Senior%20Software%20Development%20Engineer)%2C%20Alwin%20(Qiyun)%20Zhao%20(Software%20Development%20Manager)%2C%20und%20Dmitry%20Soldatkin%20(Worldwide%20Leader%20for%20Specialist%20Solutions%20Architecture%2C%20SageMaker%20Inference)%20haben%20zu%20dieser%20Ank%C3%BCndigung%20beigetragen.?width=1024&height=1024&seed=548670&nologo=true&model=flux)
Amazon Web Services hat „Container Image Caching“ für Amazon SageMaker AI Inference angekündigt. Die Funktion wurde am 2. Dezember 2024 auf der AWS re:Invent 2024 vorgestellt.
Kern der Technologie
Das Container-Caching reduziert die End-to-End-Latenz bei Scale-out-Ereignissen für generative KI-Modelle. Es eliminiert den Engpass des Herunterladens großer Container-Images von Amazon ECR beim Start neuer Instanzen.
Messbare Leistungsverbesserungen
Die Funktion beschleunigt die End-to-End-Latenz bei Scale-out-Ereignissen um bis zu 2x. Bei Tests mit dem Llama 3.1 70B-Modell sank die Skalierungszeit von 379 Sekunden auf 166 Sekunden – eine Verbesserung von 56 %. Weitere Benchmarks zeigten eine Latenzreduzierung von bis zu 56 % beim Skalieren einer neuen Modellkopie und bis zu 30 % beim Hinzufügen einer Modellkopie auf einer neuen Instanz. Ein konkretes Beispiel mit dem Qwen3-8B-Modell auf einer ml.g6.2xlarge-Instanz reduzierte die Startlatenz von 525 Sekunden auf 258 Sekunden (51 % Verbesserung).
Technische Funktionsweise
Beim Start neuer Instanzen wird das Container-Image lokal zwischengespeichert. Dadurch entfällt der Pull von Amazon ECR. Gleichzeitig sinkt die Netzwerkkonkurrenz, sodass Modellartefakte schneller aus Amazon S3 geladen werden können. Ist kein Cache verfügbar, fällt SageMaker AI automatisch auf das direkte Herunterladen zurück.
Integration in bestehende Optimierungen
Container Image Caching bildet die dritte Säule der Auto-Scaling-Optimierungen in SageMaker AI:
- Sub-Minuten-Metriken (10-Sekunden-Intervalle) – bis zu 6x schnellere Erkennung von Skalierungsbedarf.
- Daten-Cache für Inferenzkomponenten-basierte Endpunkte (seit Ende 2023) – beschleunigt das Laden auf bereits laufenden Instanzen.
- Container Image Cache – eliminiert die Image-Pull-Zeit bei neuen Instanzen.
Unterstützung und Sicherheit
Die Funktion wird automatisch für Accelerator-Instanztypen aktiviert, funktioniert mit allen ECR-Images (auch benutzerdefiniert) und erfordert keine Änderungen am Container. Sie unterstützt LMI, Hugging Face TGI, PyTorch und NVIDIA Triton. Jeder Cache ist strikt einem einzelnen Kunden-Endpunkt zugeordnet und wird beim Löschen des Endpunkts automatisch entfernt.
Quelle: AWS AI Blog
FAQ
Was genau macht Container Image Caching?
Es speichert Container-Images lokal auf den Instanzen, sodass beim Scale-out das zeitaufwändige Herunterladen von ECR entfällt.
Für welche Instanztypen ist die Funktion verfügbar?
Sie wird für Accelerator-Instanztypen auf SageMaker-Inferenz-Endpunkten automatisch aktiviert.
Beeinträchtigt das Caching die Mandantenisolation?
Nein. Jeder Cache ist einem einzelnen Kunden-Endpunkt gewidmet und wird nicht über Konten oder Endpunkte hinweg geteilt.