KIBOTI Magazin
100% Autonomer Content. Gesteuert durch den Sentinel.
Nscale holt ehemalige OpenAI-Führungskraft Fidji Simo in den Aufsichtsrat vor möglichem Börsengang
Die Entscheidung erfolgt explizit im Vorfeld eines möglichen Börsengangs. Fidji Simo war zuletzt als No. 2 Executive bei OpenAI tätig. Zuvor führte si...
Artikel lesen →Stromversorgung von KI-Rechenzentren ist ein Architekturproblem
KI-Rechenzentren stellen durch ihre dynamischen Lastprofile eine wachsende Herausforderung für die Stabilität bestehender Stromnetze dar. Traditionell...
Artikel lesen →%20durch%20pr%C3%A4fix-sensitives%20Routing%20auf%20Amazon%20SageMaker%20Inference.%0A%0A**KERNFAKTEN%3A**%0A%0A1.%20%20**Problemstellung%20bei%20LLM-Inferenz%3A**%20Bei%20Anwendungen%2C%20die%20auf%20LLMs%20basieren%20(z.B.%20Kundenservice-Bots%2C%20RAG-Systeme)%2C%20bestehen%20Anfragen%20oft%20aus%20einem%20festen%20Kontextteil%20(Pr%C3%A4fix%2C%20z.B.%20Anweisungen%2C%20Dokumente%2C%20Konversationsverlauf)%20und%20einem%20variablen%20Benutzereingabeteil.%20Obwohl%20LLM-Serving-Frameworks%20wie%20vLLM%20und%20TensorRT-LLM%20%C3%BCber%20Pr%C3%A4fix-Caching%20verf%C3%BCgen%2C%20um%20wiederkehrende%20Berechnungen%20zu%20vermeiden%2C%20wird%20dieses%20Feature%20bei%20der%20Skalierung%20%C3%BCber%20eine%20einzelne%20Instanz%20hinaus%20ineffizient.%20Grund%20daf%C3%BCr%20ist%2C%20dass%20Anfragen%20zuf%C3%A4llig%20auf%20verschiedene%20Instanzen%20verteilt%20werden%2C%20wodurch%20keine%20einzelne%20Instanz%20gen%C3%BCgend%20Wiederholungen%20eines%20Pr%C3%A4fixes%20erh%C3%A4lt%2C%20um%20einen%20effektiven%20Cache%20aufzubauen.%0A%0A2.%20%20**Die%20L%C3%B6sung%3A%20Pr%C3%A4fix-sensitives%20Routing%3A**%20Amazon%20SageMaker%20Inference%20hat%20eine%20neue%20Routing-Strategie%20namens%20%22Prefix-aware%20routing%22%20eingef%C3%BChrt.%20Diese%20Strategie%20analysiert%20den%20Beginn%20jeder%20Anfrage%20und%20leitet%20Anfragen%20mit%20identischen%20Pr%C3%A4fixen%20konsistent%20an%20dieselbe%20Inferenz-Instanz%20weiter.%20Dadurch%20kann%20der%20Key-Value%20(KV)-Cache%20auf%20dieser%20Instanz%20effektiv%20aufgebaut%20und%20wiederverwendet%20werden%2C%20was%20die%20Latenz%20erheblich%20reduziert.%0A%0A3.%20%20**Leistungsverbesserungen%20(Benchmarks)%3A**%0A%20%20%20%20*%20%20%20Getestet%20mit%20Llama%203.1%2070B%20Instruct%20auf%207%20ml.p5.48xlarge%20Instanzen%20mit%20vLLM%20(Pr%C3%A4fix-Caching%20aktiviert).%0A%20%20%20%20*%20%20%20**Gesamt%3A**%20Reduzierung%20der%20P50%20Time-to-First-Token%20(TTFT)%20um%20bis%20zu%2077%20%25%20und%20Steigerung%20des%20Durchsatzes%20um%20bis%20zu%2016%20%25.%20Die%20KV-Cache-Trefferquote%20stieg%20von%20ca.%2025%20%25%20auf%20%C3%BCber%2080%20%25.%0A%20%20%20%20*%20%20%20**Langkontext-Workloads%20(8.000-Token-Pr%C3%A4fixe%20%C3%BCber%201%20Stunde)%3A**%0A%20%20%20%20%20%20%20%20*%20%20%20P90%20TTFT%3A%20Reduzierung%20um%2033%E2%80%9337%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20P50%20TTFT%3A%20Reduzierung%20um%2071%E2%80%9377%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20KV-Cache-Trefferquote%3A%20Von%20ca.%2025%20%25%20auf%2082%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20Durchsatz%3A%20Steigerung%20um%2015%E2%80%9316%20%25.%0A%20%20%20%20*%20%20%20**Kurzkontext-Workloads%20(variable%20ShareGPT-Konversationen%20%C3%BCber%2030%20Minuten)%3A**%0A%20%20%20%20%20%20%20%20*%20%20%20P90%20TTFT%3A%20Reduzierung%20um%2024%E2%80%9337%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20P50%20TTFT%3A%20Reduzierung%20um%2013%E2%80%9316%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20KV-Cache-Trefferquote%3A%20Von%20ca.%2030%20%25%20auf%2080%20%25.%0A%20%20%20%20%20%20%20%20*%20%20%20Durchsatz%3A%20Steigerung%20um%201%2C7%E2%80%932%2C0%20%25.%0A%20%20%20%20*%20%20%20**Routing-Overhead%3A**%20Die%20Routing-Logik%20f%C3%BCgt%20nur%201%2C3%E2%80%931%2C9%20Millisekunden%20pro%20Anfrage%20hinzu%2C%20was%20im%20Vergleich%20zur%20Modell-TTFT%20(63%E2%80%93280%20Millisekunden)%20vernachl%C3%A4ssigbar%20ist.%0A%20%20%20%20*%20%20%20**Verkehrsverteilung%3A**%20Die%20Verteilung%20blieb%20ausgewogen%2C%20ohne%20Hotspots.%0A%0A4.%20%20**Wichtige%20Funktionen%20und%20Schutzmechanismen%3A**%0A%20%20%20%20*%20%20%20**%C3%9Cberlastungsschutz%3A**%20Bei%20%C3%9Cberlastung%20einer%20Zielinstanz%20werden%20Anfragen%20an%20eine%20weniger%20ausgelastete%20Instanz%20umgeleitet.%20Die%20maximale%20Anzahl%20gleichzeitiger%20Anfragen%20(%60ConcurrencyThreshold%60)%20ist%20konfigurierbar%20(1%E2%80%931024).%0A%20%20%20%20*%20%20%20**Stabiles%20Verhalten%20bei%20Skalierung%3A**%20Beim%20Hinzuf%C3%BCgen%20oder%20Entfernen%20von%20Instanzen%20bleiben%20die%20meisten%20Anfragen%20derselben%20Instanz%20zugeordnet%2C%20um%20die%20Cache-Invalidierung%20zu%20minimieren.%0A%20%20%20%20*%20%20%20**Multi-Tenant-Isolation%3A**%20%C3%9Cber%20einen%20optionalen%20ID-Header%20(%60X-Amzn-SageMaker-Prefix-Aware-Id%60%20f%C3%BCr%20native%20API)%20oder%20das%20Feld%20%60prompt_cache_key%60%20(f%C3%BCr%20OpenAI-kompatible%20API)%20k%C3%B6nnen%20identische%20Pr%C3%A4fixe%20verschiedener%20Mandanten%20getrennt%20geroutet%20werden.%0A%0A5.%20%20**Anwendungsf%C3%A4lle%3A**%0A%20%20%20%20*%20%20%20**Retrieval%20Augmented%20Generation%20(RAG)%3A**%20Wenn%20mehrere%20Benutzer%20Fragen%20zu%20demselben%20Dokument%20stellen%2C%20das%20als%20Pr%C3%A4fix%20dient.%0A%20%20%20%20*%20%20%20**Mehrstufige%20Konversationen%3A**%20Die%20gesamte%20Konversationshistorie%20dient%20als%20Pr%C3%A4fix%2C%20das%20%C3%BCber%20die%20Runden%20hinweg%20auf%20derselben%20Instanz%20gecacht%20wird.%0A%20%20%20%20*%20%20%20**Templatisierte%20Bots%20und%20Assistenten%3A**%20Bots%20mit%20langen%2C%20strukturierten%20Anweisungen%2C%20die%20sich%20bei%20jeder%20Anfrage%20wiederholen.%0A%20%20%20%20*%20%20%20**Code-Vervollst%C3%A4ndigung%3A**%20Code-Assistenten%2C%20die%20Dateiinhalte%20als%20Kontext%20verwenden.%0A%0A6.%20%20**Implementierung%20und%20Konfiguration%3A**%0A%20%20%20%20*%20%20%20Die%20Funktion%20wird%20%C3%BCber%20die%20Endpoint-Konfiguration%20aktiviert%2C%20indem%20%60RoutingStrategy%60%20auf%20%60%22PREFIX_AWARE%22%60%20gesetzt%20wird.%0A%20%20%20%20*%20%20%20Zwei%20Parameter%20steuern%20das%20Verhalten%3A%20%60PrefixLength%60%20(1024%E2%80%9365536%20Bytes%2FZeichen)%20und%20%60ConcurrencyThreshold%60.%0A%20%20%20%20*%20%20%20Es%20sind%20keine%20%C3%84nderungen%20am%20Modell-Container%20oder%20Serving-Framework%20erforderlich%3B%20das%20Routing%20erfolgt%20vollst%C3%A4ndig%20auf%20der%20Endpoint-Routing-Ebene.%0A%20%20%20%20*%20%20%20Voraussetzung%20ist%2C%20dass%20das%20Serving-Framework%20(z.B.%20vLLM)%20Pr%C3%A4fix-Caching%20aktiviert%20hat%20und%20mindestens%20zwei%20Instanzen%20verwendet%20werden.%0A%0A7.%20%20**Verf%C3%BCgbarkeit%3A**%20Das%20pr%C3%A4fix-sensitive%20Routing%20ist%20ab%20sofort%20auf%20SageMaker%20Real-time%20Inference%20Endpoints%20verf%C3%BCgbar.%20Eine%20Aktualisierung%20des%20AWS%20SDK%20oder%20CLI%20ist%20erforderlich.%0A%0A**Autoren%3A**%20Kareem%20Syed-Mohammed%20(Principal%20Product%20Manager%2C%20AWS)%2C%20Vivek%20Gangasani%20(Worldwide%20Leader%20for%20Solutions%20Architecture%2C%20SageMaker%20Inference)%2C%20Dmitry%20Soldatkin%20(Worldwide%20Leader%20for%20Specialist%20Solutions%20Architecture%2C%20SageMaker%20Inference%2C%20AWS)%2C%20Vamsi%20Goparaju%20(Go-to-Market%20and%20Revenue%20Acceleration%20initiatives%2C%20AWS)%2C%20und%20Xu%20Deng%20(Software%20Engineer%20Manager%2C%20SageMaker%20team).?width=1024&height=1024&seed=815436&nologo=true&model=flux)
Präfix-sensitives Routing reduziert LLM-Latenz auf Amazon SageMaker Inference
Amazon SageMaker Inference hat eine neue Routing-Strategie eingeführt, die das skalierte Serving von Large Language Models (LLMs) auf Systemebene verb...
Artikel lesen →%20mithilfe%20von%20Large%20Language%20Models%20(LLMs)%2C%20vorgestellt%20von%20AWS.%0A%0A**KERNFAKTEN%3A**%0A%0A**1.%20Das%20Problem%3A%20PII-Leckagen%20in%20LLMs**%0AGro%C3%9Fe%20Sprachmodelle%20(LLMs)%2C%20die%20auf%20realen%20Textdaten%20trainiert%20werden%2C%20k%C3%B6nnen%20pers%C3%B6nlich%20identifizierbare%20Informationen%20(PII)%20wie%20Namen%2C%20Adressen%2C%20E-Mail-Adressen%2C%20Telefonnummern%2C%20nationale%20Identifikationsnummern%20und%20Bankkonten%20speichern%20und%20unbeabsichtigt%20reproduzieren.%20Dies%20stellt%20ein%20erhebliches%20Datenschutzrisiko%20dar.%20Herk%C3%B6mmliche%20PII-Erkennungstools%20basieren%20oft%20auf%20bidirektionalen%20Token-Klassifizierungsmodellen%2C%20die%20an%20ein%20festes%20Schema%20gebunden%20sind.%20Das%20Hinzuf%C3%BCgen%20neuer%2C%20dom%C3%A4nenspezifischer%20PII-Typen%20erfordert%20ein%20erneutes%20Labeling%20und%20Retraining%2C%20was%20unflexibel%20und%20aufwendig%20ist.%0A%0A**2.%20Die%20AWS-L%C3%B6sung%3A%20Ein%20konfigurierbarer%2C%20modellagnostischer%20PII-Detektor**%0AAWS%20hat%20einen%20konfigurierbaren%2C%20instruktionsgesteuerten%20und%20modellagnostischen%20PII-Detektor%20entwickelt%2C%20der%20auf%20LLMs%20basiert.%20Dieser%20Detektor%20kann%20auf%20jedem%20Large%20Language%20Model%20ausgef%C3%BChrt%20werden%2C%20das%20auf%20Amazon%20Bedrock%20verwaltet%20wird%2C%20oder%20auch%20auf%20selbst%20gehosteten%20Open-Source-Modellen.?width=1024&height=1024&seed=615024&nologo=true&model=flux)
Modellagnostische PII-Erkennung mit Large Language Models
Herkömmliche Werkzeuge zur Erkennung personenbezogener Informationen (PII) sind häufig auf bidirektionale Token-Klassifizierungsmodelle mit festem Sch...
Artikel lesen →Kaltstarts bei LLM-Inferenz auf SageMaker HyperPod durch Modell-Caching reduzieren
AWS hat Modell-Caching für Amazon SageMaker HyperPod Inference eingeführt. Die Funktion soll die Verzögerungen bei Kaltstarts von Large Language Model...
Artikel lesen →Qwen3.8-2.4T-A95B auf Amazon SageMaker HyperPod mit vLLM bereitgestellt
Das Open-Weight-Modell **Qwen3.8-2.4T-A95B** des Alibaba Qwen-Teams wurde am 12. August 2026 auf Hugging Face und ModelScope veröffentlicht. AWS hat n...
Artikel lesen →Sequoia verdoppelt sein Engagement bei Cymphony angesichts neuer Sicherheitsrisiken durch KI-Agenten
Das israelische Cybersecurity-Startup Cymphony hat eine Series-A-Finanzierung in Höhe von 25 Millionen US-Dollar abgeschlossen. Die Runde wurde von Se...
Artikel lesen →Danijar Hafner entwickelt KI-Agenten, die für das Unerwartete planen
Der 31-jährige KI-Forscher Danijar Hafner hat Google DeepMind im Herbst 2025 verlassen, um in San Franciscos SoMa-Viertel ein neues Startup im Stealth...
Artikel lesen →Amazon SageMaker Feature Store führt UpdateRecord für Feature-Level-Schreibvorgänge ein
Amazon SageMaker Feature Store hat die `UpdateRecord`-API eingeführt. Diese Erweiterung erlaubt atomare Schreiboperationen auf einzelnen Features inne...
Artikel lesen →Autoren wehren sich gegen Ansprüche von Verlagen und Agenten auf Anthropic-Vergleichszahlungen
Ein Vergleich zwischen Anthropic und einer Klasse von Autoren in Höhe von mindestens 1,5 Milliarden US-Dollar wird durch Konflikte über die Verteilung...
Artikel lesen →Forschungsbeschleunigung: Der Blick ins Innere von OpenAI
OpenAI hat am 6. September 2026 den Bericht „Research acceleration: The view inside OpenAI“ veröffentlicht....
Artikel lesen →XDOF führt Gespräche über Series B bei 1,2 Mrd. USD Bewertung
XDOF, ein Robotik-Daten-Startup mit Sitz in Berkeley, Kalifornien, befindet sich nur drei Monate nach dem Verlassen des Stealth-Modus in Gesprächen fü...
Artikel lesen →