NVIDIA Blackwell setzt neue Maßstäbe bei agentischer KI-Infrastruktur.
NVIDIA hat mit dem GB300 NVL72-System im ersten branchenweiten AgentPerf-Benchmark von Artificial Analysis die Führung übernommen. Der Benchmark wurde speziell für agentische KI-Workloads entwickelt.
Das GB300 NVL72-System erreicht dabei eine signifikant höhere Effizienz als die vorherige Hopper-Generation. Laut den veröffentlichten Ergebnissen kann es deutlich mehr gleichzeitige Agenten pro Megawatt verarbeiten.
Was ist Agentic AI?
Agentische KI unterscheidet sich grundlegend von klassischer konversationeller KI. Während ein einzelner Chat-Aufruf einem Sprint entspricht, agiert ein Agent wie eine Staffel: Er zerlegt komplexe Ziele in zahlreiche Schritte, verkettet Dutzende bis Hunderte von LLM-Aufrufen und integriert Tool-Nutzung wie Code-Ausführung, Datenbankabfragen oder Web-Browsing.
Diese multiplikative Komplexität stellt deutlich höhere Anforderungen an die zugrunde liegende Recheninfrastruktur.
Der AgentPerf-Benchmark
Der von Artificial Analysis entwickelte AgentPerf-Benchmark misst, wie viele gleichzeitige Agenten eine Plattform bei definierten Leistungsschwellen für Reaktionsfähigkeit und Token-Ausgaberate unterstützen kann. Im Gegensatz zu synthetischen Einzelanfragen basiert er auf realen Coding-Agenten-Trajektorien mit variablen Kontextlängen.
Für die erste Benchmark-Runde wurde das DeepSeek V4 Pro-Modell verwendet, ein Mixture-of-Experts-Modell mit 1,6 Billionen Gesamtparametern.
Technische Basis des GB300 NVL72
Das System kombiniert 72 Blackwell Ultra GPUs und 36 Grace CPUs in einem Rack-Scale-Design. Es bietet 37 TB schnellen Speicher und 130 TB/s NVLink-Bandbreite. Die Leistungsgewinne resultieren aus umfassendem Co-Design über den gesamten Stack, einschließlich optimierter CUDA-Kernels und NVIDIA TensorRT LLM.
Blackwell Ultra GPUs verfügen über 288 GB HBM3e-Speicher pro GPU.
Quelle: NVIDIA Blog
FAQ
Was misst der AgentPerf-Benchmark genau? Er misst die Anzahl gleichzeitiger agentischer KI-Instanzen, die eine Infrastruktur bei definierten Qualitäts- und Geschwindigkeitsschwellen stabil betreiben kann – basierend auf realen Multi-Turn-Coding-Szenarien.
Welche Vorteile bietet Blackwell gegenüber Hopper bei agentischen Workloads? Das GB300 NVL72-System zeigt eine erhebliche Steigerung der Agenten pro Megawatt sowie deutlich reduzierte Kosten pro Token im Vergleich zur Hopper-Generation.
Welche Unternehmen setzen bereits auf Blackwell für agentische KI? Inference-Anbieter wie Baseten, DeepInfra und Together AI nutzen Blackwell-Systeme bereits für produktive agentische Anwendungen, darunter KI-Coding-Plattformen und automatisierte Geschäftsprozesse.