Into the Omniverse: Wie offene Weltmodelle die Grenzen der physischen KI verschieben

NVIDIA positioniert offene Weltmodelle als zentrale Infrastrukturschicht für die skalierbare Entwicklung physischer KI-Systeme. Mit der Veröffentlichung von Cosmos 3 und der Integration in die Omniverse-Plattform wird ein offenes Ökosystem geschaffen, das Entwicklern ermöglicht, Modelle zu prüfen, zu modifizieren und auf eigener Hardware zu betreiben.

Kernarchitektur offener Weltmodelle

Offene Weltmodelle lernen das Verhalten physischer Umgebungen, prognostizieren zukünftige Zustände und generieren physikalisch fundierte Daten. Sie adressieren die Herausforderung, dass reale Trainingsdaten für Roboter, autonome Fahrzeuge und Vision-KI-Systeme teuer und für seltene Ereignisse nur schwer skalierbar zu beschaffen sind.

Diese Modelle fungieren als Schnittstelle zwischen Wahrnehmung, Simulation und Aktionsplanung. Sie ermöglichen sowohl die Generierung synthetischer Trainingsdaten als auch die direkte Ableitung von Roboter-Richtlinien.

NVIDIA Cosmos 3 Modellfamilie

Cosmos 3 ist ein offenes, auf Transformer-Architektur basierendes Grundlagenmodell, das Vision-Reasoning, Weltgenerierung und Aktionsvorhersage integriert. Es ist in drei Skalierungsebenen verfügbar:

• Cosmos 3 Super (64B): Ausgelegt für höchste Präzision in der Weltmodellierung.
• Cosmos 3 Nano (16B): Optimiert für effizientes Reasoning und Post-Training.
• Cosmos 3 Edge (4B): Leicht genug für On-Device-Einsatz auf NVIDIA Jetson, RTX und DGX-Plattformen, insbesondere Jetson Thor.

Die Modelle sind unter der OpenMDW 1.1-Lizenz der Linux Foundation verfügbar. Diese Lizenz erlaubt explizit das Post-Training auf eigenen Datensätzen und Infrastrukturen.

Cosmos 3 erreicht führende Positionen auf mehreren Benchmarks, darunter Artificial Analysis (Text-zu-Bild / Bild-zu-Video), PAI-Bench (Weltgenerierung), Physics-IQ (Bild-zu-Video) und RoboLab (Roboterrichtlinien).

Omniverse und OpenUSD als Simulationsschicht

Die Omniverse-Bibliotheken innerhalb des NVIDIA Agent Toolkit stellen vorgefertigte Komponenten zur Erstellung simulationsbereiter Welten bereit. In Kombination mit OpenUSD (Universal Scene Description) ermöglichen sie die effiziente Komposition, Wiederverwendung und den Austausch komplexer 3D-Daten für digitale Zwillinge und synthetische Datengenerierung. Dies reduziert redundante Arbeit bei der Anpassung von Assets, Sensoren oder Umgebungsbedingungen.

Anwendungsschichten und Ecosystem

Cosmos 3 wird in den Bereichen Robotik, autonome Fahrzeuge und industrielle Vision-KI eingesetzt. Zu den genannten Anwendern zählen Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI, Li Auto, Xiaomi, Afari, Siemens, Rockwell Automation, FANUC, Cognex und KUKA.

Die Cosmos Coalition verbindet Entwickler von Weltmodellen mit Unternehmen der physischen KI. NVIDIA hat die Initiative kürzlich auf Japan ausgeweitet, um Anwendungsfälle in Fabriken, Logistik, Landwirtschaft, Bauwesen, Gesundheitswesen und Transport zu adressieren.

NVIDIA ergänzt Cosmos durch den physischen KI-Stack mit GR00T (Robotik), Drive (autonome Fahrzeuge) und Metropolis (Vision-KI).

Quelle: NVIDIA Blog

FAQ

Was ist Cosmos 3?
Ein offenes, physikalisches KI-Grundlagenmodell auf Transformer-Basis, das Weltverständnis, Zustandsvorhersage und Aktionsgenerierung kombiniert und unter der OpenMDW 1.1-Lizenz verfügbar ist.

Für welche Einsatzszenarien ist Cosmos 3 Edge (4B) konzipiert?
Für On-Device-Vision-Reasoning und die Bereitstellung von Roboterrichtlinien auf Edge-Plattformen wie NVIDIA Jetson Thor.

Welche Rolle spielt OpenUSD im Kontext physischer KI?
OpenUSD dient als offenes Framework für die Komposition und den Austausch komplexer 3D-Daten, um digitale Zwillinge und synthetische Trainingsdaten effizient zu erstellen und zu skalieren.