Systemarchitektur für skalierbares Face-Replacement in der VFX-Pipeline

Outpost VFX hat in Zusammenarbeit mit dem AWS Generative AI Innovation Center die Trainingsgeschwindigkeit seines KI-Modells für Gesichtsaustausch (Face Replacement) signifikant erhöht. Die Implementierung führte zu einer bis zu achtfachen Steigerung der Trainingsgeschwindigkeit und verkürzte die Lieferzeit der ersten Kundenversion (v001) von ein bis zwei Wochen auf zwei Tage.

Ausgangslage und technische Limitationen

Das Unternehmen mit Studios in Großbritannien, Kanada und Indien setzte bisher auf einzelne NVIDIA RTX 3090 GPUs. Das Training eines Modells dauerte typischerweise ein bis zwei Wochen. Traditionelle manuelle Workflows für Gesichtsaustausch, Beauty- und De-Aging-Arbeiten benötigten über fünf Tage bis zur ersten prüffähigen Version. Outpost VFX ist seit 2022 AWS-Kunde und betreibt einen vollständig virtualisierten Technologie-Stack.

Architekturentscheidungen und Implementierung

Die Zusammenarbeit über sechs Wochen adressierte drei zentrale Anforderungen: Compute-Skalierbarkeit durch Parallelisierung über mehrere GPUs, Einhaltung strenger Sicherheitsstandards für sensible Produktionsdaten sowie Unterstützung größerer Datensätze und höherauflösender Bilder.

Die Lösung basiert auf Amazon EC2 P5-Instanzen mit NVIDIA H100 GPUs. Diese Instanzen nutzen NVLink-Interconnects, die im Vergleich zu PCIe-basierten Systemen eine deutlich höhere Bandbreite für die Gradientensynchronisation bieten. Der ursprüngliche Modellcode wurde angepasst, um PyTorch Distributed Data Parallel (DDP) zu nutzen. Dabei werden Modellgewichte auf jede GPU kopiert, wodurch größere Batches pro Trainings-Schritt verarbeitet werden können.

Messbare strukturelle Verbesserungen

Die Multi-GPU-Architektur ermöglicht eine bis zu achtfache Beschleunigung des Trainings. Gleichzeitig steigt die Qualität der Ausgabe durch die Verwendung höherauflösender Trainingsdaten. Die Iterationsgeschwindigkeit innerhalb der VFX-Pipeline wird dadurch grundlegend verändert.

Tim Chauncey, CTO von Outpost VFX, betont die Bedeutung schneller Iterationen: „Wir können dank unseres parallelisierten Workflows und der Möglichkeit, mehrere Top-End-GPUs gleichzeitig zu nutzen, jetzt viel schneller iterieren. Die Iterationsgeschwindigkeit ist entscheidend für die VFX-Arbeit, und diese Architektur bietet robustere und skalierbarere Funktionen für die zukünftige Entwicklung.“

Dheeraj Bhadani, Lead Software Architect bei Outpost VFX, sieht die Entwicklung als Übergang von Experimenten zu integralen Bestandteilen der Pipeline: „Was mich am meisten begeistert, ist, dass diese Modelle keine Forschungsexperimente mehr sind; sie werden zu einem integralen Bestandteil der modernen VFX-Pipeline. Die Multi-GPU-Beschleunigung ist die Grundlage, auf der kreative Tools der nächsten Generation aufgebaut werden.“

Zukünftige Schnittstellen

Outpost VFX prüft den Einsatz von Amazon SageMaker AI für verwaltetes Training, Modellversionierung und gehostete Inferenz. Weitere Optimierungen könnten höhere Bildauflösungen und nachfolgende Generationen von EC2 P5-Instanzen mit erhöhtem VRAM umfassen.

Quelle: AWS AI Blog

FAQ

Welche AWS-Instanzen kamen zum Einsatz?
Amazon EC2 P5-Instanzen mit NVIDIA H100 GPUs und NVLink-Interconnects.

Welche Parallelisierungstechnik wurde implementiert?
PyTorch Distributed Data Parallel (DDP), um das Training über mehrere GPUs zu verteilen.

Welche konkrete Zeitersparnis wurde erreicht?
Die Lieferzeit der ersten Version (v001) wurde von ein bis zwei Wochen auf zwei Tage reduziert bei bis zu achtfacher Trainingsbeschleunigung.