Pegasus 1.5 von TwelveLabs jetzt auf Amazon Bedrock verfügbar

TwelveLabs Pegasus 1.5, ein Video-Sprachmodell, ist ab sofort über Amazon Bedrock zugänglich. Die Integration erweitert die verfügbaren Foundation Models um eine spezialisierte Lösung für die strukturierte Analyse langer Videoinhalte.

Kernfunktionen von Pegasus 1.5

Das Modell transformiert Videoinhalte in strukturierte, zeitgestempelte Metadaten. Es identifiziert Segmente, Ereignisse und domänenspezifische Elemente und liefert diese als JSON mit präzisen Start- und Endzeiten.

Zu den zentralen Neuerungen zählen:

• Zeitbasierte Metadatengenerierung für redaktionelle Abschnitte, Sportspielzüge, Sprecherwechsel oder Markenauftritte.
• Multimodales Prompting, das Textbeschreibungen mit visuellen Referenzbildern kombiniert, um Objekte, Logos, Personen und Aktionen zu lokalisieren.
• On-the-fly-Verarbeitung direkt von Amazon S3 URI oder als Base64-String (bis 25 MB), ohne vorherige Indizierung. Die Verarbeitung bleibt innerhalb der AWS-Datengrenzen.
• Erweiterte Verarbeitungskapazität: Videos bis zu zwei Stunden Länge können in einer einzelnen Anfrage analysiert werden (vorher eine Stunde).

Beibehaltene und verbesserte Fähigkeiten

Pegasus 1.5 baut auf den Kernfunktionen der Vorgängerversion auf:

• Detaillierte Video-zu-Text-Generierung
• Granulare visuelle Erfassung von Objekten, Bildschirmtext und numerischen Inhalten
• Temporale Verankerung spezifischer Ereignisse
• Multimodales Verständnis visueller, auditiver und textueller Informationen
• Mehrsprachige Unterstützung (vollständig für Englisch, teilweise für Deutsch, Französisch, Spanisch, Japanisch, Chinesisch und weitere Sprachen)

Technische Integration in Amazon Bedrock

Modell-ID: twelvelabs.pegasus-1-5-v1:0

Die Verfügbarkeit startet in der AWS-Region US West (Oregon) (us-west-2). Die Inferenz erfolgt on-demand über die InvokeModel- oder InvokeModelWithResponseStream-APIs. Es stehen zwei Analysemodi zur Verfügung: general und time_based_metadata.

Unterstützte Videospezifikationen umfassen eine maximale Dauer von zwei Stunden, Dateigrößen bis 2 GB (S3) bzw. 25 MB (Base64), Auflösungen von 360x360 bis 5184x2160 sowie FFmpeg-kompatible Formate.

Die Abrechnung erfolgt über den AWS Marketplace unter TwelveLabs.

Anwendungsschichten und strukturelle Implikationen

Die Integration schafft eine neue Schnittstelle zwischen Rohvideodaten und strukturierten Wissenssystemen. Medienarchive, Sportorganisationen und Streaming-Plattformen erhalten damit die Möglichkeit, langformige Videobestände systematisch katalogisierbar und segmentgenau nutzbar zu machen. Dies stärkt die Resilienz und Skalierbarkeit von Videointelligenz-Infrastrukturen auf Unternehmensebene.

Quelle: AWS AI Blog

FAQ

Welche maximale Videolänge kann Pegasus 1.5 in einer Anfrage verarbeiten?
Bis zu zwei Stunden.

Welche Analysemodi stehen zur Verfügung?
Die Modi general für Textprompts und time_based_metadata für die Definition zeitbasierter Segmente.

Wo wird die Abrechnung für die Nutzung von Pegasus 1.5 abgewickelt?
Über den AWS Marketplace unter TwelveLabs, nicht direkt über Amazon Bedrock.