Subquadratic löst quadratisches Attention-Bottleneck mit Sparse-Attention-Architektur

Die Miami-basierte Startup Subquadratic hat eine neue LLM-Architektur namens SubQ vorgestellt, die auf Sparse Attention statt der herkömmlichen Dense Attention basiert. Das Unternehmen behauptet, damit das quadratische Skalierungsproblem der Transformer-Architektur zu lösen.

Die Kernherausforderung der aktuellen Systeme

In herkömmlichen Transformern muss jedes Token mit jedem anderen Token verrechnet werden. Diese quadratische Komplexität führt zu stark steigenden Rechenkosten bei längeren Kontexten. Subquadratic ersetzt diese vollständige Vernetzung durch eine dynamische, sparsame Auswahl relevanter Token-Beziehungen.

Unabhängige Evaluierung durch Appen

Die unabhängige Prüfung durch das Unternehmen Appen lieferte folgende Ergebnisse:

• SubQ war in einem Geschwindigkeitstest 56-mal schneller als Ansätze mit FlashAttention.
• Das Modell erreichte 98 % im Needle-in-a-Haystack-Test bei Kontextfenstern von sechs und zwölf Millionen Tokens.
• Auf dem LiveCodeBench-Coding-Benchmark erzielte SubQ 89,7 % und liegt damit im Bereich führender Modelle.

SubQ verfügt über ein Kontextfenster von bis zu 12 Millionen Tokens, während die meisten aktuellen Spitzenmodelle bei etwa einer Million Tokens liegen.

Offene Fragen und Kritik

Trotz der vielversprechenden Benchmark-Ergebnisse bleibt Skepsis bestehen. Das Modell wurde nicht von Grund auf trainiert, sondern nutzt Gewichte einer Version des chinesischen Open-Source-Modells Qwen. SubQ ist derzeit noch nicht öffentlich verfügbar, sondern nur über eine Warteliste zugänglich.

Experten wie der ehemalige OpenAI-Mitarbeiter Will Depue sehen zwar potenziellen Nutzen, halten die öffentlichen Belege jedoch noch nicht für ausreichend, um die Behauptung eines vollständigen Durchbruchs beim quadratischen Attention-Bottleneck zu bestätigen.

Quelle: MIT Tech AI

FAQ

1. Was ist der Unterschied zwischen Dense und Sparse Attention? Dense Attention verknüpft jedes Token mit jedem anderen (quadratische Komplexität). Sparse Attention wählt dynamisch nur die relevanten Beziehungen aus und reduziert so den Rechenaufwand erheblich.

2. Für welche Anwendungsfälle ist SubQ besonders geeignet? Das Modell ist auf Coding-Aufgaben und die Verarbeitung sehr großer Dokumentensammlungen ausgelegt, wo lange Kontexte und effiziente Retrieval-Fähigkeiten entscheidend sind.

3. Warum wird das Modell noch skeptisch betrachtet? Die Architektur basiert auf vorhandenen Gewichten eines anderen Modells, das Modell ist noch nicht breit verfügbar und unabhängige Tests decken nicht das gesamte Spektrum realer Anwendungsszenarien ab.