Dario Amodei fordert bewusstes ‚Pacing the Frontier‘ in der KI-Entwicklung
Anthropic-CEO Dario Amodei hat einen dreistufigen Plan vorgestellt, der das Tempo der Frontier-KI-Entwicklung bewusst verlangsamen soll, um der Sicherheitsforschung mehr Zeit zu geben.
Der Vorschlag folgt unmittelbar auf die öffentliche Warnung des Anthropic-Forschers Jacob Coxon, der vor existenziellen Risiken durch unkontrollierte KI-Entwicklung warnte.
In seinem Essay „We Must Pace the Frontier“ benennt Amodei Risiken wie Kontrollverlust, Cyberangriffe, Bioterrorismus und erhebliche wirtschaftliche Störungen.
Der dreistufige Plan
Schritt 1: Eingebettete unabhängige Evaluatoren
Frontier-Labore sollen externen Sicherheitsprüfern wie METR oder Redwood Research mitarbeiterähnlichen Zugang gewähren. Diese Evaluatoren sollen Modelle prüfen, Vorfälle melden und Ergebnisse ohne redaktionelle Kontrolle des Unternehmens veröffentlichen können. Anthropic hat diesen Schritt bereits unilateral umgesetzt.
Schritt 2: Koordination zwischen KI-Laboren in demokratischen Ländern
Es sollen gemeinsame Sicherheitsstandards und fähigkeitsbasierte Kontrollpunkte etabliert werden. Regierungen sollen die Abstimmung unterstützen und kartellrechtliche Fragen klären.
Schritt 3: Globale Koordination
Langfristig strebt Amodei Abstimmungen zwischen demokratischen und autoritären Staaten an, insbesondere zwischen den USA und China. Mögliche Maßnahmen umfassen Verbote für KI-gestützte Biowaffen und obligatorische Tests vor Veröffentlichung bei schweren Risiken.
Geteilte Reaktionen der Branche
Unterstützung kommt unter anderem von OpenAI-CEO Sam Altman, der sich zur Gewährung von Evaluatoren-Zugang verpflichtet, sowie von Elon Musk, Satya Nadella und Demis Hassabis. Ein Brief des AI Evaluator Forum mit Geoffrey Hinton und Stuart Russell fordert klare Mindeststandards für unabhängige Evaluatoren.
Deutlichen Widerstand gibt es von Nvidia-CEO Jensen Huang, der neue Regulierungen als unnötig ablehnt und auf Marktkräfte setzt. Auch Meta-CEO Mark Zuckerberg, Andrew Ng und Donald Trump äußern Skepsis gegenüber Verlangsamungs- und „Doomer“-Narrativen.
Unabhängige Forscher begrüßen die Idee der Evaluatoren, bleiben jedoch skeptisch hinsichtlich tatsächlicher Unabhängigkeit und Einflussnahme durch die Unternehmen.
Quelle: TechCrunch AI
FAQ
Was bedeutet ‚Pace the Frontier‘?
Der Begriff beschreibt Amodeis Vorschlag, das Tempo der Leistungssteigerung bei Frontier-Modellen bewusst zu verlangsamen, ohne die Entwicklung komplett zu stoppen, damit Sicherheitsmaßnahmen nachziehen können.
Welche konkreten Maßnahmen schlägt Amodei in Stufe 1 vor?
Er fordert, dass unabhängige Evaluatoren mitarbeiterähnlichen Zugang zu den Laboren erhalten und ihre Prüfergebnisse ohne redaktionelle Kontrolle der Unternehmen veröffentlichen dürfen.
Wie haben die großen KI-Unternehmen reagiert?
Während OpenAI, Microsoft, xAI und Google DeepMind grundsätzliche Unterstützung signalisieren, lehnen Nvidia, Meta und Andrew Ng eine koordinierte Verlangsamung oder zusätzliche Regulierung weitgehend ab.