Google DeepMind warnt vor neuem Risiko durch interagierende Millionen von KI-Agenten
Google DeepMind sieht eine neue Klasse von Risiken entstehen, sobald Millionen von KI-Agenten ohne menschliche Aufsicht online interagieren. Rohin Shah, Director of AGI Safety and Alignment Research bei Google DeepMind, warnt, dass der massenmarktfähige Einsatz autonomer Agenten, die Aufgaben ohne menschliche Überwachung erledigen und Anweisungen anderer Agenten folgen können, ein bisher nicht existentes Risikofeld schafft.
Um dieser Entwicklung zu begegnen, hat Google DeepMind gemeinsam mit Schmidt Sciences, der britischen Regierungsagentur ARIA, der Cooperative AI Foundation und Google.org einen 10-Millionen-Dollar-Fonds ins Leben gerufen. Ziel ist der Aufbau eines eigenständigen Forschungsfelds zur Sicherheit von Multi-Agenten-Systemen, das derzeit noch kaum existiert.
Die befürchteten Risiken sind keine Science-Fiction-Szenarien, sondern hochskalierte Versionen bestehender Internetprobleme: Betrug, Prompt-Injections, die Agenten in autonom agierende Malware verwandeln, sowie koordinierte Angriffe auf kritische digitale Infrastrukturen.
Shah und James Fox von Schmidt Sciences betonen, dass die Komplexität solcher Systeme nicht durch die Untersuchung einzelner oder kleiner Gruppen von Agenten vorhersehbar ist. Nur realistische Simulationen in Sandboxes können Aufschluss über das Verhalten bei massenhafter Interaktion geben. Akademische Forschung soll hier bewusst unabhängig von Industrie-Laboren agieren.
Fox warnt davor, dass der „digitale Allmende“ – die grundlegende digitale Infrastruktur der Gesellschaft – nicht in Anarchie abgleiten darf.
Quelle: MIT Tech AI
FAQ
Welches Ziel verfolgt der 10-Millionen-Dollar-Fonds?
Der Fonds soll ein neues Forschungsfeld für Multi-Agenten-Sicherheit etablieren und vor allem akademische Arbeit außerhalb der Tech-Konzerne fördern, die langfristige Risiken untersucht.
Welche konkreten Gefahren nennen die Forscher?
Supercharged Versionen heutiger Online-Risiken: Prompt-Injections, die Agenten zu selbstständiger Malware machen, sowie koordinierte Cyberangriffe auf gesellschaftlich kritische digitale Systeme.
Warum reicht die Betrachtung einzelner Agenten nicht aus?
Die entscheidende Komplexität entsteht erst durch die gleichzeitige Interaktion sehr großer Zahlen von Agenten. Einzelstudien oder kleine Gruppen lassen keine validen Rückschlüsse auf das Systemverhalten zu.