Es war genau die Art von Situation, vor der KI-Experten warnen: eine auf falschen Informationen beruhende Befehlskette, die einen internationalen Zwischenfall hätte auslösen können – schlimmstenfalls einen Krieg zwischen Nuklearmächten. Einer Recherche des US-Nachrichtensenders CNN zufolge bereitete das US-Militär während des Krieges mit Iran die Enterung eines chinesischen Frachters vor, der im Arabischen Meer unterwegs war.

Einem Geheimdienstbericht zufolge hatte das Schiff Bestandteile eines Atomwaffenprogramms geladen. Einsatztaktiken wurden festgelegt, Spezialeinheiten machten sich bereit, Militärflugzeuge nahmen Kurs. Erst kurz vor dem Befehl zum Angriff, so CNN, sei entdeckt worden, dass der Bericht kompletter Nonsens war. Der CNN-Bericht  stützt sich auf vier anonyme Quellen mit Kenntnis des Vorfalls.

Was war passiert? Ein Analyst des Kommandos für Spezialoperationen hatte mit einem Chatbot gearbeitet. Welches Modell verwendet wurde, ist nicht bekannt. Auch nicht, ob es sich um ein kommerzielles oder ein eigens für die Armee entwickeltes Modell handelte. Laut einem von CNN zitierten ehemaligen hochrangigen US-Beamten, der mit den von Militär- und Geheimdienstanalysten genutzten KI-Systemen vertraut ist, handelt es sich bei den internen Systemen aber größtenteils um »Kopien des kommerziellen Zeugs mit etwas Lippenstift drauf«.

KI-Bericht hätte »beinahe einen Krieg ausgelöst«

Jedenfalls identifizierte der Chatbot die Ladung falsch. Was das Schiff tatsächlich transportierte, konnte CNN nicht herausfinden. Doch laut einer der Quellen war der Bericht »vollkommen falsch« – und er hätte »beinahe einen Krieg ausgelöst«.

Das US Special Operations Command Pacific und das Pentagon reagierten laut CNN nicht auf eine Bitte um Stellungnahme.

Das Ausgangsmaterial bestand laut CNN aus nachrichtendienstlichen Erkenntnissen über die Frachtliste des Schiffes. Diese stammten vom US Special Operations Command Pacific mit Sitz auf Hawaii. Der Analyst befragte die KI zu diesem Material. Der Bot vermischte dann öffentlich zugängliche Informationen mit solchen aus Geheimdienstquellen und zog falsche Schlüsse. Die halluzinierten Ergebnisse verarbeitete der Analyst anschließend wiederum mit der künstlichen Intelligenz zu einem standardisierten Geheimdienstmemo und verschickte es.

Es ist leicht auszumalen, welche Konsequenzen ein US-Angriff auf ein chinesisches Schiff hätte haben können. Das US-Militär passt seine Strategie, seine Truppenstationierungen und seine Infrastruktur im Indopazifik seit Jahren nachweislich an einen möglichen Konflikt mit China an. Ziel ist zwar die Abschreckung, aber die Ausgangslage ist delikat.

Der Verteidigungsminister fordert KI auf allen Geheimhaltungsstufen

Zudem liefern sich die USA und China einen Wettstreit um die Vorherrschaft bei der künstlichen Intelligenz – im militärischen wie im kommerziellen Bereich. US-Präsident Donald Trump und sein »Kriegsminister« Pete Hegseth drängen darauf, im Krieg und bei der Informationsbeschaffung KI in nahezu jeden Bereich einzubinden – von der Analyse der gewaltigen Mengen an Rohdaten über die Auswahl der Ziele für Angriffe bis hin zur Verwaltung von Budgets, Logistik und Lieferketten.

»Wir werden Experimente ermöglichen, bürokratische Hürden beseitigen, unsere Investitionen gezielt ausrichten und den für unsere Vorreiterrolle bei militärischer KI erforderlichen Umsetzungsansatz demonstrieren«, sagte Hegseth bei der Vorstellung seiner Strategie zur Beschleunigung künstlicher Intelligenz. Dazu will er »Amerikas weltweit führende KI-Modelle direkt unseren drei Millionen zivilen und militärischen Beschäftigten auf allen Geheimhaltungsstufen zur Verfügung stellen«.

Doch gerade bei der Zielauswahl mithilfe von KI drohen verheerende Fehler, wenn Staaten auf mangelhafte oder manipulierte Daten vertrauen. Kritiker und Experten bemängeln aber auch das hohe Tempo und die unzureichende menschliche Kontrolle, etwa beim Beschuss vermeintlicher Drogenschmuggler vor Südamerika oder bei der Massenvalidierung von Zielen wie im Gazakrieg.

Lesen Sie hier mehr über den Einsatz von KI-Systemen im Gazakrieg.

Die Art von »Halluzination«, die das vom Analysten in diesem Fall verwendete Tool erzeugte, sei in der Nachrichtendienstgemeinschaft kein Einzelfall gewesen, seit sich KI in der Regierung verbreitete, sagte eine der Quellen von CNN.

KI-Chefs warnen vor Kontrollverlust

Seit einigen Wochen warnen KI-Entwickler aus dem Silicon Valley und die Chefs der größten KI-Anbieter einhellig vor dem Erreichen eines Kipppunktes, ab dem die Menschheit die Kontrolle über die neue Technologie verliert. Dann sei alles möglich, auch die Auslöschung der Menschheit. Deshalb plädieren sie einhellig für mehr externe Kontrolle und verbindliche Industriestandards.

Die US-Regierung argumentiert dagegen, die USA könnten es sich nicht leisten, bei der Integration von KI zurückzufallen. Gerade für den Fall, dass sie eines Tages gegen China oder einen anderen Gegner kämpfen müssten, der möglicherweise in der Lage wäre, den USA stets einen Schritt voraus zu sein. Falls Sie sich richtig gruseln wollen, empfehlen wir Ihnen, die aktuelle SPIEGEL-Titelgeschichte. Darin geht es um die potenziell katastrophalen Folgen einer unaufhaltsamen Super-KI .