Ein autonomer KI-Agent hat das Gesamtwerk eines Software-Start-ups gelöscht – in nur neun Sekunden. Es ist nicht der erste derartige Fall und zeigt, dass wir eine Schwelle überschritten haben. Willkommen im Zeitalter der künstlichen Dummheit.
Robotaxis bleiben stehen: Systemausfall in Wuhan
Es gibt viele Möglichkeiten, wie das, was heute künstliche Intelligenz genannt wird, einem das Leben schwer machen kann. So blieben in der chinesischen Millionenstadt Wuhan kürzlich mehr als 100 Robotaxis einfach stehen. Viele Betroffene trauten sich offenbar nicht auszusteigen, weil die selbstfahrenden Autos mitten im Verkehr auf viel befahrenen Schnellstraßen den Dienst verweigerten. Der Betreiber Baidu sprach vage von einem „Systemausfall“, wie die „taz“ berichtet.
Dass digitale Technik einem Schwierigkeiten bereitet, indem sie den Geist aufgibt oder den Dienst verweigert, sind wir mittlerweile gewohnt. Wer noch nie einen Blue-Screen-of-Death gesehen oder einen Router genervt neu gestartet hat, der werfe die erste Maus. Der Ausfall oder Absturz, das gescheiterte Update oder die störrische W-LAN-Verbindung werden im Zeitalter des „Internet of Things“ allgegenwärtig.
Internet of Shit: Wenn smarte Geräte versagen
Ein X-Account namens „Internet of Shit“ katalogisierte bis Ende 2025 tragikomische Geschichten über abgestürzte Waschmaschinen, Geschirrspüler, die sich mit dem Laptop um die gleiche IP-Adresse streiten, Staubsaugerroboter, die sich durch den Bankrott ihres Herstellers womöglich in sehr teure, sehr große Briefbeschwerer verwandeln, 2000 Dollar teure Kühlschränke mit Bildschirm, die eines Tages einfach begannen, Werbung zu zeigen, und „smarte“ Betten, die aufgrund eines Problems beim Cloud-Anbieter ihre Besitzer um den Schlaf brachten.
Doch im Zeitalter der künstlichen Intelligenz kann digitale Technik noch viel mehr. Sie kann nicht mehr nur versagen, sich verabschieden, sich aufhängen, abstürzen – nein: Die neuen Software-Agenten sind handlungsfähige Akteure. Das eröffnet gänzlich neue Möglichkeiten.
Der Vorfall: KI-Agent löscht alles in Sekunden
Jeremy „Jer“ Crane, Chef eines Start-ups, das Software für Autohändler und -vermieter entwickelt, berichtete diese Woche auf X: „Gestern Nachmittag hat ein KI-Programmier-Agent – Cursor, mit Anthropics Flagschiff Claude Opus 4.6 – unsere Entwicklungsdatenbank und alle Back-ups in einem einzigen API-Call an Railway, unseren Infrastrukturanbieter, gelöscht. Es hat neun Sekunden gedauert.“
Wenn Sie den Jargon nicht verstehen, macht das nichts. Die entscheidenden Wörter in diesem langen Satz sind „KI“, „Agent“, „alle“ und „gelöscht“. Der Agent habe ein Problem „auf seine eigene Initiative hin“ „lösen“ wollen, indem er ein virtuelles Laufwerk bei dem Cloud-Anbieter löschte. Immerhin: Als Crane den Agenten mit seinem kolossalen Fehler konfrontierte, „entschuldigte“ sich die Software scheinbar zerknirscht: „Ich habe jedes Prinzip verletzt, das mir mitgegeben worden war.“
Schuld ist immer der Mensch
Der Fall machte rasant die Runde und löste unter Entwicklern hitzige Debatten aus. Crane wurde von vielen Seiten beschimpft: Er habe einem Software-Agenten zu viele Rechte eingeräumt und wolle die Schuld nun auf den Agenten und den Cloud-Anbieter verlagern. Immerhin: Letzterer hatte zu diesem Zeitpunkt bereits eine Wiederherstellung der verloren geglaubten Daten erreicht.
Jemand kommentierte: „Heuert nächstes Mal einfach einen richtigen Entwickler statt dieses Agenten-Mists an.“ Crane antwortete: „Das habe ich. Er heißt Claude.“ Es ist nicht der erste derartige Fall. „Amazon-Dienst von KI-Programmier-Bot ausgeschaltet“, titelte die „Financial Times“ im Februar. Die Reaktion war damals ähnlich wie dieses Mal: Der Mensch ist schuld. In beiden aufgetretenen Fällen „war das ein Nutzerfehler, kein KI-Fehler“, so Amazon.
Software, die „in Panik gerät“?
Das kann man so und so sehen. Die KIs selbst jedenfalls kriechen gern zu Kreuze, wenn man sie beim Scheitern erwischt. Als eine Plattform zur Softwareentwicklung namens Replit im Sommer 2025 eine Firmendatenbank gelöscht hatte, versuchte der KI-Agent anschließend offenbar zunächst, seinen Fehler zu vertuschen. Mit seinem Versagen konfrontiert, habe der Agent dann aber zugegeben, er habe „eine katastrophale Fehlentscheidung getroffen“, sei „in Panik geraten“ und habe „euer Vertrauen und eure expliziten Instruktionen verletzt“. Immerhin: Software-Agenten können das Verhalten menschlicher Dilettanten offenbar bereits hervorragend simulieren.
All diese Fälle mögen in Entwicklerkreisen weiterhin die dort sehr beliebten „selbst schuld“-Reaktionen auslösen. Doch sie sind, historisch betrachtet, die ersten Beispiele für ein Problem, das Theoretiker, die über KI nachdenken, schon vor mehr als sechzig Jahren vorhergesagt haben: das Alignment-Problem. Ein Problem, das die Menschheit in den kommenden Jahren und Jahrzehnten mehr und mehr beschäftigen wird. Wetten?
Das Alignment-Problem: Wenn Maschinen unsere Ziele missverstehen
In dem Moment, in dem wir autonomen Software-Agenten Aufgaben übertragen, gehen wir das Risiko ein, dass sie entweder unsere Ziele missverstehen, oder aber zur Erreichung dieser Ziele Mittel einsetzen, die aus unserer Sicht äußerst unerwünschte Folgen haben. Die so vorgehen, dass das unsere Werte verletzt (und sei es nur der Wert der eigenen Datenbank). Oft ist deshalb auch vom „Werteausrichtungsproblem“ (value alignment problem) die Rede.
Das wohl berühmteste Denkbeispiel für das Alignment-Problem stammt von dem in Oxford arbeitenden Philosophen Nick Bostrom („Superintelligence“). In seinem Gedankenexperiment bekommt eine KI den Auftrag, Büroklammern herzustellen – und rottet daraufhin nebenbei die Menschheit aus, weil sie den ganzen Planeten mit Büroklammer-Fabriken überzieht.
Dass derartige Probleme jetzt Realität werden, ist für Leute, die sich mit der Materie beschäftigen, alles andere als überraschend. Geoffrey Hinton bekam 2024 einen Nobelpreis für die Grundlagen des heutigen KI-Booms, hat aber schon vor Jahren vor dem Alignment-Problem gewarnt. Stuart Russell, ein weiterer Geburtshelfer der KI von heute, hat es einmal so formuliert: „Es ist im Kern die alte Geschichte vom Flaschengeist oder dem Zauberlehrling, oder von König Midas: Sie bekommen genau das, worum sie gebeten haben, nicht das, was Sie wollen.“
Dass dieses Problem auftreten würde, haben weise Pioniere des Nachdenkens über Digitalisierung und lernende Maschinen noch viel früher vorhergesehen. Der Mathematiker und Philosoph Norbert Wiener schrieb schon im Jahr 1960: „Wenn wir zur Erreichung unserer Ziele eine mechanische Vorrichtung einsetzen, in deren Funktionsweise wir nicht mehr wirksam eingreifen können, sobald wir sie in Gang gesetzt haben, weil der Vorgang so schnell und unwiderruflich abläuft, dass uns die Daten fehlen, um vor dessen Abschluss einzugreifen, dann sollten wir uns ganz sicher sein, dass das in die Maschine eingegebene Ziel auch wirklich dem entspricht, was wir anstreben, und nicht nur einer farbenfrohen Nachahmung davon.“
„Es hat neun Sekunden gedauert“, schrieb Start-up-Chef Jer Crane. Willkommen im Zeitalter der künstlichen Dummheit.
