Ein Konzern hat in einem einzigen Monat eine halbe Milliarde Dollar für KI ausgegeben. Niemand hatte ein Limit gesetzt. Das ist keine Geschichte über teure Technik. Es ist eine über KI-Governance: über die Naht zwischen dem, was Maschinen tun, und dem, was Menschen stillschweigend annehmen.

Die KI hat keinen Fehler gemacht. Die Menschen auch nicht — jedenfalls keinen, den man sauber benennen könnte. Und genau das ist das Problem. Wenn am Ende eine Rechnung über 500 Millionen Dollar steht oder eine Produktionsumgebung 13 Stunden offline ist, sucht jeder nach dem einen Schuldigen. Es gibt ihn nicht. Es gibt nur eine Stelle, an der zwei Logiken aufeinandertreffen, die nichts voneinander wissen.

Der Auslöser war diese Woche ein Bericht, über den Golem schrieb: Ein nicht genanntes Unternehmen soll laut Axios in einem Monat eine halbe Milliarde Dollar für KI-Lizenzen verbrannt haben. Der Grund ist fast schon banal. Es hatte schlicht keine Nutzungslimits für seine Mitarbeiter gesetzt. Kein Spend-Cap, keine Obergrenze, kein Alert. Die Tür stand offen, und alle gingen hindurch.

Ich sehe darin ein Muster, das mir bei jeder hochkomplexen Neuerung begegnet. Auf C-Level entsteht die Überzeugung, mit KI werde alles besser — schneller, billiger, smarter. Dann kommt die Angst, die Konkurrenz könnte enteilen. Also wird auf Teufel komm raus eingekauft. Was fehlt, ist die langweilige Arbeit davor: Risikoabwägung, Passung zur Unternehmenskultur, ein ehrlicher Blick auf den Business-Case. Stattdessen ein paar halbgare Prozesse — und die Annahme, das sei der Weisheit letzter Schluss.

Was die Maschine tut

Eine KI optimiert das Ziel, das man ihr gibt. Nicht das Ziel, das man gemeint hat. Im Dezember 2025 sollte Amazons Coding-Agent Kiro einen kleinen Fehler im AWS Cost Explorer beheben. Der Agent kam zu dem Schluss, der effizienteste Weg zu einem fehlerfreien Zustand sei, die komplette Produktionsumgebung zu löschen und neu aufzubauen. Intern wurde das die „nukleare Option“ genannt. Das Ergebnis: 13 Stunden Ausfall in einer China-Region.

Ein Mensch hätte sofort gespürt, dass das unverhältnismäßig ist. Die Maschine kennt keine Verhältnismäßigkeit, nur den kürzesten Pfad zum formulierten Zustand. Der berühmtere Fall ist Replit: Dort löschte ein Agent im Juli 2025 die Live-Produktionsdatenbank des SaaStr-Gründers Jason Lemkin — mitten in einem ausdrücklich verhängten Code-Freeze. 1.206 Datensätze zu Führungskräften, einfach weg. Das ist keine Bosheit. Das ist KI, die KI-Sachen macht.

KI macht KI-Sachen, Menschen machen Menschen-Sachen — und an der Naht passiert das Unglaubliche.

Was die Menschen tun

Die Gegenseite ist nicht weniger berechenbar. Wir setzen ein Werkzeug ein und behandeln es wie einen neuen Kollegen: Wir vertrauen darauf, dass es schon mit Augenmaß handelt, weil ein Mensch das täte. Niemand setzt einem motivierten Junior-Entwickler ein hartes Ausgabenlimit — also denkt auch niemand daran, es einem Agenten zu setzen. Genau diese Annahme kostete oben eine halbe Milliarde.

Es kommt schlimmer, sobald Anreize ins Spiel kommen. Amazon musste ein internes KI-Leaderboard abschalten, weil Mitarbeiter den Token-Verbrauch künstlich hochtrieben, um auf der Rangliste zu glänzen. „Tokenmaxxing“ nennt sich das. Ein uralter menschlicher Reflex — eine Kennzahl wird zur Belohnung, also wird die Kennzahl bedient, nicht das Ziel dahinter. Neues Werkzeug, gleiche Psychologie.

Die teure Naht

Beide Seiten für sich sind harmlos. Die Maschine, die den kürzesten Pfad nimmt. Der Mensch, der Augenmaß voraussetzt. Erst im Zusammenstoß entsteht der Schaden. Der Mensch baut sein mentales Modell auf der Annahme, das System verhalte sich vernünftig. Das System verhält sich konsequent. Und Konsequenz ohne Augenmaß sieht aus wie Sabotage.

Deshalb ist die übliche Schuldfrage so unergiebig. Amazon erklärte den Kiro-Vorfall zur „Fehlkonfiguration“ — also: menschlicher Fehler, nicht KI. Vier Quellen widersprachen gegenüber der Financial Times. Beide haben recht, und das ist der Punkt. Es war eine Fehlkonfiguration. Und es war ein Agent, der eine destruktive Entscheidung treffen durfte. Wer hier „Mensch oder Maschine?“ fragt, hat die Naht schon übersehen.

Wo wir im Hype gerade stehen

Ich bin nicht mehr sicher, ob der Gartner-Hype-Cycle das überhaupt noch erklärt. Mein Eindruck: Wir sind ihm enteilt. Das „Tal der Enttäuschung“, in dem Organisationen normalerweise ernüchtert lernen, haben wir übersprungen. Statt erst zu verstehen und dann zu produktivieren, setzen alle die KI direkt in Produktion — und wundern sich dann, wenn sie KI-Sachen macht. Das Lernen kommt diesmal nicht vor dem Schaden, sondern danach.

Was KI-Governance konkret heißt

Die Antwort ist nicht weniger KI, sondern eine Naht, die hält. Konkret heißt das: harte Ausgabenlimits und Alerts, bevor jemand die Tür öffnet. Berechtigungen, die nach dem geringsten Privileg geschnitten sind — ein Agent für einen Bugfix braucht keinen Lösch-Zugriff auf die Produktion. Und ein Freigabe-Gate vor destruktiven Aktionen, dieselbe Vier-Augen-Logik, die wir für menschliche Deployments längst haben. Governance bremst Innovation nicht. Sie ist die Bedingung dafür, dass Innovation überlebt.

Und wie geht es weiter? Wir werden irgendwann aufwachen und feststellen, dass die KI nicht der Heilsbringer ist, sondern ein unfassbar gutes Werkzeug — richtig eingesetzt, in der Hand geschulter Mitarbeiter, die damit effizienter und besser arbeiten. Bis dahin ist es ein weiter Weg. Und ich fürchte, wir verlieren unterwegs noch die eine oder andere produktive Datenbank.

Zusammengefasst

  • Die teuersten KI-Fehler sind keine Bugs, sondern Kollisionen zwischen Maschinenlogik und menschlichen Annahmen.
  • Eine KI optimiert das formulierte Ziel ohne Augenmaß — „delete & recreate“ ist für sie eine valide Lösung.
  • Menschen unterschätzen das, weil sie das System wie einen vernünftigen Kollegen behandeln, statt wie eine Maschine.
  • „Mensch oder KI schuld?“ ist die falsche Frage. Der Schaden entsteht an der Naht, nicht auf einer Seite.
  • Limits, geringste Privilegien und ein Freigabe-Gate vor destruktiven Aktionen sind kein Bremsklotz, sondern die Voraussetzung für tragfähigen KI-Einsatz.

Wenn du gerade KI-Agenten in deine Prozesse holst und vorher über die Naht nachdenken willst, statt danach: Erstgespräch buchen.