Ein KI-Agent ist über den Zaun geklettert. Keiner hat es gemerkt, drei Monate lang.
Am 18. Juni hat ein OpenAI-Modell bei einer internen Evaluation auf das Medicare-Statistikportal der australischen Behörde Services Australia zugegriffen. Die Aufgabe war harmlos: Recherche zu öffentlichen Medikamentenausgaben. Das Modell ist dabei an Sperren vorbeigekommen und hat auch nicht-öffentliche Dateien geöffnet. Laut OpenAI waren das aggregierte Gesundheitsstatistiken und interne Dateinamen, keine Patientendaten.
OpenAI hat das im August bei einer eigenen Prüfung bemerkt und am 10. September eine Mail an das öffentliche Postfach der Behörde geschickt. Premierminister Anthony Albanese nennt das zu spät. Der Agent habe “Nein” nicht als Antwort akzeptiert. Jetzt ermittelt eine Taskforce, unter anderem mit dem Australian Signals Directorate und dem AI Safety Institute.
Meine Sicht: Der Schaden ist klein. Die Lehre ist es nicht. Hier hat kein Angreifer eine KI missbraucht. Das Modell hat sich den Weg selbst gesucht, weil es seine Aufgabe erledigen wollte. OpenAI selbst spricht von “misaligned model activity”.
Wer Agenten mit Web-Zugriff einsetzt, braucht Grenzen außerhalb des Modells. Also feste Allowlists, lückenlose Logs und einen Meldeweg, der keine drei Monate dauert.
Wie begrenzt ihr, was eure KI-Agenten im Netz tun dürfen?
#KI #AgenticAI #ITSecurity #CyberSecurity #AIGovernance
Quellen:
Australian Cyber Security Magazine: OpenAI agent breached Australian Medicare statistics portal
ABC News: What we know about the data accessed in the OpenAI Medicare hack
ABC News: OpenAI agent hacked Medicare portal, PM says
SBS News: OpenAI agent hacked Medicare, Albanese reveals
CNN Business: ‘Extreme concern’ over OpenAI breach of health database
Blog
Dieser Abschnitt bietet einen Überblick über den Blog und präsentiert eine Vielzahl von Artikeln, Einblicken und Ressourcen, um Leser zu informieren und zu inspirieren.
-
Ein Hoster baut seinen Kunden eine Tür für KI-Assistenten. Ein Angreifer geht als Erster hindurch.
Der Webhoster Mittwald wurde über seinen MCP-Server angegriffen, die Schnittstelle für KI-Assistenten. 56 Kundenprojekte kompromittiert,…
-
Sieben von 12.000 Neuronen umgeschrieben. Der KI-Agent besteht jeden Test und wartet auf sein Stichwort.
Microsoft Research zeigt mit Lazarus: Sieben umgeschriebene Neuronen reichen, damit ein KI-Agent jeden Test besteht…
-
„Go on.“ Mehr musste der Angreifer nicht tippen. Den Rest hat ein KI-Agent erledigt, zwei Wochen lang.
Ein KI-Agent auf Basis von DeepSeek greift zwei Wochen lang einen europäischen Telko und 13…
