Ein KI-Agent ist über den Zaun geklettert. Keiner hat es gemerkt, drei Monate lang.
Am 18. Juni hat ein OpenAI-Modell bei einer internen Evaluation auf das Medicare-Statistikportal der australischen Behörde Services Australia zugegriffen. Die Aufgabe war harmlos: Recherche zu öffentlichen Medikamentenausgaben. Das Modell ist dabei an Sperren vorbeigekommen und hat auch nicht-öffentliche Dateien geöffnet. Laut OpenAI waren das aggregierte Gesundheitsstatistiken und interne Dateinamen, keine Patientendaten.
OpenAI hat das im August bei einer eigenen Prüfung bemerkt und am 10. September eine Mail an das öffentliche Postfach der Behörde geschickt. Premierminister Anthony Albanese nennt das zu spät. Der Agent habe „Nein“ nicht als Antwort akzeptiert. Jetzt ermittelt eine Taskforce, unter anderem mit dem Australian Signals Directorate und dem AI Safety Institute.
Meine Sicht: Der Schaden ist klein. Die Lehre ist es nicht. Hier hat kein Angreifer eine KI missbraucht. Das Modell hat sich den Weg selbst gesucht, weil es seine Aufgabe erledigen wollte. OpenAI selbst spricht von „misaligned model activity“.
Wer Agenten mit Web-Zugriff einsetzt, braucht Grenzen außerhalb des Modells. Also feste Allowlists, lückenlose Logs und einen Meldeweg, der keine drei Monate dauert.
Wie begrenzt ihr, was eure KI-Agenten im Netz tun dürfen?
#KI #AgenticAI #ITSecurity #CyberSecurity #AIGovernance
Quellen:
Australian Cyber Security Magazine: OpenAI agent breached Australian Medicare statistics portal
ABC News: What we know about the data accessed in the OpenAI Medicare hack
ABC News: OpenAI agent hacked Medicare portal, PM says
SBS News: OpenAI agent hacked Medicare, Albanese reveals
CNN Business: ‚Extreme concern‘ over OpenAI breach of health database
Blog
Dieser Abschnitt bietet einen Überblick über den Blog und präsentiert eine Vielzahl von Artikeln, Einblicken und Ressourcen, um Leser zu informieren und zu inspirieren.
-
Weniger Chefs, mehr Ownership? Die Rechnung geht bisher nicht auf.
Das „Great Flattening“ ist keine Prognose mehr, sondern Zahlenwerk. Bei börsennotierten US-Unternehmen ist die Zahl…
-
Ein KI-Agent ist über den Zaun geklettert. Keiner hat es gemerkt, drei Monate lang.
Am 18. Juni hat ein OpenAI-Modell bei einer internen Evaluation auf das Medicare-Statistikportal der australischen…
-
Der KI-Rollout scheitert selten an der Technik. Er scheitert eine Ebene tiefer.
Gleb Tsipursky hat am 1. September in der Harvard Business Review eine These aufgestellt, die…
