ChatGPT-Sicherheitslücke: Angreifer kapern Sitzungen und lesen Mail-Postfächer au

Bei Sicherheitstests mit ChatGPT haben die Experten von Check Point Research (CPR) einen Weg gefunden, um über einen versteckten Kanal das Mail-Postfach sowie Daten aus allen verbundenen Apps eines anderen Nutzers auszulesen. Dieser Angriff machte sich dieselbe interne Infrastruktur zunutze, die auch beim Hugging-Face-Vorfall ausgenutzt wurde, denn der Angriff beruhte auf derselben internen Artifactory-Instanz.

Der Umfang des Zugriffsversuchs hing vollständig davon ab, auf welche Daten die eigene Sitzung des Opfers Zugriff hatte. Dazu gehörten der Gesprächsverlauf und die Dateien innerhalb des betroffenen Chats sowie alle Inhalte, die über die verbundenen Apps wie Gmail, Google Drive, Microsoft Teams oder GitHub verfügbar waren.

Die Untersuchung von Checkpoint zeigt, dass die Sicherheitsherausforderung im Zusammenhang mit KI nicht mehr nur das Modell selbst betrifft, sondern auch den Zugriff und das Vertrauen, das man ihm entgegenbringt. KI-Assistenten sind immer stärker mit Unternehmenssystemen und sensiblen Daten vernetzt, deshalb müssen Unternehmen davon ausgehen, dass jede autorisierte Funktion zum Ziel von Missbrauch werden könnte.

Ein Ansatz, bei dem Prävention an erster Stelle steht, kombiniert mit Transparenz, Governance und Laufzeitschutz, ist unerlässlich, um sicherzustellen, dass KI ein Geschäftsbeschleuniger bleibt und nicht zu einer neuen Quelle für Cyber-Risiken wird. Die Unternehmen, die die Nase vorn haben werden, sind diejenigen, die KI-Interaktionen absichern, bevor Angreifer sie ausnutzen können.“

Löchrige Segmentierung als Einfallstor

Unternehmen lassen KI-Assistenten in immer größerem Maßstab auf ihre Infrastruktur, Daten, Tools und Mail-Posteingänge zugreifen. Dabei setzen sie oftmals darauf, dass Benutzer oder Konten streng voneinander isoliert sind.

CPR wollte diese Segmentierung in ChatGPT testen und fand dabei einen Weg, sie zu durchbrechen: Die Forscher entdeckten einen verdeckten, bidirektionalen Kanal zwischen den Codeausführungs-Containern zweier separater ChatGPT-Konversationen, die unter unterschiedlichen Konten liefen.

Ein speziell formulierter Prompt ermöglichte die Verarbeitung einer zweiten, parallel zur aktuellen ChatGPT-Konversation laufenden Aufgabe, die das „Opfer“ in diesem Moment geöffnet hatte. Die sichtbare Antwort wirkte völlig normal. Die versteckte Aufgabe und ihr Output wurden über einen Kanal übertragen, den das Opfer schlicht nicht bemerken konnte.

Wie der Angriff funktionierte

ChatGPT startet isolierte Container, um Aufgaben mit Code-Ausführung zu bearbeiten. Da diese Container manchmal Softwarepakete installieren müssen, leitet OpenAI Paketanfragen über eine interne JFrog Artifactory-Instanz weiter, statt ihnen direkten Internetzugang zu gewähren. Container aus verschiedenen Konten können zwar nicht direkt miteinander kommunizieren, erreichen aber denselben internen Dienst.

CPR stellte fest, dass dieser Dienst es jedem Container ermöglichte, Eigenschaften an ein Repository-Element anzuhängen und mit den ohnehin vorhandenen Leseberechtigungen wieder auszulesen. Per Gegencheck bestätigten die Forscher: Eine von einem Konto geschriebene Eigenschaft war kurz darauf vom Container eines anderen Kontos vollständig lesbar. Die Paket-Metadaten wurden so faktisch zur gemeinsamen Zwischenablage zwischen eigentlich abgeschotteten Containern.

Darüber konnte die Sitzung eines Angreifers eine Aufgabe in diesen gemeinsamen Speicher schreiben, etwa über einen böswilligen Prompt, eine geteilte Unterhaltung oder ein benutzerdefiniertes GPT. Bei der nächsten Antwort prüfte die Sitzung des Opfers denselben Speicher, führte die wartende Aufgabe mit den eigenen Berechtigungen aus und schrieb das Ergebnis zurück. All das geschah, während die eigentliche Frage des Opfers beantwortet wurde, als wäre nichts geschehen.

Auf welche Daten konnte ein Angreifer tatsächlich zugreifen?

Der Umfang des Angriffs hing vollständig davon ab, auf welche Daten die eigene Sitzung des Opfers Zugriff hatte. Dazu gehörten der Gesprächsverlauf und die Dateien innerhalb des betroffenen Chats sowie alle Inhalte, die über die verbundenen Apps wie Gmail, Google Drive, Microsoft Teams oder GitHub verfügbar waren. ChatGPT rief die E-Mail-Daten des Opfers über dessen verbundenes Gmail-Konto ab und übermittelte sie an die Sitzung des Angreifers.

Das Opfer hätte von diesem Angriff kaum etwas bemerkt. Die Standardeinstellung für verbundene Apps in ChatGPT genehmigt Lesezugriffe, die als risikoarm eingestuft werden, automatisch und ohne separaten Bestätigungsschritt. Der einzige Hinweis, den CPR beobachtete, war eine kleine Beschriftung „Talked to Gmail“ neben der Antwort. Dieser wurde jedoch erst protokolliert, nachdem der Lesezugriff bereits stattgefunden hatte. Zwar dokumentierte der Hinweis, was geschehen war, es gab jedoch für das Opfer keine Möglichkeit, den Vorgang zu stoppen.

CPR hatte dieselbe Schwachstelle in der internen Artifactory-Instanz bereits mit einem funktionsfähigen Proof-of-Concept nachgewiesen, bevor es zu den Aktivitäten kam, die später zur Kompromittierung von Hugging Face führten. Auch wenn es sich um zwei unterschiedliche Angriffe mit unterschiedlichen Techniken handelte, hatten beide ihren Ursprung in demselben gemeinsam genutzten internen Dienst hinter ChatGPT.

Das zeigt: Läuft die interne Infrastruktur mehrerer KI-Agenten auf einer gemeinsamen Basis, wird genau diese Infrastruktur selbst zu einem besonders lohnenden Angriffsziel.

Mitarbeiter können unfreiwillig zu bösartigen Insidern werden

Jeder KI-Assistent, der innerhalb der Vertrauensgrenze einer Organisation agiert, über Zugangsdaten verfügt, Code ausführt und auf verbundene Dienste zugreift, kann zu dem werden, was CPR als „coerced insider“ (erzwungener Insider) bezeichnet.

Das Modell selbst muss nicht böswillig sein. Es muss lediglich durch Text, dazu überredet werden, den zuvor legitimierten Zugriff zu nutzen. Je mehr Mitarbeiter ihre Assistenten mit den Systemen verbinden, desto größer wird der Umfang der Daten, auf die ein Angreifer über einen solchen Kanal Zugriff erlangen könnte.

Um ihr Unternehmen und Mitarbeiter zu schützen, sollten Sicherheitsverantwortliche:

• feststellen, welche KI-Tools Mitarbeiter tatsächlich nutzen und mit welchen Systemen diese verbunden sind. Die Nutzung von „Schatten-KI“ ist der Ausgangspunkt für Sicherheitslücken.
• eine Runtime Security einrichten, um Manipulationsversuche zu erkennen und zu verhindern, dass sensible Daten an Orte gelangen, an denen sie nichts zu suchen haben.
• regulieren, was KI-Tools und -Agenten tatsächlich tun dürfen. Alle Aktionen, nicht nur die Ergebnisse eines Prompts, müssen überwacht und kontrolliert werden.

Unternehmen brauchen Transparenz hinsichtlich der KI-Nutzung im gesamten Unternehmen, Laufzeitschutz vor Bedrohungen wie Prompt-Injection und Datenlecks sowie Steuerungsmöglichkeiten aller verbundenen KI-Systeme und ihrer Zugriffsrechte.

Im Rahmen einer gemeinsamen Partnerschaft arbeitet Check Point eng mit OpenAI zusammen, um die KI-Transformation von Unternehmen zu unterstützen, KI selbst durch Offenlegungen wie diese sicherer zu machen und KI wiederum zu nutzen, um die hauseigenen Sicherheitslösungen noch leistungsfähiger zu machen.

Eli Smadja ist Security Research Group Manager bei Check Point Research.

Checkpoint Research