KI-Testing muss „anders“ funktionieren

17. November 2026

Generative und Agenten-basierte KI stellen Unternehmen vor neue Anforderungen an das Testing. Um die Qualität und Zuverlässigkeit ihrer KI-Anwendungen sicherzustellen, müssen sie ihre Testverfahren anpassen. Dazu gibt es vor allem drei Gründe, warum herkömmliches Testing an Grenzen stößt: Das zieht Konsequenzen für die KI-Governance nach sich.

Klassische Software lässt sich weitgehend deterministisch testen: Unter gleichen Bedingungen führt derselbe Input zum selben Ergebnis. Unternehmen definieren Testfälle, überprüfen die erwarteten Resultate und können nach erfolgreichem Abschluss davon ausgehen, dass die Software unter unveränderten Bedingungen wie vorgesehen funktioniert.

Doch bei generativer und Agenten-basierter KI funktioniert dieser Ansatz nicht mehr. Da liegt an folgenden Gründen:

  • Weil gleiche Eingaben unterschiedliche Ergebnisse liefern können. Bei generativer KI können identische Eingaben zu unterschiedlichen Antworten führen. Das liegt zum einen an der Funktionsweise der Sprachmodelle: So kann ein Modell beispielsweise mehrere mögliche Antworten erzeugen und zufallsbasiert eine davon auswählen. Zum anderen können sich auch die Zwischenspeicherung (Caching) oder andere Mechanismen und Parameter hier auswirken.
  • Weil es nicht immer eine eindeutige richtige Antwort gibt. Bei generativer KI lässt sich die Qualität einer Antwort nicht immer anhand eines eindeutigen Sollwerts beurteilen. Während sich bei einer Berechnung klar feststellen lässt, ob das Ergebnis stimmt, gibt es bei sprachlichen Ausgaben häufig mehrere angemessene Lösungen. Eine automatisch formulierte E-Mail muss beispielsweise nicht einem vorgegebenen Wortlaut entsprechen. Entscheidend ist vielmehr, ob sie die wesentlichen Inhalte korrekt wiedergibt, verständlich formuliert ist und den Anforderungen an Ton und Ansprache gerecht wird.
  • Weil Genauigkeit nicht dauerhaft gewährleistet ist. Ein KI-System kann bei seiner Einführung gute Ergebnisse liefern und einige Wochen später an Genauigkeit verlieren. Dieses Phänomen wird als Model Drift bezeichnet: Das Modell oder seine Logik entfernt sich zunehmend von der Realität. Dazu kann es kommen, wenn sich die Daten verändern, auf die ein Agent zugreift, oder wenn sich das Nachfrageverhalten wandelt. So könnten beispielsweise Nutzer andere oder komplexere Fragen stellen, weil ein Agent auf weitere Anwendungsbereiche ausgeweitet wird oder neue Nutzergruppen hinzukommen.

Was das für das Testing bedeutet

Die Besonderheiten generativer und Agenten-basierter KI erfordern sowohl regelmäßige Tests im laufenden Betrieb als auch andere Testverfahren. Eine einmalige Prüfung vor der Einführung reicht nicht aus, da sich die Genauigkeit eines Systems mit der Zeit verändern kann. Unternehmen müssen deshalb fortlaufend überprüfen, ob ihre KI-Systeme weiterhin die erwartete Leistung erbringen.

Zugleich müssen sie ihre Testverfahren anpassen. Sogenannte goldene Datensätze enthalten Referenzwerte, anhand derer sich die Ergebnisse bewerten lassen. Generative KI kann dazu beitragen, solche Tests zu erweitern, indem sie beispielsweise unterschiedliche Formulierungen derselben Kundenbeschwerde erzeugt. So lässt sich prüfen, ob das System den Inhalt auch bei variierenden Eingaben richtig einordnet.

Die veränderten Anforderungen an das Testing haben auch Auswirkungen auf die KI-Governance. Regelmäßiges Testing braucht klare Verantwortlichkeiten. Unternehmen müssen festlegen, wer die Ergebnisse überwacht, Abweichungen bewertet und bei Problemen eingreift.

Kennzahlen und definierte Schwellenwerte können helfen, Veränderungen frühzeitig zu erkennen. Damit wird Testing zu einer dauerhaften Aufgabe innerhalb der KI-Governance. Die Verantwortung dafür, dass die Systeme wie vorgesehen funktionieren und ihre festgelegten Grenzen einhalten, liegt beim Menschen.

Florian Lauck-Wunderlich ist Global Director Business Excellence bei Pegasystems.

Pegasystems

Lesen Sie auch