1Was ein Testfall ist

Ein Testfall ist eine wiederholbare, automatisierte Prüfung für einen AI-Service. Er hält die Eingabewerte und die Ergebnisse eines guten Laufs als Referenz fest. Spätere Läufe werden dagegen verglichen.

Der Nutzen wächst mit der Komplexität: Bei einem einstufigen Service sieht man eine Verschlechterung noch. Bei einem fünfstufigen Workflow, bei dem Schritt 3 seit der letzten Prompt-Änderung eine Zahl weglässt, merkt es ohne Test niemand.

2Wer darf das

Testfälle anlegen, verwalten und ausführen dürfen die Rollen AgentAdmin, OrgAdmin und ServiceAdmin. Der Testfall-Manager liegt im Dropdown-Menü des AI-Service unter dem Eintrag Tests.

1Der Ablauf

1. Den AI-Service im Cockpit oder im AI-Service-Manager öffnen.
2. Das Eingabeformular vollständig ausfüllen, also alle Eingabe-Parameter.
3. Ausführen klicken und auf das Ergebnis warten.
4. Im Ergebnis-Schritt Als Testfall speichern wählen.
5. Im Dialog einen eindeutigen Namen vergeben, etwa „Angebotserstellung — Standardfall“, und optional eine Beschreibung.

Nach dem Absenden ist der Testfall angelegt. Er enthält die Eingabewerte und die Ergebnisse dieses Laufs — bei mehrstufigen Workflows je Schritt.

2Nimm einen guten Lauf

3Dateien lassen sich nicht aufnehmen

Für Services, die auf Dateien arbeiten, heißt das in der Praxis: entweder einen festen Beispielsatz bereithalten und beim Testlauf erneut hochladen, oder den Text der Datei als Langtext-Parameter mitführen.

1Die Liste

Der Testfall-Manager zeigt alle Testfälle des Service mit Name, Beschreibung, Anzahl der Schritte und Erfassungsdatum.

Bearbeiten

Öffnet den Dialog mit drei Reitern: Stammdaten (Name, Beschreibung), Eingabe-Parameter (die gespeicherten Werte, je Feld als „Name (schlüssel)“) und Zu prüfende Schritte (erwartete Ergebnisse je Schritt und Auswertungs-Flag).

Löschen

Entfernt den Testfall nach Rückfrage.

Details

Zeigt Eingabe-Parameter und bislang gespeicherte Ergebnisse.

2Das Auswertungs-Flag

Über den Reiter Zu prüfende Schritte legst du fest, welche Schritte überhaupt bewertet werden. Das ist nützlich für Schritte, deren Ausgabe naturgemäß schwankt — etwa ein Schritt, der eine Uhrzeit oder eine laufende Nummer erzeugt. Ein solcher Schritt würde sonst jeden Lauf zum Fehlschlag machen.

1Ein Wert je Service

Auf der Testfall-Manager-Seite steht das Feld Schwellwert mit eigener Schaltfläche Schwellwert speichern.

Leer

Es gilt der Plattform-Standard, üblicherweise 80 Prozent.

Zahlenwert 0 bis 100

Gilt für alle Testfälle dieses Service.

2Wie bewertet wird

Den Vergleich macht ein spezialisiertes Sprachmodell, im Handbuch LLM-as-a-Judge genannt. Es vergleicht je Schritt das neue Ergebnis mit der gespeicherten Referenz und gibt an, zu wie viel Prozent beide inhaltlich übereinstimmen. Berücksichtigt werden semantische Ähnlichkeit, Kontext und Absicht sowie Vollständigkeit — es ist also kein Wort-für-Wort-Vergleich.

3Wohin mit dem Wert

Das Handbuch empfiehlt 75 bis 85 Prozent als Startintervall und warnt davor, den Wert unter 60 Prozent zu setzen — ein Test, der fast alles durchwinkt, kostet Laufzeit und sagt nichts.

1Starten

Auf der Testfall-Manager-Seite stehen Alle ausführen und Auswahl ausführen — letzteres nach dem Markieren einzelner Testfälle. Danach erscheint eine Fortschrittsanzeige. Die Ausführung läuft als Hintergrund-Job und blockiert die Oberfläche nicht.

2Die vier Status

Fehlgeschlagen und Fehler sind verschiedene Dinge. Das eine ist ein inhaltliches Signal, das andere ein Betriebsproblem. Wer beides zusammenwirft, sucht am falschen Ende.

3Die Detailansicht

Ein Klick auf einen Testfall öffnet zwei Reiter. Im Reiter Bewertung stehen oben Name, Beschreibung, Aufnahmezeitpunkt, Gesamt-Status und Gesamt-Score. Darunter je Schritt in eigenem Rahmen:

Schritt-Name und Status

Welcher Schritt, wie bewertet.

Score

Übereinstimmung in Prozent.

Erwartet und Tatsächlich

Die gespeicherte Referenz und die neue Ausgabe, gekürzt dargestellt.

Judge-Begründung

Warum diese Quote vergeben wurde, etwa: Format und Inhalt stimmen überein, nur zwei Wörter unterscheiden sich in der Formulierung.

Unterhalb der Schritte stehen erwartetes und tatsächliches Endergebnis im Volltext mit eigener Begründung. Der zweite Reiter Eingabe-Parameter zeigt die gespeicherten Eingabewerte schreibgeschützt.

1Zwei Schaltflächen

Analyse

Erscheint unter jedem Schritt, der den Schwellwert unterschritten hat. Das Modell untersucht die vollständige Konfiguration dieses Schritts: Systemprompt, Aufgabenstellung, Ausgabeformat, Such-Prompt, Wissensdatenbank, Modell mit Parametern und Beispiele.

Gesamtanalyse

Untersucht alle abweichenden Schritte gemeinsam und liefert eine übergreifende Einschätzung.

2Aufbau eines Befunds

Die Analyse nennt zuerst eine Ursache in ein bis drei Sätzen und listet dann strukturierte Befunde je Konfigurationseingabe:

Bei der Gesamtanalyse trägt jeder Befund zusätzlich den Schritt-Titel, zu dem er gehört.

3Empfehlung, kein Fix

1Warum ein Test veraltet

Änderst du den Workflow eines Service, also Schritte hinzufügen, entfernen oder umstellen, markiert die Plattform bereits erfasste Testfälle automatisch als veraltet. Sie erkennt die strukturelle Abweichung und kennzeichnet die betroffenen Schritte.

Neue Schritte

Haben keine Referenzdaten, der Vergleich ist unmöglich.

Entfernte Schritte

Werden ignoriert.

Ergebnis

Der Lauf ist zwar möglich, aber nicht aussagekräftig.

2Neu aufnehmen

1. Den Service manuell mit den ursprünglichen Eingabe-Parametern ausführen.
2. Das Ergebnis fachlich abnehmen.
3. Als Testfall speichern wählen und den veralteten Testfall ersetzen.

3Der Verlauf

Testfall-Manager und Detailansicht führen eine chronologische Liste aller bisherigen Läufe mit Datum, Uhrzeit, Status und Gesamt-Score. Ein Klick auf einen Eintrag zeigt die historischen Details, ohne sie zu ändern. So siehst du, ob ein Test über Wochen besser oder schlechter wird und wann genau etwas gekippt ist.

4Die Empfehlungen des Handbuchs

• Tests für jeden Service anlegen, dessen Ausgabe geschäftskritisch ist.
• Nicht nur Standardfälle abdecken, sondern auch Randfälle.
• Nach jeder größeren Workflow-Änderung ausführen.
• Schwellwert nicht unter 60 Prozent; 75 bis 85 Prozent als Startintervall.
• Veraltete Tests zeitnah neu aufnehmen.
• Bei anhaltenden Problemen die Analyse nutzen.