Tests

Der Test prüft den vollständigen Workflow statt eines einzelnen Austauschs: das Gespräch selbst, die Tools, die der Agent dabei aufruft, die Verzweigungen, die der Workflow daraufhin nimmt, und das am Ende zurückgeschriebene Ergebnis. Jede Prüfung wird für sich bewertet, sodass ein Durchlauf, der über die falsche Abfolge zum richtigen Ergebnis kommt, dennoch als Fehler erscheint.

Sie können Forward Deployed Engineers die ersten Eval-Suites im Rahmen der Bereitstellung für Sie aufbauen lassen, zusammen mit Northstars und Audit-Konfiguration, sodass ein Agent mit echter Abdeckung statt nur mit einem Startpunkt live geht. Ab dann liegt alles bei Ihrem Team: Szenarien ergänzen, Schwellenwerte ändern, Suites ausführen, ohne Abhängigkeit von HappyRobot für eine Änderung.

Sie legen die Untergrenze fest. Ein Suite-Lauf meldet eine Bestehensquote über alle enthaltenen Prüfungen, und eine Version kann erst in die Produktion übernommen werden, wenn sie den für diesen Workflow konfigurierten Schwellenwert erreicht. Workflows mit höherem Risiko können eine strengere Untergrenze haben als solche mit geringerem Risiko, statt dass eine einzige plattformweite Zahl für alles gilt.

Die konkrete Prüfung, die fehlgeschlagen ist, nicht nur ein roter Lauf: welcher Northstar oder welche Assertion verletzt wurde, ob die Abweichung in der Antwort oder im Tool-Aufruf lag, und an welcher Stelle im Workflow es passiert ist. Weil der Fehler bis zu einem Node zurückverfolgt wird, lässt sich eine Korrektur vornehmen und gegen denselben Fall erneut ausführen, statt sie von Hand zu reproduzieren.

Regressionstests tun das bewusst: Ein behobener Produktionsfehler wird als Fall fixiert, sodass der Test die tatsächliche Session ist, die schiefgelaufen ist. Diese Fälle verbleiben in Ihrer eigenen isolierten Instanz und unterliegen denselben Aufbewahrungsregeln wie Ihre übrigen Daten. Individuelle und adversariale Tests sind synthetisch: ein von Ihnen geschriebenes Szenario oder eine vom System erzeugte Angreifer-Persona.