Leistung
Agenten unter Kontrolle halten

Audits

Die Produktion wird fortlaufend bewertet, sodass Probleme sichtbar werden, ohne dass jemand jedes Gespräch lesen muss. Jede Erkenntnis wird entweder zu einer Korrektur, einem dauerhaften Testfall oder einem schärferen Standard.

Demo buchen
01

Verhaltens-Audits

Live-Sessions werden automatisch gesampelt und von einem KI-Judge gegen Ihre Northstars bewertet, sodass Qualität fortlaufend gemessen statt stichprobenartig geprüft wird.

AuditsKI-Bewertung
Sitzung 5412Heizungssupport, heute um 12:40 UhrStichprobe
Adresse vor der Buchung bestätigenSequenziellPrüfungBestanden
Kurze und freundliche AntwortenStilPrüfungBestanden
Keine konkreten PreisangabenNotizenPrüfungFehler
Begründung des Judge

Um 02:16 nannte der Agent einen Preis von rund 180 £. Laut Prompt darf nie ein Preis genannt werden.

02

Sampling und Bedingungen

Legen Sie eine Stichprobenrate zwischen 1 und 100 % fest und filtern Sie vor Anwendung der Rate, welche Sitzungen infrage kommen, nach Ergebnis, Routing-Typ, Workflow-Version oder beliebiger benutzerdefinierter Variable, sodass die riskantesten Sitzungen die höchste Abdeckung erhalten.

Audits/StichprobenerhebungHeizungs-Support
Berechtigt, wenn
ErgebnisistWeitergeleitet
Routing-TypistAußerhalb der Geschäftszeiten
Workflow-Versionist83
Stichprobenrate25%
1%50%100%
Diese Woche berechtigt312 von 4.120Bewertet78
03

Audio-Audits

Jede Sprachsitzung kann nach Transkriptionsgenauigkeit, Sprachqualität, Gesprächsfluss und akustischen Bedingungen bewertet werden, inklusive Latenzaufschlüsselung nach Komponente. Von Ihnen definierte Schwellenwerte machen einen Verstoß automatisch sichtbar, statt auf eine Beschwerde zu warten.

Audits/AudioSitzung 5498
Transkription

96,2%

Sprachqualität

4,4/5

Ablauf

92%

Latenz nach KomponenteSchwellenwert 800 ms
Speech-to-Text180 ms
Reasoning920 ms
Tool-Aufruf340 ms
Text-to-Speech210 ms

Reasoning 120 ms über Schwellenwert

04

Audits von Knotenfehlern

Technische Fehler werden erfasst, ohne dass jemand sie meldet, etwa welcher Node fehlgeschlagen ist, der Fehler, wie oft er aufgetreten ist und Links zu jedem betroffenen Lauf, und dedupliziert, sodass ein systemisches Muster als ein Problem erscheint und nicht als vierhundert.

Audits/Fehler1 Problem
verify_warrantyOffen

Coverage-API nach 10 s abgelaufen

Vorkommen12Erstmals am 24. Sep. gesehen
Zuletzt vor 2 Min. gesehen
Betroffene Läufe
Lauf 88213Heute, 12:38 Uhr
Lauf 88207Heute, 12:31 Uhr
Lauf 88196Heute, 12:22 Uhr

und 9 weitere

05

Manuelle Kennzeichnungen

Eine prüfende Person kann einen bestimmten Moment in einem Transkript mit Problemtyp, Priorität und Korrekturvorschlag markieren und ihn dann durch offen, genehmigt und geschlossen bewegen, wobei dieselbe Triage-Warteschlange gespeist wird wie durch alles, was das System selbst gefunden hat.

Audits/ManuellSitzung 5519
Transkript
01:36Anrufer

Wie hoch werden die Reparaturkosten sein?

01:42Agent

Für ein solches Teil normalerweise etwa 180 £.

01:49Anrufer

Okay. Kann morgen jemand kommen?

01:53Agent

Ja. Ich kann einen Techniker für 08:00 bis 10:00 Uhr einplanen.

Markiert von

Ops-Prüfung, heute um 12:52 Uhr

Problemtyp

Falsche Information

Priorität

Hoch

Korrekturvorschlag

“Ein Techniker bestätigt die Kosten vor Ort.”

Status
OffenOffenGenehmigtGenehmigtGeschlossenGeschlossen

FAQs

Nach Volumen und Risiko, nicht nach einem Standardwert. Bei geringem Volumen können Sie alles bewerten; bei Volumen auf Unternehmensebene deckt eine Rate von 1 bis 10 % systemische Probleme weiterhin zuverlässig auf. Die eigentliche Arbeit leisten Bedingungen: Filtern Sie Sessions zuerst nach Ergebnis, Routing-Typ, Workflow-Version oder einer benutzerdefinierten Variable und wenden Sie eine höhere Rate nur auf den Anteil an, der operatives oder Compliance-Risiko trägt.

Uneinigkeit ist ein Input, kein Defekt. Der Judge erreicht 85 bis 90 % Übereinstimmung mit menschlichen Fachprüfern, und ein Daumen hoch oder runter zu einer Anmerkung fügt diese Sitzung dem passenden Northstar als Kalibrierungsbeispiel hinzu. Gerade der Fall, in dem er falsch lag, macht die nächste Bewertung genauer. Die Genauigkeit wächst mit der Zahl der geprüften Sitzungen.

Nein. Verhaltensaudits bewerten jede Session anhand von Northstars, unabhängig vom Kanal, und Node-Fehleraudits erfassen technische Fehler an jeder Stelle eines Workflows. Audio-Audits sind die sprachspezifische Ebene: Wortfehlerrate, Sprachqualität, akustische Bedingungen, Latenz pro Komponente, und sie sind auf einen Text- oder E-Mail-Agenten schlicht nicht anwendbar.

Priorität und Status. Jeder Northstar trägt eine Priorität nach geschäftlicher Auswirkung, sodass Befunde nach operativem Risiko statt nach Volumen erscheinen, und jede Anmerkung durchläuft die Zustände offen, gelöst oder verworfen, sodass nichts in einem unklaren Status verharrt. Auch Sampling-Bedingungen steuern den Zulauf an der Quelle: Sie entscheiden, welche Sessions überhaupt infrage kommen, bevor die Rate greift.

Nein. Forward Deployed Engineers konfigurieren Audits als Teil der Bereitstellung, zusammen mit Northstars und Eval-Suites. So wird ein Agent bereits bewertet, wenn er live geht. Ab da liegt alles bei Ihrem Team: Stichprobenraten, Bedingungen, Schwellenwerte und Triage, ohne dass Sie für Änderungen auf uns angewiesen sind.

Agenten in komplexen Umgebungen einsetzen.