Northstars
Die Grundlage des Qualitätssystems. Jedes Audit, jeder Test und jede Verhaltensbewertung wird gegen Northstars geprüft.
Was sind Northstars?
Northstars
Sind explizite, auditierbare Regeln, die definieren, wie korrektes Agentenverhalten aussieht. Sie umfassen zwei Dimensionen: Verhaltensbezogene Northstars regeln, wie ein Agent kommuniziert und arbeitet – etwa Kommunikationsstil, Umgang mit Informationen, Reihenfolge der Tool-Nutzung und mehr. Geschäftliche Northstars sind operative Ergebnisse, für die der Agent verantwortlich ist – etwa Lösung beim Erstkontakt, Containment-Rate über Zielwert, korrekte Intent-Klassifizierung und mehr. Beide werden pro Agent definiert, gemeinsam mit den Workflows versioniert, die sie regeln, und automatisch sowie in großem Umfang gegen jede gesampelte Produktionssitzung ausgewertet.
Die Regeln, die Ihren Agenten steuern, stecken bereits in seinem Prompt und Workflow. Wir extrahieren sie automatisch als Northstars, jeweils rückverfolgbar bis zum Quell-Node – nichts wird von Hand zusammengestellt oder läuft aus dem Takt
Ein Northstar kann einer dieser Kategorien angehören
Notizen
Informationen, die der Agent während des gesamten Gesprächs behalten und anwenden muss – etwa den Namen einer Kundin oder eines Kunden bestätigen, bevor es weitergeht, eine zuvor geäußerte Präferenz festhalten oder Kontext über mehrere Gesprächsschritte hinweg mitführen.
Stil
Bestimmt Tonfall, Sprachregister und Persona des Agenten – etwa professionell, aber empathisch auftreten, direkt sein, ohne schroff zu wirken, Frustration niemals abtun.
Tool
Bedingungen, unter denen bestimmte Tools aufgerufen werden müssen – etwa immer die Abfrage ausführen, immer über das System verifizieren, niemals aus dem Gedächtnis zitieren.
Sequenziell
Erforderliche Reihenfolge der Schritte – etwa die Identität prüfen, bevor eine Kontoaktion erfolgt, oder eine Übergabe an einen Menschen erst nach einem zweiten gescheiterten Lösungsversuch anbieten.
Wirksame Northstars formulieren
Präzise und überprüfbar
Ein gut formulierter Northstar hat eine eindeutige Pass/Fail-Bedingung. „Bestätigen Sie stets die Frachtbriefnummer, bevor Sie einen Sendungsstatus mitteilen“ ist überprüfbar. „Sendungsanfragen gut bearbeiten“ nicht.
Kategorie zur Absicht passend wählen
Eine sequenzielle Regel, die als Stilregel formuliert ist, wird falsch bewertet. Geht es um die Reihenfolge der Schritte, gehört die Regel zu „Sequenziell“ – nicht zu „Notizen“ oder „Widerspruch“.
Priorität nach realer Geschäftswirkung setzen
Die Priorität bestimmt, worauf sich Ihr Team konzentriert, wenn Probleme auftreten. Vergeben Sie hohe Priorität nur für Regeln, bei denen ein Verstoß ein echtes operatives, Compliance- oder Reputationsrisiko birgt.
Beispiele frühzeitig ergänzen
Warten Sie nicht auf fehlgeschlagene Audits, um zu kalibrieren. Ergänzen Sie beim Anlegen jedes Northstars mindestens ein positives und ein negatives Beispiel. Der Evaluator nutzt sie ab dem ersten Audit.