Northstars
Explizite, überprüfbare Regeln dafür, wie korrektes Verhalten aussieht. Einmal geschrieben, dann von jedem Test vor der Bereitstellung und jedem Audit danach genutzt. Ein Standard, in jeder Phase gleich durchgesetzt.
Demo buchenVerhaltensbezogene und geschäftliche Northstars
Zwei Dimensionen, nach demselben Maßstab bewertet. Verhaltensbezogene Northstars regeln, wie ein Agent kommuniziert, Informationen verarbeitet und Tools in Reihenfolge bringt; geschäftliche Northstars sind die Ergebnisse, für die er verantwortlich ist, etwa Erstkontaktlösung, Containment, korrekte Intent-Klassifizierung.
Adresse vor der Terminvereinbarung bestätigt
Sequenziell
Adresse um 01:58 wiederholt. Zeitfenster um 02:10 angeboten.
Beim Erstkontakt gelöst
Geschäftsergebnis
Der Anrufer wurde nach der Deckungsprüfung an eine Person weitergeleitet.
Fünf Kategorien
Jeder Northstar gehört zu einer Kategorie, damit der Evaluator weiß, wie er ihn prüfen muss: Informationen, die der Agent mitführen muss, Ton und Register, wann ein Tool ausgelöst werden muss, erforderliche Reihenfolge der Schritte und Grenzen, die er nie überschreiten darf.
- NotizenInformationen, die der Agent während der gesamten Konversation behalten und anwenden muss.
- StilTon, Register und Persona: professionell, aber empathisch, direkt ohne schroff zu sein.
- ToolBedingungen, unter denen ein bestimmtes Tool aufgerufen werden muss, etwa immer über das System zu verifizieren.
- SequenziellErforderliche Reihenfolge der Schritte, etwa die Identitätsprüfung vor jeder Kontoaktion.
- WiderspruchAbsolute Grenzen, die der Agent niemals überschreiten darf, unabhängig vom Kontext als Fehler bewertet.
Automatische Extraktion
Die Regeln, die Ihren Agenten steuern, stecken bereits in seinem Prompt und Workflow, daher werden sie automatisch als Northstars extrahiert, jeder rückverfolgbar bis zum Node, aus dem er stammt. Das heißt, nichts wird zweimal geschrieben und nichts gerät aus dem Takt.
Adresse vor der Buchung bestätigen
Mit Beispielen kalibriert
Jeder Northstar enthält positive und negative Beispiele, die dem Evaluator zeigen, wie gut und schlecht tatsächlich aussehen. Ein Daumen hoch oder runter zu einem Audit-Ergebnis wird zu einem weiteren Beispiel, sodass die Genauigkeit im laufenden Betrieb steigt.
Keine konkreten Preisangaben
Nennen Sie im Gespräch niemals einen Reparaturpreis.
Wirksame Northstars formulieren
Präzise und überprüfbar formulieren, Kategorie an die Absicht anpassen und Priorität nach Wirkung setzen.
- Präzise und überprüfbar formulieren„Bestätigen Sie stets die Frachtbriefnummer, bevor Sie den Sendungsstatus mitteilen“ ist überprüfbar. „Sendungsanfragen gut bearbeiten“ nicht.
- Kategorie an die Absicht anpassenEine Regel zur Reihenfolge der Schritte gehört zu Sequenziell. Als Stil formuliert, wird sie falsch bewertet.
- Priorität nach WirkungReservieren Sie hohe Priorität für Verstöße mit echtem operativem, Compliance- oder Reputationsrisiko.
- Beispiele früh hinzufügenFügen Sie beim Anlegen je ein positives und ein negatives Beispiel hinzu. Der Evaluator nutzt sie ab dem ersten Audit.
FAQs
Nein. Die Regeln, die einen Agenten steuern, existieren bereits in seinem Prompt und Workflow, daher werden sie automatisch als Northstars extrahiert, jeder rückverfolgbar bis zum Node, aus dem er stammt. Sie prüfen und verfeinern, statt mit einer leeren Liste zu beginnen, und weil jede Regel ihre Verbindung zur Quelle behält, entfernt sich der Standard nicht von dem Agenten, den er steuert.
Ein Northstar ist der Standard; ein Test ist ein Szenario, das dagegen ausgeführt wird. Ein Northstar besagt: „Niemals über der Preisobergrenze anbieten.“ Ein Test konstruiert ein Gespräch, in dem ein Frachtführer auf mehr drängt, und prüft, ob der Agent standgehalten hat. Eine Regel kann durch viele Tests geprüft werden, und dieselbe Regel ist es, die Audits in der Produktion bewerten.
Northstars werden gemeinsam mit den Workflows versioniert, die sie steuern, sodass eine Änderung am Agenten und eine Änderung am Standard zusammen statt getrennt erfolgen. Weil jeder Northstar bis zu seinem Quell-Node zurückverfolgt wird, lässt sich eine Regel, deren zugrunde liegende Prompt-Logik sich geändert hat, erkennen, statt still gegen ein Verhalten zu bewerten, das der Agent nicht mehr hat.
Es gibt keine Zielzahl. Entscheidend ist die Abdeckung: ob die Verhaltensweisen mit operativem, Compliance- oder Reputationsrisiko jeweils eine Regel mit klarer Bestehensbedingung haben. Die Abdeckung wird an den tatsächlichen Entscheidungspfaden des Agenten gemessen, die Antwort hängt also davon ab, wie viel der Agent tut und wie viel davon folgenreich ist.
Pro Agent und versioniert mit dem Workflow dieses Agenten, sodass ein Agent für Forderungsmanagement und ein Agent für Disposition nicht an den Regeln des jeweils anderen gemessen werden. Wo ein Standard tatsächlich gemeinsam gilt, etwa Zugangsdaten niemals laut vorzulesen, lässt sich dieselbe Regel über Agenten hinweg anwenden und wird so an einer Stelle geschrieben und gepflegt.
