Performance

La Performance désigne le système d'évaluation et d'audit à plusieurs niveaux qui définit ce qu'est un comportement correct pour un agent, vérifie en continu le comportement en production au regard de cette norme, détecte tôt les écarts et valide les changements en toute sécurité avant qu'ils n'atteignent vos clients. C'est ce qui distingue un pilote d'un déploiement de niveau production.

Le LLM-as-a-Judge est la méthodologie d'évaluation de HappyRobot pour noter automatiquement le comportement des agents au regard de normes définies. Elle atteint 85 à 90 % de concordance avec des évaluateurs humains experts, validée sur plusieurs benchmarks, avec une précision supérieure sur les évaluations binaires réussite/échec.

Pendant le développement, les équipes rédigent les indicateurs phares, les évaluations et les tests antagonistes avant de déployer. En production, les sessions en direct sont échantillonnées pour des audits comportementaux et audio, tandis que l'observabilité suit l'état de santé. Les défaillances génèrent de nouveaux tests de régression, les correctifs sont validés sur la suite complète et les audits confirment leur efficacité : la boucle est bouclée.

Avant le déploiement, les agents sont validés par des tests personnalisés, scénarios conçus manuellement avec comportements et appels d'outils attendus, qui valident les parcours prévus et les cas limites ; des tests de régression, construits directement à partir de conversations réelles de production, de sorte que chaque défaillance passée devienne un cas de test figé auquel toutes les versions futures sont confrontées ; et des tests antagonistes, où un utilisateur fictif animé par l'IA tente activement de mettre l'agent en défaut par injection de prompt, détournement de sujet ou tentative d'extraction de données. Les tests de bout en bout permettent également d'éprouver des workflows entiers. Rien n'atteint la production sans avoir passé cette suite complète.

Une fois en production, les sessions des agents sont échantillonnées et évaluées en continu au regard des normes définies par les indicateurs phares, à travers plusieurs types d'audits : les audits comportementaux, qui vérifient si l'agent a suivi la bonne séquence et évité ce qu'il devait éviter ; les audits audio, qui surveillent les métriques de qualité vocale comme le taux d'erreur sur les mots, la précision de la synthèse vocale (TTS) et la latence par composant ; les audits d'erreurs de nœuds, qui recensent les défaillances techniques de workflow ; et les signalements manuels, retours humains structurés issus de la relecture des transcriptions. Ensemble, ils confirment que l'agent reste performant à grande échelle, longtemps après le déploiement initial.