Rendimiento
Estándares medibles con los que se califica a cada agente, probados de forma exhaustiva antes del despliegue y auditados de forma continua en producción. Cada resultado, cada señal, retroalimenta el sistema en un ciclo continuo de automejora. Cada comprobación se evalúa por separado, así que una ejecución que llega al resultado correcto por la secuencia equivocada sigue suspendiendo.
Reserva una demoNorthstars
Métricas hacia las que los propios agentes se optimizan: cómo se comportan y los resultados de los que son responsables.
- Estándares de comportamientoEstilo de comunicación, expresiones que evitar, qué herramientas usar y en qué orden.
- Resultados de negocioTasa de resolución, condiciones de contención y escalado, medidos igual que el comportamiento.
- Extraído automáticamenteEjemplos reales de producción enseñan al evaluador qué es bueno y qué no, y la precisión mejora a medida que se revisan las sesiones.
Pruebas
Agentes y workflows completos probados de extremo a extremo antes de que nada llegue a producción.
- Pruebas adversariasUsuarios simulados con IA intentan romper tu agente mediante prompt injection, desvío de tema y extracción de datos.
- Pruebas personalizadas y de regresiónComprueba la respuesta exacta y las llamadas a herramientas que esperas, y convierte cada fallo en producción en un caso permanente.
- Pruebas de extremo a extremoEjecuta el workflow completo, desde el primer contacto hasta el resultado registrado, evaluando cada llamada a herramienta y cada verificación.
Producto fuera de garantía, el interlocutor pide una sustitución
Rechazar la sustitución y finalizar la llamada
Auditorías
Las sesiones en vivo se califican de forma continua, así los problemas afloran por sí solos y cada hallazgo alimenta un volante de inercia para que los agentes se automejoren.
- Auditorías de comportamientoUn juez de IA muestrea y califica las ejecuciones en vivo frente a tus northstars, con la frecuencia que tú establezcas.
- Seguimiento de erroresLos fallos técnicos se capturan y deduplican, con recuento de incidencias y enlaces a las sesiones afectadas.
- Monitorización de la calidad de vozCada sesión de voz se puntúa según la precisión de la transcripción, la calidad del habla, la fluidez de la conversación y la latencia.
Agentes que se automejoran
Cada resultado de auditoría y cada corrección humana se retroalimentan, de modo que los agentes proponen sus propias correcciones y nada cambia hasta que tú lo apruebas.
- Retroalimentación de ciclo cerradoUn pulgar arriba o abajo sobre cualquier resultado de auditoría se convierte en un ejemplo de calibración en el northstar correspondiente.
- Correcciones propuestasLos fallos de auditoría vuelven como cambios concretos: una edición de prompt, un nuevo northstar, una prueba de regresión.
- Pruebas A/B entre versionesReparte el tráfico de producción entre versiones y mide el impacto antes de desplegar un cambio de forma generalizada.
Optimizar para los resultados de mayor orden
Cohortes enteras vinculadas a unos pocos northstars clave, como el coste de servicio o la retención de clientes, en lugar de miles de agentes persiguiendo sus métricas individuales. Así la operación asciende hacia un máximo global en vez de quedar atrapada en óptimos locales dentro de silos.
Enterprise SuperintelligenceFAQs
Rendimiento es el sistema de evaluación y auditoría por capas que define cómo es el comportamiento correcto de un agente, verifica de forma continua el comportamiento en producción frente a ese estándar, detecta desviaciones de forma temprana y valida los cambios con seguridad antes de que lleguen a los clientes. Es lo que separa un piloto de un despliegue de nivel productivo.
LLM-as-a-Judge es la metodología de evaluación de HappyRobot para puntuar automáticamente el comportamiento de los agentes frente a estándares definidos. Alcanza entre un 85 y un 90% de alineación con revisores humanos expertos, validada en varios benchmarks, con mayor precisión en evaluaciones binarias de apto/no apto.
Durante el desarrollo, los equipos escriben northstars, evals y pruebas adversariales antes de desplegar. En producción, se muestrean sesiones en vivo para auditorías de comportamiento y de audio mientras la observabilidad vigila la salud del sistema. Los fallos generan nuevas pruebas de regresión, las soluciones se validan contra la suite completa y las auditorías confirman que la solución se mantiene, cerrando el ciclo.
Antes del despliegue, los agentes se validan mediante pruebas personalizadas, escenarios diseñados manualmente con comportamientos y llamadas a herramientas esperadas que validan los flujos previstos y los casos límite; pruebas de regresión, construidas directamente a partir de conversaciones reales de producción, de modo que cada fallo pasado se convierte en un caso de prueba fijo con el que se comprueban todas las versiones futuras; y pruebas adversarias, en las que un usuario simulado impulsado por IA intenta activamente romper al agente mediante prompt injection, desvío de tema o intentos de extracción de datos. Las pruebas de extremo a extremo también permiten probar workflows completos. Nada llega a producción sin superar este conjunto completo.
Una vez en vivo, las sesiones del agente se muestrean y evalúan de forma continua frente a los estándares de los northstars mediante varios tipos de auditoría: auditorías de comportamiento, que comprueban si el agente siguió la secuencia correcta y evitó lo que debía evitar; auditorías de audio, que vigilan métricas de calidad de voz como la tasa de error por palabra, la precisión del TTS y la latencia por componente; auditorías de errores de nodo, que registran los fallos técnicos del workflow; y marcas manuales, feedback humano estructurado procedente de la revisión de transcripciones. En conjunto confirman que el agente sigue rindiendo correctamente a escala, mucho después del despliegue inicial.
