Agentes Adversariales
Agentes de IA que garantizan que tu agente está preparado para enfrentarse a inputs hostiles, manipuladores y fuera del guion en producción.
¿Qué son los agentes adversariales?
Agentes adversariales
Son usuarios simulados impulsados por IA que intentan activamente hacer fallar a tu agente. En lugar de probar cómo maneja tu agente entradas esperadas, las pruebas adversariales simulan interlocutores hostiles, manipuladores y fuera de guion. Esto incluye intentos de inyección de prompts, desvío de tema, anulación de instrucciones, extracción de datos, y más. Todo agente desplegado en un entorno real eventualmente se encontrará con un interlocutor que se resiste, pone a prueba los límites, o intenta deliberadamente subvertir la interacción. Los agentes adversariales simulan esa presión en una sesión aislada (sandbox) antes de que llegue a producción.
Configurar una prueba adversarial
Define el agente atacante
Escribe un prompt adversarial que especifique la persona, los objetivos y la estrategia de ataque del usuario simulado: inyección de prompts, desvío de temas, extracción de datos, manipulación y mucho más.
Ejecutar una sesión en entorno aislado
El sistema crea una conversación en vivo entre dos agentes: tu agente real frente al atacante simulado. Ambos conversan en tiempo real sin ningún impacto en clientes reales ni en datos en producción.
Evaluar frente a los northstars
Cuando finaliza la sesión, se ejecuta una auditoría de comportamiento completa frente a cada northstar. Los resultados muestran qué reglas se mantuvieron o se incumplieron bajo presión, con indicadores de éxito/fallo y sugerencias de corrección.
O ejecuta una suite de pruebas adversariales completa
Ejecución
Para una cobertura integral, puedes agrupar múltiples pruebas adversariales en una suite. Proporciona un prompt de generación que describa los escenarios de ataque a cubrir, define una cantidad de generación, y el sistema genera automáticamente un conjunto diverso de escenarios. Ejecuta la suite y da seguimiento a las tasas de éxito/fallo en cada prueba con un visor de progreso en tiempo real. Los resultados incluyen un visor de conversación en vivo, un gráfico de cobertura que muestra las diferentes rutas de prueba, y un desglose de auditoría por northstar con sugerencias de corrección.
