En todas las conversaciones que tengo con los líderes empresariales, dicen lo mismo. Quieren que los agentes hagan más, pero no confían en que siempre lo hagan bien.

Eso es justo. La misma creatividad y autonomía que hacen que los agentes sean útiles hace que sea difícil confiar en ellos. Asigne una tarea a un agente y este encontrará su propio camino para terminarla, eligiendo herramientas y secuenciando los pasos que ningún desarrollador haya programado. Ejecuta la misma tarea dos veces y es posible que tome una ruta diferente cada vez. Una prueba que se supera hoy nos dice poco acerca de lo que hará el agente mañana.

La respuesta habitual es que una persona esté al tanto de todo lo que haga el agente. Esto funciona a pequeña escala, pero a medida que los agentes asumen más trabajo, las aprobaciones humanas se acumulan y aumenta la fatiga de revisión. Las personas a las que se les pide que lo comprueben todo dejan de captar las cosas que importan. La cautela se convierte en un obstáculo, y los agentes capaces de hacer mucho más se quedan de brazos cruzados en la valiosa labor que podría tener un mayor impacto

.

La solución consiste en dejar que el agente actúe por sí solo cuando se puedan verificar sus acciones y reservar el juicio humano para tomar las decisiones que lo requieran. A medida que los agentes asumen tareas más arriesgadas, como las transacciones financieras, una acción equivocada se vuelve cada vez más perjudicial. Las organizaciones necesitan tener la confianza necesaria para encargar a un agente de IA una labor importante, sabiendo que se mantendrá dentro de los límites establecidos, incluso cuando nadie esté vigilando. Esa confianza debe fomentarse.

El filtrado, las pruebas y la supervisión del contenido cumplen una función importante, pero ninguna de estas funciones por sí sola puede garantizar que un agente se comportará correctamente la próxima vez que se ejecute. La confianza proviene de capas independientes que se refuerzan unas a otras, la misma disciplina estratificada que la industria ha practicado durante dos décadas como Defensa en profundidad, convertida en un nuevo propósito. Si bien Defense in Depth limita lo que puede salir mal, amplía lo que puedes permitir de forma segura. AWS lo llama Trust in Depth.

Confianza en profundidad: confianza que puede verificar

La confianza se genera al responder a una serie de preguntas en diferentes momentos del ciclo de vida del agente:

  • Alcance, antes de que se ejecute: ¿para qué sirve este agente, qué capacidades requiere el trabajo y qué es lo que nunca debe hacer?
  • En el momento de la implementación, sepa quién lo autorizó, qué identidad tiene y puede dar cuenta de todos los agentes que actúan en su nombre.
  • Obligado mientras esté en funcionamiento: ¿sus acciones se mantienen dentro de los límites que usted estableció? ¿Puede seguir haciendo su trabajo?
  • Observa, después de cada ejecución: ¿puedes reconstruir lo que hizo el agente y por qué, y aprender de ello?

En todas estas preguntas, algunos requisitos pueden expresarse como reglas precisas, mientras que otros requieren un juicio. Es posible que una empresa exija que solo un gerente pueda aprobar el acceso o que se bloquee el inicio de sesión de un empleado para poder compartir su buzón de correo. Otras expectativas, como mantener un tono amistoso o manejar una situación delicada de manera adecuada, dependen del contexto y del juicio humano

. En

el caso de las reglas definidas con precisión, las pruebas muestran si los controles funcionan en los casos previstos, pero un agente toma caminos que usted no utilizó. La tecnología que va más allá es el razonamiento automático, la lógica matemática que comprueba si una regla se cumple en todos los casos posibles. Con una descripción precisa del sistema y sus suposiciones, se puede establecer que una regla es válida en todos los caminos recorridos, o descubrir el caso exacto en el que falla. Ese resultado es una prueba de ello y solo es válido en la medida en que las reglas y suposiciones en que se basa, por lo que es más difícil trabajar antes de que el agente lo ejecute.

AWS lleva más de una década utilizando el razonamiento automatizado en producción, desde la gestión de identidades y accesos (IAM), con más de 2 100 millones de solicitudes por segundo, hasta sistemas críticos como el hipervisor Nitro de AWS, el Amazon S3 Block Public Access y el VPC Reachability Analyzer. Ahora se lo estamos ofreciendo a los agentes. Siempre que las reglas de un agente puedan establecerse con precisión, el razonamiento automatizado puede verificarlas.

Sin embargo, no todas las reglas se pueden establecer con precisión. Se puede demostrar que «solo un administrador puede aprobar el acceso». «Mantener un tono amistoso» no puede. Cuando la prueba no sea válida, limite el acceso y las acciones del agente, evalúe su comportamiento y transmita una ambigüedad genuina a la persona para que la juzgue. Otorgue más autonomía a medida que establezca que son

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.