En toda junta donde se habla de poner un agente a trabajar hay un momento en que alguien pregunta: «¿y si se equivoca?». Es la pregunta correcta. Y la respuesta no es «no se va a equivocar», porque se va a equivocar. La respuesta es qué pasa cuando lo haga.
Ya escribimos qué es un agente y cuánto cuesta. Este artículo es el que va entre los dos y la decisión de comprar: cómo se controla uno, cómo se sabe cuándo confiarle más, y qué no se le confía nunca.
La regla cabe en una línea
El agente prepara, la persona firma.
Todo lo que salga de tu empresa hacia un cliente, un proveedor o una autoridad pasa por alguien que se hace responsable. El agente lee el correo, busca en el histórico, arma la cotización y la deja lista. Una persona la mira y la manda. Si está mal, la corrige antes de que salga. Si está bien, pierde treinta segundos.
Eso no es desconfianza en la tecnología. Es la misma regla que ya aplicas con un empleado nuevo: las primeras semanas alguien revisa su trabajo antes de que llegue al cliente, y se le va soltando la mano conforme demuestra que no hace falta.
La diferencia con el empleado nuevo es que al agente se le puede medir con exactitud.
Qué se mide: cuántas veces lo corriges
El primer mes, el agente trabaja en modo borrador. Prepara todo, no manda nada. Y alguien lleva la cuenta de una sola cosa: de cada diez borradores, cuántos tuvo que corregir la persona antes de mandarlos.
Esa cuenta es la única señal honesta de si el agente está listo. No lo es la demostración del proveedor, que siempre sale bien, ni la opinión del que lo configuró, que tiene interés en que salga bien. Lo es la cantidad de veces que alguien de tu equipo, con el trabajo real de tu empresa, tuvo que meter mano.
Tres cosas que conviene dejar escritas antes de empezar a contar:
Qué cuenta como corrección. Cambiar un número de parte es una corrección. Cambiar un «estimado» por un «cordial saludo» no lo es. Si no se acuerda antes, la cuenta sale como quiera cada quien.
Quién lleva la cuenta. Una persona, con nombre. Casi siempre es la misma que hoy hace la tarea a mano, porque es la única que sabe cuándo algo está mal.
Qué número es «suficiente». Depende del costo del error. Para un borrador interno, una corrección de cada diez puede estar bien. Para algo que lee un cliente, probablemente quieras estar en una de cada cincuenta antes de pensar en soltar la mano.
Con esa cuenta semana por semana sale una curva. Si baja, el agente está aprendiendo de las correcciones o el proceso se está afinando, y en algún punto cruza el número que acordaste. Si no baja, el problema no está en el modelo: está en el dato que le das o en el proceso que le pediste seguir, y ahí no hay versión nueva del agente que lo arregle.
Cuándo se le suelta la mano, y para qué
Soltar la mano no es un interruptor que se prende para todo. Se suelta por tipo de tarea, y hay tareas para las que no se suelta nunca.
Se suelta primero lo que se puede deshacer. Un recordatorio a un proveedor que no confirmó una orden se puede mandar sin revisión desde temprano: si sale de más, el proveedor contesta «ya la confirmé» y no pasó nada. Clasificar correos, perseguir un certificado que falta, preparar la nota de entrega de turno para que el supervisor la corrija: todo eso vive bien sin firma.
Se suelta después lo que se ve. Un reporte interno, un resumen de la programación que cambió, una alerta de que una línea no va a cumplir. Si está mal, alguien lo nota antes de que cueste dinero.
No se suelta lo que compromete. Un precio a un cliente, una fecha de entrega, un movimiento en el inventario de comercio exterior, cualquier cosa que vaya a una autoridad. Eso lo firma una persona siempre, aunque el agente lleve un año sin equivocarse. No porque el agente sea malo, sino porque un precio es un compromiso comercial y una fecha es una promesa, y las promesas las hace alguien que responde por ellas.
Esta no es una regla que inventamos nosotros. Es la que están escribiendo quienes regulan esto. La ley europea de inteligencia artificial exige que los sistemas de riesgo alto puedan ser vigilados por personas mientras operan, con la posibilidad de ignorar su salida o detenerlos. Y el marco de gestión de riesgo del NIST, en Estados Unidos, parte de que el riesgo de un sistema se mide por lo que puede hacer, no por lo que dice saber. Si tu cliente está del otro lado del puente, ese es el lenguaje que su departamento de cumplimiento va a usar contigo tarde o temprano.
La trampa de que funcione bien
Hay un riesgo que aparece justo cuando el agente ya es bueno, y es el más difícil de ver.
Cuando algo acierta noventa y ocho veces seguidas, la persona que revisa deja de revisar. Firma sin leer. Es natural, y tiene nombre: sesgo de automatización. La ley europea lo menciona por su nombre entre las cosas que quien vigila un sistema tiene que saber que le puede pasar.
Lo que funciona contra eso no es pedirle a la gente que ponga más atención. Es diseñar la revisión para que no se pueda hacer sin mirar:
- El agente marca lo que no está seguro. Un número de parte que no encontró en el histórico, una cantidad que no coincide con el pedido anterior, un cliente nuevo. La persona revisa eso primero y con detalle, y lo demás con menos.
- Lo que cambió respecto al borrador anterior se muestra señalado, no hay que buscarlo.
- De vez en cuando, alguien que no es el revisor habitual toma diez borradores firmados y los vuelve a revisar. Si encuentra errores que pasaron, la firma se volvió trámite y hay que volver a apretar.
El día que se equivoca
Va a pasar. La pregunta es si te enteras tú o se entera tu cliente.
En 2024, un tribunal de Columbia Británica obligó a Air Canada a respetar un descuento que su asistente virtual le había prometido a un pasajero y que no existía. La aerolínea argumentó que el asistente era una entidad aparte, responsable de sus propias palabras. El tribunal no lo aceptó: el asistente estaba en la página de la aerolínea y la aerolínea respondía por lo que dijera. Era un chatbot que contestaba, ni siquiera un agente que hiciera cosas. Y aun así, lo que dijo fue un compromiso.
Tres cosas que hay que tener antes de encender nada, pensando en ese día:
Rastro. Cada cosa que el agente preparó, con qué datos la preparó y quién la firmó. Cuando algo salga mal, lo primero que vas a querer saber es si el agente se equivocó o si firmó alguien sin leer. Sin rastro, no hay forma de saberlo y la discusión se vuelve de opiniones.
Reversa. Qué se puede deshacer y cómo. Un correo mandado no se deshace, pero un registro creado sí, y una cotización mandada se puede corregir con una llamada si te enteras el mismo día. El diseño debería favorecer las acciones que se deshacen y poner firma a las que no.
Un dueño de las excepciones. El agente se va a atorar, y va a dejar cosas sin resolver. Alguien tiene que recibirlas, el mismo día, y no puede ser «el equipo». Es una persona, y son horas de su semana que hay que contar.
Lo que le das y lo que no
Un agente hace cosas en tus sistemas. Eso significa que tiene permisos, y los permisos son donde se decide cuánto daño puede hacer una equivocación.
La regla es darle solo lo que necesita para su tarea, y nada más. El agente que prepara cotizaciones lee el histórico y escribe borradores; no necesita poder borrar cotizaciones ni cambiar precios de lista. La comunidad de seguridad que mantiene la lista de riesgos más usada para estas aplicaciones le puso nombre a lo contrario: agencia excesiva, que es cuando un agente puede hacer más de lo que su trabajo pide, y por tanto cuando un error o un engaño le da acceso a más de lo que debía.
Y dos topes que ya mencionamos al hablar de costos, porque también son de control: un tope de intentos por tarea, para que un paso que falla no se repita para siempre, y un tope de gasto por día, para que nada pueda consumir tu mes en una tarde.
Seis preguntas para la junta con el proveedor
Si te están ofreciendo un agente, estas seis preguntas separan a quien ya ha puesto uno a trabajar de quien ha hecho una demostración.
- ¿Qué sale de mi empresa sin que una persona lo apruebe? Si la respuesta es «todo, para eso es», sigue preguntando. Si es «nada que comprometa un precio, una fecha o un registro oficial», van bien.
- ¿Cómo sé cuántas veces se equivoca? Debería haber una cuenta, en un lugar que puedas ver tú, no un reporte del proveedor.
- ¿Qué permisos necesita en mis sistemas, uno por uno? Y si piden acceso de administrador «para simplificar», no.
- ¿Qué queda registrado de cada cosa que hace? Y quién puede verlo.
- ¿Qué pasa cuando no puede resolver algo? A quién le llega, cómo, y en cuánto tiempo.
- ¿Cómo lo apago? Debería ser una acción de un minuto, no un ticket de soporte.
Por dónde empezar
Elige una tarea de volumen alto y riesgo bajo. La recepción de cotizaciones casi siempre gana, y ya contamos lo que cuesta. Ponla en modo borrador, nombra a quien revisa y a quien recibe las excepciones, y lleva la cuenta cuatro semanas.
Al final de las cuatro semanas tienes una curva y una decisión que no depende de nadie que te quiera vender algo. Y si la curva no baja, también lo sabes antes de haber comprometido el presupuesto.
Antes de eso, dos cosas que van primero: qué datos puedes mandar a un modelo y cuáles no, porque el agente va a leer tu información y hay cosas que no pueden salir de tu red. Y si todavía no tienes claro si esta es la pelea correcta, Chira te pregunta por tu operación en unos minutos y te dice, por escrito, si un agente va primero o si hay algo que arreglar antes.
Referencias
- Moffatt v. Air Canada, 2024 BCCRT 149 — la resolución del Tribunal de Resolución Civil de Columbia Británica, del 14 de febrero de 2024, que obligó a la aerolínea a responder por lo que dijo su asistente.
- Reglamento (UE) 2024/1689, artículo 14: supervisión humana — el texto oficial de la ley europea de inteligencia artificial. El artículo 14 pide que los sistemas de riesgo alto puedan ser vigilados por personas, que esas personas puedan ignorar o detener el sistema, y que sepan del sesgo de automatización.
- AI Risk Management Framework 1.0, NIST — el marco voluntario del gobierno de Estados Unidos para gestionar el riesgo de sistemas de IA, organizado en gobernar, mapear, medir y gestionar.
- LLM06:2025 Excessive Agency, OWASP — el riesgo de dar a un agente más permisos o más autonomía de los que su tarea necesita, y cómo acotarlo.
- Building effective agents, Anthropic — la guía de diseño donde se describe el patrón de que un agente se detenga en puntos de control a esperar a una persona.