¿Qué riesgos tiene un agente de IA en una financiera y cómo se controlan?

1. ¿Y si el agente inventa o promete algo?

El riesgo: los modelos de IA pueden dar respuestas que suenan seguras y son falsas, o comprometer a la entidad con algo que no está autorizado (un descuento, una fecha, una condición).

El control: el agente responde sólo con información de tus sistemas y de documentos aprobados; si no tiene el dato, lo dice y escala. Las ofertas y montos salen de reglas y herramientas con validación, no de texto libre. Y se revisan muestras de conversaciones de forma periódica.

2. ¿Y si incumple una regla regulatoria?

El riesgo: contactar fuera de horario, presionar a una referencia, omitir la identificación, no canalizar una reclamación.

El control: las reglas duras se implementan como bloqueos técnicos antes de cada acción: el sistema no envía un mensaje de cobranza fuera de la ventana permitida aunque el agente lo intente. Las reglas de cobranza de CONDUSEF y la atención de reclamaciones están en cobranza con agentes y atención y UNE.

3. ¿Y si entrega datos a quien no debe?

El riesgo: que alguien que no es el titular obtenga el saldo, el domicilio o los documentos de un cliente.

El control: validación de identidad antes de cualquier dato personal, acceso mínimo por agente y por caso, credenciales que el modelo nunca ve, bitácora de cada consulta y datos que no entrenan modelos. Más en protección de datos.

4. ¿Y si alguien lo manipula?

El riesgo: textos diseñados para que el agente ignore sus reglas, revele información o ejecute una acción indebida; o un estafador que se hace pasar por la entidad usando el mismo canal.

El control: el agente sólo puede hacer lo que sus herramientas le permiten, con permisos mínimos y validaciones propias en cada herramienta. Las acciones sensibles requieren confirmación o una persona. Y del lado del cliente, la entidad comunica con claridad por qué canales oficiales opera su asistente y que nunca pedirá contraseñas.

5. ¿Y si falla sin que nadie se entere?

El riesgo: el más subestimado. Un agente que deja de responder, mensajes que no se entregan, una conexión caída con el core. Si nadie mira, el silencio se confunde con normalidad.

El control: vigilancia que mide en el canal y no en el servidor: si el agente contesta, si los mensajes llegan, si las herramientas responden. En InnovaBlack esto lo hace Synthetic OS, que intenta reparar la falla y, si no puede, avisa a una persona. Una vigilancia que no pudo revisar no debe reportar «todo bien».

6. ¿Y si nadie sabe quién responde?

El riesgo: el agente «es del proveedor», el proceso «es de cobranza» y la queja «es de la UNE»: cuando algo sale mal, nadie es dueño.

El control: un responsable interno con nombre para cada agente, reglas firmadas, freno accesible y revisión periódica. Lo detallamos en gobierno de agentes.

¿Qué riesgos no se eliminan del todo?

Ninguna combinación de controles hace a un agente infalible, igual que ninguna capacitación hace infalible a una persona. Lo que sí se logra es que los errores sean raros, se detecten pronto, se puedan reconstruir con evidencia y no se repitan. También hay riesgos de proyecto: elegir un proceso demasiado ambicioso al inicio, encender todo de golpe o dejar de revisar cuando todo parece ir bien. Se controlan con una implantación por tramos y operación continua (ver implantación paso a paso).

¿Qué preguntas hacer en el comité de riesgos?

• ¿Qué puede hacer el agente en nuestros sistemas y qué no?
• ¿Quién es su responsable y quién lo puede detener?
• ¿Cómo nos enteramos de una falla y en cuánto tiempo?
• ¿Qué evidencia tendríamos ante una queja o una visita de la autoridad?
• ¿Qué datos ve el agente y dónde se guardan?
• ¿Qué pasa si el proveedor deja de operar el servicio?

Respuestas cortas

¿Qué es la manipulación por instrucciones?

Es cuando alguien escribe al agente un texto diseñado para que ignore sus reglas, por ejemplo pidiéndole que «olvide sus instrucciones» o que revele datos de otro cliente. Se controla limitando lo que el agente puede hacer con herramientas y permisos, no sólo pidiéndole que no obedezca.

¿Cómo me entero si el agente falla de madrugada?

Con vigilancia que mide lo que realmente pasa en el canal: si el agente responde, si los mensajes llegan, si hay errores. Si algo se sale de lo normal, se intenta reparar de forma automática y, si no se puede, se avisa a una persona.