La gobernanza de IA en servicios financieros dejó de ser una aspiración vaga y se convirtió en requisito operativo. La brecha entre políticas y controles implementados es donde aparecen los problemas de auditoría.
Riesgo de modelo aplicado a LLMs
Los modelos de lenguaje también son modelos desde la gestión de riesgo. Requieren inventario, uso previsto, limitaciones, responsable, validación independiente, monitoreo continuo y documentación de cambios materiales.
El desafío es que los LLMs producen texto. Cada aplicación debe definir qué significa performance y qué cambios en prompt, corpus o versión de modelo son materiales.
Gates de evaluación
Los gates bloquean deploys cuando modelo o prompt no cumplen criterios. En un sistema legal pueden incluir precisión de extracción, tasa de rechazo fuera de alcance, consistencia entre ejecuciones y latencia máxima.
Los umbrales no son universales. Deben negociarse con riesgo, compliance y negocio según las consecuencias de un error.
Observabilidad
Los sistemas de IA necesitan métricas de infraestructura, aplicación y gobernanza. Además de latencia y errores, hay que monitorear versión de prompt, modelo, costo, cache, fallback, distribución de resultados y uso de versiones antiguas.
Responsabilidad operacional
La gobernanza real responde antes del incidente: quién aprueba deploys, quién recibe alertas, cuándo se pausa el sistema, cómo se registran overrides y cómo se reproducen decisiones pasadas.
Gobernanza no probada bajo presión puede fallar cuando se necesita. La documentación debe ser breve, actual y verificable.