Governança de IA em serviços financeiros deixou de ser aspiração vaga e virou requisito operacional. A lacuna entre documentos de política e controles implementados é onde auditorias encontram problemas.
Risco de modelo aplicado a LLMs
Modelos de linguagem também são modelos sob a ótica de gestão de risco. Eles exigem inventário, uso pretendido, limitações, responsável, validação independente, monitoramento contínuo e documentação de mudanças materiais.
O desafio é que LLMs produzem texto. Por isso, cada aplicação precisa definir o que performance significa e quais mudanças em prompt, corpus de retrieval ou versão de modelo são materiais.
Gates de avaliação
Gates de avaliação bloqueiam deploy quando modelo ou prompt não atinge critérios definidos. Em um sistema jurídico, os critérios podem incluir acurácia de extração, taxa de recusa para entradas fora de escopo, consistência entre execuções e latência máxima.
Os números não são universais. Eles precisam ser negociados com risco, compliance e negócio a partir das consequências downstream de um erro.
Observabilidade
Sistemas de IA precisam de métricas em três camadas: infraestrutura, aplicação e governança. Além de latência e erros, é preciso monitorar versão de prompt, modelo, custo, cache, taxa de fallback, distribuição de resultados e uso de versões antigas.
Responsabilidade operacional
Governança real responde perguntas antes do incidente: quem aprova deploys, quem recebe alertas, quando um sistema é pausado, como overrides são registrados e como decisões passadas são reproduzidas.
Governança que nunca foi testada sob pressão pode não funcionar quando for necessária. A documentação deve ser curta, atual e verificável.