Los deploys ML de alta confiabilidad difieren del MLOps común en un punto: el costo de un mal modelo en producción no es solo experiencia degradada, sino una decisión downstream incorrecta.
Arquitectura de pipeline
El pipeline de entrenamiento es un sistema de producción. Parámetros, versiones de dataset y configuraciones de preprocesamiento deben ser entradas explícitas. Pesos, preprocesadores, reportes y snapshots necesitan versionado de artefactos. La ejecución debe ser reproducible.
Kubeflow ofrece la orquestación. Cada paso debe correr en un contenedor aislado con dependencias fijas, y los artefactos intermedios deben guardarse en storage direccionado por contenido, como S3 o MinIO.
Gate de deploy
El paso de modelo entrenado a modelo desplegado es un gate. Compara resultados con umbrales, evalúa contra el modelo actual, revisa changelog y registra aprobación basada en una ejecución de evaluación.
Con ArgoCD y GitOps, la promoción ideal abre un PR cambiando la referencia del artefacto. El merge es el gate de aprobación y el deploy queda auditable.
Rollback
Rollback de modelo no es solo volver de versión. Es restaurar exactamente el artefacto anterior, identificado por hash, en minutos y sin nuevo entrenamiento. El procedimiento debe probarse periódicamente.
Monitoreo
Además de latencia y error, hay que monitorear distribución de predicciones, distribución de features y correlación con métricas de negocio. Antes del deploy, el equipo debe saber qué métrica señalará una falla silenciosa, en cuánto tiempo y para quién.