Observabilidad en sistemas con IA: métricas que importan

Desplegar un modelo o un agente en producción es el comienzo, no el final. Sin observabilidad, no sabes si la calidad está decayendo, si los costes se disparan o si un cambio en los datos de entrada rompió el sistema en silencio.

Métricas técnicas: latencia p50/p95, tasa de error, tokens consumidos, coste por request, cola de inferencia. Métricas de negocio: tasa de resolución, satisfacción, conversión, tiempo ahorrado por proceso.

Para LLMs añadimos evaluación de calidad: muestras periódicas revisadas por humanos, benchmarks con preguntas de negocio y detección de respuestas fuera de política (PII, tono inadecuado, alucinaciones).

Las alertas deben ser accionables. No basta con umbral de error genérico: distinguimos degradación de retrieval, fallo de herramienta externa o drift en distribución de inputs.

Integramos OpenTelemetry, logs estructurados y dashboards ejecutivos para que equipos técnicos y de negocio compartan un lenguaje sobre el rendimiento del sistema.