Estimado Cliente:
El martes 19 de enero, implementamos una actualización técnica a nuestro servicio de cancelación de comprobantes. Poco después del lanzamiento de esta actualización, nuestros sistemas de monitoreo comenzaron a alertar sobre una bajada en el rendimiento en nuestros sistemas de gestión de bases de datos, lo que afectó nuestros servicios de cancelación y de certificación de comprobantes.
Mientras identificábamos la causa del problema, el gestor de base de datos dejó de funcionar por completo y dado que se detuvo inesperadamente a su inicio realizó un proceso de validación de integridad sobre sus archivos y datos, mismo que tardó casi una hora en completarse.
El tiempo de inactividad total fue de 1 hora y 28 minutos y prevaleció entre las 16:57 y las 17:53.
Durante este tiempo, algunas de las solicitudes de certificación de comprobantes fallaron y necesitaban volver a intentarse.
Antecedentes técnicos
Después de nuestra investigación, logramos identificar qué fue lo que salió mal y por qué no lo detectamos durante nuestras pruebas:
La actualización incluye un nuevo proceso que realiza una consulta a una tabla de la base de datos.
En el ambiente de producción, esta tabla puede contener cientos de miles de registros, mientras que en el ambiente de pruebas apenas unos miles.
Dada esta diferencia de magnitud, la consulta se ejecutó dentro de nuestros márgenes aceptables de ejecución en el ambiente de pruebas, mientras que en producción llegó a bloquear el gestor de base de datos
Lo hemos mitigado retirando la actualización, que retomaremos posteriormente.
¿Qué medidas estamos tomando?
Estamos revisando y adecuando nuestro proceso de gestión de cambios, y aunque esa actividad puede requerir su tiempo, algunos ajustes serán implementados de inmediato.
Además ya estamos trabajando en cómo podemos capacitar de manera más amplia a nuestro equipo de soporte y cómo podemos organizarnos mejor para proporcionar información temprana y significativa, evitando al mismo tiempo la especulación cuando ocurran eventos de este tipo.
Finalmente, no podríamos lamentar más el tiempo de inactividad y su impacto sobre nuestros clientes. Podemos aprovechar problemas como este como una oportunidad para mejorar, y esto será así.
Gracias por su continuo apoyo a Sifei, estamos trabajando duro y haciendo inversiones significativas para asegurarnos de que estamos a la mejor disposición de la confianza que han depositado en nosotros.
Sinceramente,
El equipo de Sifei
