Мой личный склад идей

El error más caro que he observado en mi rol como director técnico Una vez, tuve que lidiar con las consecuencias de un error que le costó muy caro al negocio, y el análisis de las consecuencias tomó aproximadamente un año. Hoy compartiré las conclusiones que extraje de esa situación que ocurrió hace más de 10 años. Ley de Murphy: «Si algo puede salir mal, saldrá mal» ¿Alguna vez han experimentado que en la vida comienzan a suceder eventos sin relación entre sí, que por sí mismos no tienen consecuencias críticas, y cuya probabilidad es baja, pero que por alguna razón empiezan a ocurrir al mismo tiempo, como si estuvieran coordinados, y esto termina en una avalancha de problemas? Justamente esa avalancha de “casualidades” en mi experiencia llevó a que, en una empresa que ya contaba con varias decenas de miles de usuarios, en un hermoso día soleado se perdiera la base de datos de los últimos 3 meses. Todos los nuevos usuarios, todos los datos de los usuarios, todos los pagos y demás información se perdieron irremediablemente. Qué ocurrió Por razones obvias, no puedo revelar todos los detalles, pero en términos generales: el servidor en el que funcionaba el servicio perdió energía, y tras volver a encenderse, la base de datos instalada en ese servidor dejó de arrancar. Tras varios intentos fallidos de restaurar la base, se tomó la decisión de recuperarla desde una copia de seguridad reciente. La base se restauró, el servicio volvió a funcionar y… resultó que en la copia de seguridad “actual” no había datos de los últimos 3 meses. ¿Cómo sucedió esto? En ese momento, el sistema de copias de seguridad estaba configurado de la siguiente manera: la base de datos principal se mirroraba en una base de datos de respaldo en tiempo real, y diariamente se tomaba una copia de seguridad de esa base de respaldo. Y justo en esos 3 meses previos al incidente, el mecanismo de mirror de datos en la base de respaldo falló. Además, la base de respaldo en el sistema de monitoreo indicaba “todo OK, el mecanismo de sincronización funciona”, pero en realidad, los datos nuevos dejaron de llegar y quedó “congelada” en un estado. Como resultado, todas las copias diarias que se tomaban de ella ya no contenían datos actualizados. Consecuencias Por supuesto, para el negocio esto representó una gran pérdida de reputación: muchos usuarios perdieron todos sus datos de ese período. Se dedicó mucho tiempo y esfuerzo a comunicarse con los usuarios y a intentar recuperar al menos algunos datos. Se tardó casi un año en poder limpiar las secuelas de ese incidente — restaurar la confianza de los usuarios, estabilizar el producto y devolver el negocio a un estado operativo. Lecciones aprendidas Cuando me involucré en la tarea, mi principal objetivo era evitar que se repitiera una situación similar. El sistema de copias de seguridad fue completamente rediseñado: desde verificar que las copias se tomen al 100% con datos actualizados, hasta asegurar que las copias restauradas contengan datos precisos y actuales. Además, se contemplaron escenarios en los que el centro de datos donde se almacenan las copias de seguridad podría ser destruido por completo (aquí algunos ejemplos de que esto también puede suceder: https://habr.com/ru/news/546264/ y https://habr.com/ru/articles/954512/). Conclusiones La importancia de las copias de seguridad es difícil de sobreestimar, no en vano existe el dicho: las personas se dividen en tres categorías: los que aún no hacen copias de seguridad, los que ya las hacen, y los que verifican que las copias realizadas son efectivas. Pero en realidad, este error no fue técnico, sino de gestión. El problema no fue que no existiera respaldo, sino que nadie se preguntó: ¿qué pasaría si uno de los elementos de ese sistema dejara de funcionar sin que nos demos cuenta? Si al menos uno de los eventos en esa cadena hubiera sido previsto, las consecuencias podrían haberse minimizado o incluso evitado por completo.