Whaller Status

Postmortem: Chers utilisateurs,

Le 12 septembre 2024, un incident majeur a affecté notre plateforme, entraînant la suppression en masse d'environ 18 000 événements. Cet incident a été causé par un problème dans le traitement des événements suite à une mise en production.

Détails de l'incident :

Lorsqu'un événement était supprimé, une requête incorrectement implémentée a tenté de supprimer l'ensemble des événements dans la base de données. Heureusement, la suppression complète ne s'est pas produite grâce à un timeout, mais un grand nombre d'événements anciens ont été affectés.

Actions menées :

Dès que l'incident a été détecté via les logs, nos équipes ont rapidement déployé à 12h47 un correctif temporaire pour circonscrire le problème et stopper les suppressions en masse. Par la suite, nous avons réimporté les tables concernées pour restaurer les événements supprimés.

Enfin, un correctif final a été déployé à 13h50 pour résoudre définitivement le problème. Cependant, certains utilisateurs ont pu être affectés par des acceptations ou refus d'événements non liés, ce qui a également été corrigé.

Impact et rétablissement :

Bien que l'incident ait affecté un grand nombre d'événements, ceux-ci étaient principalement des événements anciens. Aucun événement récent n'a été supprimé. L'incident a été résolu et l'ensemble des fonctionnalités est désormais pleinement opérationnel. Nous avons également renforcé nos tests pour éviter que ce type d'incident ne se reproduise.

Nous nous excusons pour la gêne occasionnée et vous remercions de votre compréhension.

L'équipe Whaller

Resolved: L'incident est entièrement résolu.

Monitoring: Les événements supprimés ont été restaurés. Il s'agissait d'anciens événements (plusieurs années en arrière), l'impact utilisateur est donc réduit puisqu'a priori aucun événement en cours ou futur n'a été supprimé. Nous monitorons la production.

Identified: Nous avons identifié le problème qui est dû à une mauvaise implémentation de code qui a supprimé un grand nombre d'événements de la base de données. Les événements sont en cours de restauration.

Identified: Certains événements ont été supprimés.

Resolved: This incident has been resolved.

Identified: The issue has been identified and a fix is being implemented.