Incident du 31/03/2025
Dans le cadre de l’incident rencontré sur une partie de nos services hébergés en date du 31 Mars 2025, voici un compte rendu des actions qui ont été menées.
31/03/2025 à 13h44 : Nos serveurs de supervisions nous remontent une perte de continuité franche avec notre Datacenter de Lille.
31/03/2025 à 13h45 : Nous tentons de prendre la main sur un tronçon fibre optique de secours. Sans succès.
31/03/2025 à 13h50 : Nous déclarons un incident auprès de l’opérateur d’infrastructure du Datacenter.
31/03/2025 à 14h00 : Nous nous rendons au Datacenter pour lever le doute concernant nos équipements réseaux.
31/03/2025 à 14h10 : Nous commençons à contacter nos clients pour leur proposer une redirection des appels entrants des services de téléphonie hébergés vers un numéro de secours.
31/03/2025 à 14h30 : Notre diagnostic au Datacenter n’induit aucun problème côté équipement réseau ou électrique.
31/03/2025 à 14h40 : Nous relançons l’opérateur d’infrastructure qui nous confirme qu’une équipe est en route.
31/03/2025 à 15h00 : L’équipe de l’opérateur d’infrastructure arrive sur site.
31/03/2025 à 15h30 : Un point de coupure potentiel est détecté sur le tronçon fibre optique à 500 mètres des arrivées du Datacenter.
31/03/2025 à 16h00 : Après plusieurs investigations, le point de coupure n’est pas décelé physiquement.
31/03/2025 à 16h30 : De nouvelles recherches sont effectuées pour déceler les points de coupures sur le tronçon fibre optique.
31/03/2025 à 17h30 : Un nouveau point de coupure sérieux est détecté à 1,2 kms du Datacenter. L’équipe tente de trouver le point de coupure. Plus aucun contact ne nous est donné de l’opérateur d’infrastructure dès lors.
31/03/2025 à 21h30 : La continuité du tronçon fibre optique semble de nouveau assurée.
31/03/2025 à 21h45 : Nous constatons la remontée de l’ensemble de nos services hébergés.
31/03/2025 à 22h00 : Nous faisons un procès-verbal de recette du tronçon fibre optique principal.
31/03/2025 à 22h05 : Nous reprenons la main sur les sondes de supervision pour nous être alertés en cas de nouveau problème potentiel.
31/03/2025 à 22h10 : Nous stoppons les redirections d’appels pour les services de téléphonie hébergés pour l’ensemble des clients impactés.
31/03/2025 à 22h20 : Nous demandons à l’opérateur d’infrastructure de prévoir une nouvelle intervention afin de renforcer le lien fibre optique en dehors des heures ouvrées.
Incident du 01/04/2025
Dans le cadre de l’incident rencontré sur une partie de nos services hébergés en date du 01 & 02 Avril 2025, voici un compte rendu des actions qui ont été menées.
01/04/2025 à 11h40 : Nos serveurs de supervisions nous remontent une perte de continuité franche avec notre Datacenter de Lille.
01/04/2025 à 11h45 : Nous tentons de prendre la main sur un tronçon fibre optique de secours. Sans succès.
01/04/2025 à 11h50 : Nous déclarons un incident auprès de l’opérateur d’infrastructure du Datacenter.
01/04/2025 à 12h00 : Nous nous rendons au Datacenter pour lever le doute concernant nos équipements réseaux et accueillir (par anticipation) l’équipe d’intervention de l’opérateur d’infrastructure
01/04/2025 à 12h30 : Nous entamons par précaution une vague de migration manuelle des services hébergés de l’ensemble du parc client vers un second Datacenter. Cette migration manuelle est nécessaire due à la coupure nette du réseau de notre Datacenter Lillois avec le réseau Internet.
Nous proposons en parallèle à nos clients une redirection des appels entrants des services de téléphonie hébergés vers un numéro de secours.
01/04/2025 à 14h30 : 40% des services hébergés sont migrés vers un autre Datacenter. Les services hébergés pour plusieurs clients commencent à remonter.
Aucune nouvelle des équipes d’intervention de l’opérateur d’infrastructure, nous demandons une escalade dans le ticket de suivi.
01/04/2025 à 15h00 : L’équipe de l’opérateur d’infrastructure dit ne pas réussir à joindre notre équipe technique sur site. Nous faisons la démonstration que tout le monde est bien disponible physiquement et téléphoniquement.
01/04/2025 à 15h30 : 60% des services hébergés sont migrés vers un autre Datacenter.
01/04/2025 à 16h00 : Nous demandons une nouvelle escalade à l’opérateur d’infrastructure.
01/04/2025 à 16h30 : 70% des services hébergés sont migrés vers un autre Datacenter.
01/04/2025 à 17h30 : Nous atteignons le niveau d’escalade maximal chez l’opérateur d’infrastructure. Plus aucune communication ne sera faite avant le lendemain. Nous faisons constater l’ingérence de l’opérateur d’infrastructure par huissier de justice.
01/04/2025 à 19h00 : 85% de services hébergés sont migrés vers un autre Datacenter.
01/04/2025 à 22h00 : 95% des services hébergés sont migrés vers un autre Datacenter.
02/04/2025 à 00h10 : 100% des services hébergés sont migrés vers un autre Datacenter.
02/04/2025 à 07h00 : Nous relançons l’opérateur d’infrastructure pour savoir quand arrive l’équipe d’intervention sur place.
02/04/2025 à 07h50 : L’équipe d’intervention de l’opérateur d’infrastructure est sur site.
02/04/2025 à 8h00 : Nous ouvrons les portes du Datacenter aux équipes d’intervention de l’opérateur d’infrastructure.
02/04/2025 à 8h15 : L’équipe d’intervention détecte à nouveau un point de rupture de continuité à 1,2kms du Datacenter.
02/04/2025 à 09h00 : Le point de rupture n’est toujours pas trouvé précisément.
02/04/2025 à 10h30 : L’équipe d’intervention de l’opérateur d’infrastructure trouve le point de rupture. Les travaux de réparation démarrent.
Le tronçon fibre optique est écrasé. Cet évènement survient dans le cadre de travaux de voirie.
02/04/2025 à 11h30 : Nous constatons une remontée de continuité sur notre Datacenter Lillois.
02/04/2025 à 11h50 : La continuité et la connexion au réseau Internet est de nouveau fiabilisée pour notre Datacenter Lillois.
02/04/2025 à 12h00 : L’incident est considéré comme résorbé.
