Incident du 10/09/2025
Dans le cadre de l’incident rencontré sur une partie de nos services en date du 10 septembre 2025, voici un compte rendu des actions qui ont été menées.
DÉROULEMENT
EN DATE DU 10/09/2025
17h34 : Remontées d’alertes de multiples machines sur plusieurs baies à TH3
17h35 : Le défaut semble être localisé sur un ensemble de baies à TH3
17h37 : Une cellule de crise est montée avec différents services.
17h38 : Les commutateurs de deux baies redémarrent. Dans ces baies plusieurs services comme notre hyperviseur de VISP.
Notre VISP migre automatiquement sur TCO sur d’autres hyperviseurs, conformément à la redondance mise en place.
1,7% du parc de collectes Orange, SFR, Bouygues, KOSC ses sont déconnectés/reconnectés pour changer de collectes.
17h45 : La redondance de la plaque VOIP a permis de limiter l’impact. Seulement quelques appels n’ont pas abouti.
17h46 : Les commutateurs des deux baies sont de nouveaux fonctionnels.
17h50 : Les équipes des services SI, VOIP et Support contrôlent les différentes machines. Notre VISP reste indisponible.
17h55 : Une équipe s’occupe de basculer manuellement notre VISP.
18h35 : La VISP est maintenant fonctionnelle. Le contrôle global de nos services est terminé.
ENQUETE ET CONSTAT
Un crash logiciel sur plusieurs commutateurs Cisco a engendré le redémarrage automatique de ces commutateurs isolant deux baies du Datacenter TH3 (IDF).
Lors de ce redémarrage des défauts d’aboutissements sur des appels ont pu être observés, la majorité des appels ont automatiquement basculés sur d’autres machines VOIP de notre infrastructure.
Impact mineur sur quelques appels VOIP (problèmes d’aboutissements ponctuels).
Nous constatons que la majorité des routeur Pro by NK ont redémarré leur session sans difficulté.
ACTIONS ENGAGEES
- Reproduire le défaut en préprod sur les commutateurs pour établir un plan d’action afin de corriger le problème.
- Suivre l’ouverture du ticket Cisco.
Depuis mars, nous avons également mené une campagne importante de modification de nos infrastructures afin d’atteindre nos objectifs de qualité de service. Ces évolutions ont pu entraîner des impacts ponctuels et ciblés, qui peuvent expliquer une partie des derniers dysfonctionnements rencontrés sur les 12 derniers mois.
Ces évolutions restent cependant nécessaires et primordiales pour répondre durablement aux objectifs de fiabilité et de performance que nous nous sommes fixés.
Nous tenons à vous présenter nos excuses les plus sincères pour les impacts générés sur vos activités.
Soyez assurés que toutes les mesures nécessaires sont prises pour renforcer notre organisation et prévenir la répétition de ce type d’incident.
Nous restons à votre disposition pour toute question ou clarification.
