Calls failing across the network (core router failure) / Appels en échec sur l'ensemble du réseau (défaillance d'un routeur central)
Fixed
Post-incident report.
At 17:38 UTC on February 17 our main route reflector, a core router, stopped responding because of a hardware fault. At 18:05 UTC on February 17, after remote recovery failed, a technician was sent on site. Meanwhile, our engineers reconfigured another route reflector to carry part of the core traffic and some of our up-links and interconnections. Service was restored to all provinces at 19:48 UTC on February 17, except Quebec, where it was restored at 21:17 UTC on February 17.
We have route reflectors in several data centres for geographic redundancy, but some cross-connects and up-links were configured only on the one that failed. We are investigating the failure with our hardware vendor and are changing how our carrier interconnections and up-links are set up.
- Start: 17:38 UTC on February 17, 2020
- End: 19:48 UTC on February 17 for all provinces except Quebec; 21:17 UTC on February 17 for Quebec
- Cause: a hardware fault on our main route reflector
We apologize for the disruption.
Rapport post-incident.
À 17 h 38 UTC le 17 février, notre principal réflecteur de routes, un routeur central, a cessé de répondre en raison d'une défaillance matérielle. À 18 h 05 UTC le 17 février, après l'échec de la reprise à distance, un technicien a été dépêché sur place. Entre-temps, nos ingénieurs ont reconfiguré un autre réflecteur de routes pour acheminer une partie du trafic central ainsi que certaines de nos liaisons montantes et interconnexions. Le service a été rétabli dans toutes les provinces à 19 h 48 UTC le 17 février, sauf au Québec, où il a été rétabli à 21 h 17 UTC le 17 février.
Nous avons des réflecteurs de routes dans plusieurs centres de données pour assurer une redondance géographique, mais certaines interconnexions et liaisons montantes étaient configurées uniquement sur celui qui est tombé en panne. Nous analysons la défaillance avec notre fournisseur de matériel et modifions la configuration de nos interconnexions avec les fournisseurs et de nos liaisons montantes.
- Début : 17 h 38 UTC le 17 février 2020
- Fin : 19 h 48 UTC le 17 février dans toutes les provinces sauf le Québec; 21 h 17 UTC le 17 février au Québec
- Cause : une défaillance matérielle de notre principal réflecteur de routes
Nous sommes désolés des inconvénients causés.
Fixed
Resolved. PSTN connectivity in Montreal is restored, and all services are back online.
Résolu. La connectivité RTPC est rétablie à Montréal, et tous les services fonctionnent de nouveau.
Identified
Almost all services are back online, except PSTN calls in Montreal, QC. Our engineers are working to restore PSTN connectivity in Montreal.
Presque tous les services fonctionnent de nouveau, sauf les appels RTPC à Montréal (Québec). Nos ingénieurs travaillent à rétablir la connectivité RTPC à Montréal.
Identified
We are restoring services across our network. Some services are back online. We are still investigating the cause.
Nous rétablissons les services sur l'ensemble de notre réseau. Certains services fonctionnent de nouveau. Nous enquêtons toujours sur la cause.
Reported
We have a network problem that may be affecting calls. No restoration time yet.
Nous avons un problème de réseau qui pourrait toucher les appels. Aucune heure de rétablissement prévue pour le moment.