Fixed
Resolved. All services have worked normally since 23:00 UTC on June 1.
Our first findings: routing inside our core network recalculated its paths, which made connections to some of our network sites unstable. The logs point to a software problem on one router. We restarted that router, which fixed the problem. We have asked the router's vendor for a deeper analysis, to prevent a repeat.
- Start: 21:30 UTC on June 1, 2021
- End: 23:00 UTC on June 1, 2021; Vancouver, Edmonton and Calgary were back by 22:44 UTC
- Cause: a software problem on one core router made connections inside our network unstable (first findings)
We apologize for the disruption.
Résolu. Tous les services fonctionnent normalement depuis 23 h UTC le 1er juin.
Nos premières constatations : le routage interne de notre cœur de réseau a recalculé ses chemins, ce qui a rendu instables les connexions vers certains de nos sites réseau. Les journaux indiquent un problème logiciel sur un routeur. Nous avons redémarré ce routeur, ce qui a réglé le problème. Nous avons demandé au fabricant du routeur une analyse plus poussée, afin d'éviter que le problème se reproduise.
- Début : 21 h 30 UTC le 1er juin 2021
- Fin : 23 h UTC le 1er juin 2021; Vancouver, Edmonton et Calgary étaient rétablis à 22 h 44 UTC
- Cause : un problème logiciel sur un routeur central a rendu instables les connexions dans notre réseau (premières constatations)
Nous sommes désolés des inconvénients causés.
Watching
Service has been restored in all locations since 23:00 UTC. We are looking into the cause.
Le service est rétabli à tous les endroits depuis 23 h UTC. Nous cherchons la cause.
Investigating
Our engineers have restored service in all locations except the Northwest Territories, where they are still working.
Nos ingénieurs ont rétabli le service à tous les endroits, sauf dans les Territoires du Nord-Ouest, où ils poursuivent leur travail.
Reported
We have connection problems with our network equipment in Vancouver, BC. Some PSTN calls are dropping in Vancouver, Edmonton, Calgary and the Northwest Territories. The problem began at 21:30 UTC. Our engineers are investigating.
Nous avons des problèmes de connexion avec notre équipement réseau à Vancouver (Colombie-Britannique). Certains appels RTPC sont coupés à Vancouver, Edmonton, Calgary et dans les Territoires du Nord-Ouest. Le problème a commencé à 21 h 30 UTC. Nos ingénieurs enquêtent.