Что случилось 16.07.2015 с Казнетом?

3:26 Проснулся рано, сегодня ответственный день, необходимо изъять сервер из датацентра для проведения полной профилактики.

3:32 Проверил как идёт перенос основных ресурсов. Всё по плану. Специалисты не спали всю ночь, но ночь это единственное время, когда нет большой нагрузки на сервер и можно всё перенести вполне безболезненно.

5:20 Контрольная сверка. Данных накопилось много, к тому же на исходном сервере барахлили жёсткие диски. Перенос затягивается.

6:37 Перенос закончен. Остаётся проверить целостность данных и «потушить» сервер.

7:42 Отзвонился Азиз. Данные перенесены корректно, можем ехать забирать сервер. Голос у него уставший, чувствуется ночь напряженной работы. Надо было проделать кое какие бюрократические процедуры в офисе датацентра. У них рабочий день с 10 утра, документы будут готовы не раньше 11. Отправил Азиза спать до 12. Сам взялся за гантели.

8:27 Звонок с парковочной станции. Контролёры не могут получить доступ к своим аккаунтам. Проверяю работу парковочной системы – не отвечает. Провожу проверку всех остальных сервисов – тишина. Что то случилось с сервером? Перенос прошел неудачно? Резервный сервер не выдержал нагрузки? Собираюсь набрать Азиза и разбудить его. На всякий случай проверяю сайт хостинг-провайдера www.ps.kz – отключен. Проверяю своих «соседей» по датацентру www.kolesa.kz, www.krisha.kz – молчат. Проблемы в датацентре. Пусть Азиз высыпается.

8:42 Звонок от Азиза. 1/3 Казнета отключена ему названивают клиенты, друзья, партнёры все хотят знать почему не работают их сайты и SaaaS сервисы. Отключен Chokolife значит не только в нашем датацентре, но и во всем здании Транстелекома. Азиз просит узнать настоящую причину. По инету ползут слухи о теракте и прочая ерунда. Обещаю отзвониться, как всё выясню.

8:43 Никуда не звоню. По опыту знаю, что сейчас у всей команды Интернет компании PS шквал звонков, ответ скорее всего будет стандартным и реальной картины происходящего не даст. Так же знаю, что все технические специалисты во главе с директором подняты по тревоге и сейчас делают всё, чтобы как можно скорее запустить серверы, звонить им – значит отвлекать от работы и создавать дополнительную нервозность. Возвращаюсь к гантелям.

9:47 Звоню Киту (Никита Красулин директор хостинг-провайдера). Говорим коротко и по делу. Причина аварии устранена, последствия будут исправлены в течении часа максимум двух. Голос спокойный и уверенный, значит всё под контролем.

11:10 Заработали сайты.

11:15 Запустилась система информационной безопасности SAFI.

11:22 Полностью восстановлена работа парковочной системы.

11:35 Полная проверка работоспособности всех наших сервисов. Всё в порядке, сбоев нет, целостность данных не нарушена. Параллельно мониторю «соседей» - kolesa.kz всё ещё «лежат».

12:20 В офисе датацентра. На удивление тихо и спокойно. Выясняем, что ещё час назад здесь был настоящий ад. Все звонки из датацентра, где располагается техподдержка, были переведены в офис в отдел продаж. Все менеджеры, поднятые по тревоге, были на свих местах уже через полчаса после аварии и приняли на себя основную «атаку» клиентов. Таким образом «технари» были освобождены от звонков и могли сосредоточится на устранении неполадок.

12:51 Датацентр. Обычно здесь пусто, но в этот раз было несколько человек. Все действовали без суеты, но достаточно быстро. Мы тоже не стали возится. Сервер «потушили» с мобильного, поднимаясь по лестнице. Вытащили из стойки и направились к выходу.

13:07 У выхода из здания произошла заминка, охрана тщательно проверяла документы. Тут то всё и выяснилось. Со слов очевидца произошло следующее:

В 8:10 пропало напряжение во всей системе электроснабжения датацентра. При этом в центральной электросети напряжение осталось. Таким образом получалось, что во всём здании свет был, а в датацентре нет, что само по себе нонсенс, потому что должно быть наоборот.

Электроснабжение в датацентре построено таким образом, что при любых ситуациях электричество в него должно поступать. В случае отключения электроснабжения в датацентре запускается дизельный электрогенератор и серверная обеспечивается напряжением автономно от всего здания.

Причиной аварии стала сама система защиты от сбоев электроснабжения. Источник бесперебойного питания обеспечивает непрерывность подачи электричества в момент перехода от центрального электроснабжения к автономному. Именно он и вышел из строя.

1/3 Казнета исчезла в один миг из за обычного UPSа.

За час UPS починили, на устранение последствий ушло ещё 2 часа.

На момент когда мы вышли из здания датацентра, Казнет уже жил обычной жизнью.

14:36 Начали профилактические работы по серверу. Жёсткие диски идут на замену. Причина быстрого износа – отсутствие кэша в контроллере.

15:10 Заказали новый контроллер на eBay.

18:30 В Казнете все успокоилось, серьёзных последствий нет. Вышла официальная версия произощедшего https://www.ps.kz/news/accident-in-transtelekom с показаниями свидетелей совпало. Ещё разок по гантелям и можно со спокойной душой идти спать.

17.07.2015

3:47 Подъём, сегодня ответственный день. Обещал друзья написать статью о произошедшем в Казнете.

3:52 Выбрал стиль личного дневника, для описания событий.