Дашборды и оповещения — Примеры

Пример 1 — Оповещение о причине, на которую никто не может повлиять

Оповещение о высокой загрузке процессора хоста срабатывает несколько раз в неделю, и команда начала игнорировать уведомления; ни в одном из тех случаев ничего видимого пользователям не ломалось. Ниже — то правило, что сейчас в силе. Замените его оповещением о том, что испытывают пользователи, с порогом, выведенным из цели сервиса, а не из прошлонедельного графика.

оповещение: процессор хоста выше 80 процентов в течение 5 минут
владелец:   команда платформы
действие:   (не записано)

Решение

оповещение: запросы к checkout падают за пять минут больше 0,1 процента
владелец:   команда checkout
действие:   прочитать последний час развёртываний, затем откатить или исправить вперёд
не:         процессор выше 80 процентов где угодно

Оповещение теперь называет условие, которое испытывает пользователь, а порог берётся из отказа, который цель checkout уже допускает, а не из формы графика процессора, поэтому он переживает рост трафика. Процессор бывает высоким по хорошим причинам и низким, пока сервис падает, — поэтому правило о причине и потеряло доверие. Обычная ошибка — оставить оповещение о причине как запасное, что возвращает шум, который изменение убрало.

Пример 2 — Дашборд, который начинается с подробности

Дашборд ниже собрали во время инцидента из того, что было под рукой. Под давлением никто не может по нему в первые секунды сказать, здорова ли система. Перестройте его в слои и скажите, на что отвечает каждый слой.

дашборд "infra"
  host-1 cpu     host-2 cpu     host-3 cpu
  host-1 memory  host-2 memory  host-3 memory
  host-1 disk    host-2 disk    host-3 disk
  host-1 network host-2 network host-3 network

Решение

обзор    частота запросов, доля ошибок, длительность и насыщение — по панели на сигнал, все сервисы
         отвечает: что-то не так?
сервис   те же четыре для checkout, разбитые по маршруту
         отвечает: где?
детали   по инстансу и по маршруту, со ссылкой из слоя сервиса
         отвечает: какой инстанс, какой путь клиента?

Обзор отвечает на первый вопрос за секунды, а второй слой — на следующий, поэтому панели хостов становятся углублением, а не первой страницей. Четыре сигнала — частота, ошибки, длительность и насыщение — покрывают большинство инцидентов по каждому сервису, поэтому им и место наверху. Обычная ошибка — строить слой подробностей первым, потому что это данные, которые уже были.