Метрика с вопросом
Выбирайте метрику под конкретный вопрос: отвечает ли сервис, сколько занимает операция и меняется ли число ошибок. Среднее значение полезно дополнять распределением.
На практикеСравнивайте сопоставимые интервалы. Изменение нагрузки часто объясняет колебания лучше, чем один отдельный график.
Журнал с контекстом
Запись об ошибке полезнее, если содержит время, имя операции и идентификатор запроса. Согласованный формат облегчает поиск связанных событий.
На практикеНе помещайте в журнал пароли, ключи и содержимое частных сообщений. Для диагностики обычно достаточно технического контекста.
Оповещение с действием
У оповещения должны быть понятная причина, получатель и первый шаг проверки. Срабатывание имеет смысл, когда за ним следует полезное действие.
На практикеПосле инцидента проверьте правило: обнаружило ли оно проблему вовремя и помогло ли выбрать следующий шаг.