Джерела алертів перетворюють сповіщення із зовнішнього моніторингу (UptimeRobot, Grafana, Sentry та інші) на звернення служби підтримки, які одразу входять в ескалацію. Аварія вночі не чекає до ранку - система сама сповіщає наступних осіб, аж поки хтось не візьметься за справу.
Джерела ви знайдете в модулі Автоматизація: Центр дій, Налаштування, секція Джерела алертів.
Як це працює
Кожне джерело має власний токен та адресу для надсилання алертів. Ви налаштовуєте їх раз:
- назва, наприклад “UptimeRobot продакшн”,
- деск, на якому мають створюватися звернення,
- політика ескалації - за нею система сповіщає після аварії (порожнє = звернення без ескалації).
У системі моніторингу ви встановлюєте вебхук на адресу джерела. Коли надійде алерт, створюється звернення із заголовком алерту і стартує ескалація. Крок політики з часом 0 надсилає сповіщення одразу, наприклад на канал Google Chat.
Дедуплікація та відкликання
Алерт може мати ключ (alert_key), наприклад ідентифікатор монітора. Доки звернення з цим ключем відкрите, наступні алерти з тим самим ключем не створюють дублікатів.
Коли моніторинг повідомить про кінець аварії, він надсилає відкликання з тим самим ключем - звернення закривається саме, а з ним і ескалація.
Добрі практики
- окреме джерело для кожної системи моніторингу - легше відрізати одне, коли воно заллє вас алертами,
- у політиці ескалації для аварій встановіть крок 0 хв з каналом конектор (Google Chat) - уся команда бачить аварію одразу,
- токен джерела тримайте як пароль; у разі витоку вимкніть джерело і створіть нове.