diff --git a/servers/fr1.md b/servers/fr1.md index 15f07bb..d7383af 100644 --- a/servers/fr1.md +++ b/servers/fr1.md @@ -298,3 +298,5 @@ backend=systemd banaction=ufw ## Установленные пакеты (сверх базы) htop, mtr-tiny, tmux, vim, curl, wget, git, unzip, net-tools, dnsutils, ncdu, rsync, fail2ban, unattended-upgrades, sysstat. + +- Исправление ложного PushMetricsStale подготовлено в infra 2026-10-11: правило `stacks/monitoring/prometheus/rules/alerts.yml` ограничено job=smart (было smart|backup_.* с порогом 3 ч для всех). backup_servers успешно завершился на rpi в 15:14, итог отправляется раз в сутки после прогона, поэтому алерт в 18:24 был ложным. Свежесть backup_* остаётся под BackupStale/BackupNeverReported с отдельными интервалами. ⚠️ Изменение пока только в репозитории: агенту fr1 требуется проверить правила promtool, установить alerts.yml и reload Prometheus; с rpi административного доступа к fr1 нет. Не перепушивать старые результаты ради исчезновения алерта. diff --git a/servers/rpi.md b/servers/rpi.md index 5ee88c5..fd5c571 100644 --- a/servers/rpi.md +++ b/servers/rpi.md @@ -179,3 +179,5 @@ Docker CE 29.9 + Compose v5.6 из репо download.docker.com (в Debian ст - ⏳ Определить хранение входящих фото: сейчас автоматически не удаляются ради ссылок в старых тредах; очередь сообщений только в памяти и теряется при перезапуске. - Медиацентр: проброс 6881 tcp/udp на роутере (раздача/скорость); пароль SFTP роутера слабый (только LAN) — сменить; Kinozal и OpenSubtitles — аккаунты пользователя; решить про автообновление образов. + +- Ложный алерт PushMetricsStale для backup_servers разобран 2026-10-11: live Result=success, завершение 15:14:12, ExecStopPost завершён 15:14:15, локальный backup_servers.success есть; SMART и router-watch успешно пушат, health fr1 видит свежие метрики. Ошибка в правиле fr1: общий порог 3 ч применялся к дневному бэкапу. В infra подготовлено ограничение PushMetricsStale на job=smart; BackupStale/BackupNeverReported сохранены. Применение/reload выполняет агент fr1; сами бэкапы не перезапускались. diff --git a/stacks/monitoring/prometheus/rules/alerts.yml b/stacks/monitoring/prometheus/rules/alerts.yml index b71a1c1..cad0b3c 100644 --- a/stacks/monitoring/prometheus/rules/alerts.yml +++ b/stacks/monitoring/prometheus/rules/alerts.yml @@ -38,10 +38,12 @@ groups: # Метрики от rpi приходят через pushgateway (SSH-пуш, см. servers/rpi.md). # push_time_seconds — когда группа последний раз обновлялась. + # SMART отправляется каждые 15 минут. Итог backup_* — только после прогона; + # свежесть бэкапов проверяется BackupStale/BackupNeverReported по расписанию. - name: rpi rules: - alert: PushMetricsStale - expr: time() - push_time_seconds{job=~"smart|backup_.*"} > 3 * 3600 + expr: time() - push_time_seconds{job="smart"} > 3 * 3600 for: 10m labels: {severity: warning} annotations: