rpi: бэкап OneDrive на HDD + SMART/бэкап-метрики через pushgateway на fr1

- servers/rpi.md: новая домашняя Raspberry Pi 4 (Trixie, cloud-init), HDD 4 ТБ, грабли с питанием двух HDD от USB - stacks/rpi-backup: rclone sync с вечным архивом версий, еженедельная сверка хэшей, smartd, пуш SMART и статуса бэкапов - fr1: pushgateway (127.0.0.1:9091), приём по SSH через forced command ~/bin/pushgw-ingest, алерты группы rpi Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 13:28:20 +03:00
parent 3604e843c8
commit d1269162e7
20 changed files with 339 additions and 2 deletions
@@ -33,6 +33,22 @@ services:
      - '127.0.0.1:9093:9093'
    networks: [monitoring]

+  # pushgateway: метрики от хостов за NAT (rpi), которые не скрейпнуть.
+  # Порт только на 127.0.0.1 — пуш идёт по SSH через forced command ~/bin/pushgw-ingest
+  # (см. servers/fr1.md), наружу не торчит. Персистентность — чтобы рестарт не обнулял алерты.
+  pushgateway:
+    image: prom/pushgateway:latest
+    container_name: pushgateway
+    restart: unless-stopped
+    command:
+      - '--persistence.file=/data/metrics'
+      - '--persistence.interval=1m'
+    volumes:
+      - pushgateway_data:/data
+    ports:
+      - '127.0.0.1:9091:9091'
+    networks: [monitoring]
+
  grafana:
    image: grafana/grafana:latest
    container_name: grafana
@@ -93,6 +109,7 @@ services:
    networks: [monitoring]

 volumes:
+  pushgateway_data:
  prometheus_data:
  grafana_data:
  alertmanager_data:
@@ -35,3 +35,9 @@ scrape_configs:
  - job_name: openvpn
    file_sd_configs:
      - files: ["/etc/prometheus/targets/openvpn/*.yml"]
+
+  # honor_labels: сохраняем job/instance, с которыми хост запушил, а не pushgateway:9091
+  - job_name: pushgateway
+    honor_labels: true
+    static_configs:
+      - targets: ["pushgateway:9091"]
@@ -35,3 +35,67 @@ groups:
        labels: {severity: critical}
        annotations:
          summary: "КРИТИЧНО: диск почти полон на {{ $labels.instance }} ({{ $labels.mountpoint }}): свободно {{ printf \"%.0f\" $value }}%"
+
+  # Метрики от rpi приходят через pushgateway (SSH-пуш, см. servers/rpi.md).
+  # push_time_seconds — когда группа последний раз обновлялась.
+  - name: rpi
+    rules:
+      - alert: PushMetricsStale
+        expr: time() - push_time_seconds{job=~"smart|backup_.*"} > 3 * 3600
+        for: 10m
+        labels: {severity: warning}
+        annotations:
+          summary: "{{ $labels.instance }}: метрики {{ $labels.job }} не приходят {{ $value | humanizeDuration }} — хост/пуш лежит"
+
+      - alert: SmartHealthFailed
+        expr: smart_health_passed == 0
+        labels: {severity: critical}
+        annotations:
+          summary: "{{ $labels.instance }}: SMART FAILED на диске {{ $labels.model }} ({{ $labels.serial }}) — менять диск"
+
+      - alert: SmartBadSectors
+        expr: smart_attribute_raw{id=~"5|197|198"} > 0
+        labels: {severity: critical}
+        annotations:
+          summary: "{{ $labels.instance }}: {{ $labels.name }} = {{ $value }} на {{ $labels.model }} ({{ $labels.serial }}) — диск начал сыпаться"
+
+      - alert: SmartBadSectorsGrowing
+        expr: increase(smart_attribute_raw{id=~"5|197|198"}[1d]) > 0
+        labels: {severity: critical}
+        annotations:
+          summary: "{{ $labels.instance }}: {{ $labels.name }} растёт на {{ $labels.model }} — срочно вторую копию"
+
+      - alert: SmartUdmaCrcErrors
+        expr: increase(smart_attribute_raw{id="199"}[1d]) > 0
+        labels: {severity: warning}
+        annotations:
+          summary: "{{ $labels.instance }}: CRC-ошибки на {{ $labels.model }} — кабель/USB/питание"
+
+      - alert: SmartSelftestFailed
+        expr: smart_selftest_last_passed == 0
+        labels: {severity: critical}
+        annotations:
+          summary: "{{ $labels.instance }}: самотест SMART провален на {{ $labels.model }} ({{ $labels.serial }})"
+
+      - alert: SmartTemperatureHigh
+        expr: smart_temperature_celsius > 55
+        for: 15m
+        labels: {severity: warning}
+        annotations:
+          summary: "{{ $labels.instance }}: диск {{ $labels.model }} греется: {{ $value }}°C"
+
+      - alert: BackupFailed
+        expr: backup_last_exit_code != 0
+        labels: {severity: warning}
+        annotations:
+          summary: "{{ $labels.instance }}: {{ $labels.job }} завершился с кодом {{ $value }} — см. journalctl на хосте"
+
+      # sync каждые 4ч → 12ч = три пропуска подряд; verify раз в неделю → 8 дней
+      - alert: BackupStale
+        expr: |
+          (time() - backup_last_success_timestamp{job="backup_onedrive"} > 12 * 3600)
+          or (time() - backup_last_success_timestamp{job="backup_onedrive_verify"} > 8 * 86400)
+        for: 10m
+        labels: {severity: critical}
+        annotations:
+          summary: "{{ $labels.instance }}: {{ $labels.job }} не было успешного прогона {{ $value | humanizeDuration }}"
@@ -0,0 +1,10 @@
+#!/bin/sh
+# Forced command для пуш-ключей хостов за NAT (authorized_keys: command="~/bin/pushgw-ingest <instance>").
+# Клиент передаёт только имя job (ssh ... <job>), метрики — в stdin в text-формате Prometheus.
+# instance задаётся ключом, а не клиентом: хост не может писать метрики от чужого имени.
+instance="$1"
+job="$SSH_ORIGINAL_COMMAND"
+case "$instance" in ""|*[!a-z0-9_-]*) echo "bad instance" >&2; exit 2;; esac
+case "$job" in ""|*[!a-z0-9_]*) echo "bad job" >&2; exit 2;; esac
+exec curl -sS --fail-with-body --max-time 30 -X PUT --data-binary @- \
+  "http://127.0.0.1:9091/metrics/job/$job/instance/$instance"
@@ -0,0 +1,16 @@
+#!/bin/bash
+# backup-metrics <job> — из ExecStopPost юнита бэкапа: пушит итог прогона (job=backup_<name>).
+# last_success хранится локально: PUT в pushgateway заменяет группу целиком,
+# и после неудачи время последнего успеха иначе бы потерялось.
+set -uo pipefail
+job="$1"; state=/var/lib/backup-metrics; mkdir -p "$state"
+now=$(date +%s)
+code=${EXIT_STATUS:-1}; [ "${SERVICE_RESULT:-}" = success ] && code=0
+[ "$code" = 0 ] && echo "$now" > "$state/$job.success"
+last_ok=$(cat "$state/$job.success" 2>/dev/null || echo 0)
+metrics-push "$job" <<M
+# TYPE backup_last_exit_code gauge
+backup_last_exit_code $code
+backup_last_run_timestamp $now
+backup_last_success_timestamp $last_ok
+M
@@ -0,0 +1,7 @@
+#!/bin/sh
+# metrics-push <job> < metrics.prom — отправка в pushgateway на fr1.
+# На fr1 ключ привязан к forced command ~/bin/pushgw-ingest rpi: можно только запушить, больше ничего.
+exec ssh -i /etc/metrics-push/id_ed25519 \
+  -o UserKnownHostsFile=/etc/metrics-push/known_hosts -o StrictHostKeyChecking=yes \
+  -o BatchMode=yes -o ConnectTimeout=20 \
+  rus@161.97.93.252 "$1"
@@ -0,0 +1,30 @@
+#!/bin/bash
+# OneDrive -> /mnt/backup. Ничего не удаляется навсегда:
+#   current/          — точное зеркало OneDrive
+#   archive/<время>/  — всё, что в OneDrive удалили или перезаписали (хранится вечно)
+#   manifests/        — quickxor-хэши архивных файлов (для onedrive-verify)
+#   logs/             — журнал каждого прогона: какие файлы скачаны/изменены/убраны в архив
+set -euo pipefail
+ROOT=/mnt/backup/onedrive
+TS=$(date +%F_%H%M)
+
+mountpoint -q /mnt/backup || { echo "/mnt/backup не смонтирован — пропуск"; exit 1; }
+mkdir -p "$ROOT"/{current,archive,manifests,logs}
+LOG="$ROOT/logs/sync-$TS.log"
+
+# rclone сам сверяет хэш каждого скачанного файла с хэшем OneDrive
+rclone sync onedrive: "$ROOT/current" \
+  --backup-dir "$ROOT/archive/$TS" \
+  --exclude "/Personal Vault/**" \
+  --transfers 4 --checkers 8 \
+  --retries 5 --low-level-retries 20 \
+  --log-file "$LOG" --log-level INFO \
+  --stats 10m --stats-one-line
+
+if [ -d "$ROOT/archive/$TS" ]; then
+  rclone hashsum quickxor "$ROOT/archive/$TS" > "$ROOT/manifests/archive-$TS.qxh"
+  echo "в архив ушло: $(wc -l < "$ROOT/manifests/archive-$TS.qxh") файлов"
+fi
+
+echo "OK: current=$(du -sh "$ROOT/current" | cut -f1), диск занят на $(df --output=pcent /mnt/backup | tail -1 | tr -d " ")"
+[ "$(df --output=pcent /mnt/backup | tail -1 | tr -dc 0-9)" -lt 90 ] || { echo "ВНИМАНИЕ: диск заполнен >90%"; exit 2; }
@@ -0,0 +1,24 @@
+#!/bin/bash
+# Еженедельная проверка целостности: перечитывает весь HDD и сверяет хэши
+#   current/  — с хэшами OneDrive (ловит битые/недокачанные/лишние файлы)
+#   archive/  — с сохранёнными манифестами (ловит порчу данных на диске)
+set -uo pipefail
+ROOT=/mnt/backup/onedrive
+TS=$(date +%F_%H%M)
+LOG="$ROOT/logs/verify-$TS.log"
+mountpoint -q /mnt/backup || { echo "/mnt/backup не смонтирован — пропуск"; exit 1; }
+rc=0
+
+rclone check onedrive: "$ROOT/current" --exclude "/Personal Vault/**" \
+  --checkers 8 --combined "$ROOT/logs/verify-$TS.current.txt" \
+  --log-file "$LOG" --log-level NOTICE || rc=1
+
+for m in "$ROOT"/manifests/archive-*.qxh; do
+  [ -e "$m" ] || continue
+  d=$(basename "$m" .qxh); d=${d#archive-}
+  rclone checksum quickxor "$m" "$ROOT/archive/$d" --log-file "$LOG" --log-level NOTICE || { echo "архив $d: несовпадение"; rc=1; }
+done
+
+grep -vc "^=" "$ROOT/logs/verify-$TS.current.txt" | xargs echo "расхождений в current:"
+[ $rc -eq 0 ] && echo "OK: целостность подтверждена" || echo "ЕСТЬ РАСХОЖДЕНИЯ — см. $LOG и verify-$TS.current.txt"
+exit $rc
@@ -0,0 +1,36 @@
+#!/bin/bash
+# SMART всех USB/SATA-дисков → pushgateway (job=smart).
+# -n standby: спящий диск НЕ будим (иначе опрос раз в 15 мин не дал бы ему спать) —
+# для него отдаём последние снятые значения из кэша и smart_disk_standby=1.
+set -uo pipefail
+CACHE=/var/lib/smart-metrics; mkdir -p "$CACHE"
+out=$(mktemp); trap 'rm -f "$out"' EXIT
+echo "# TYPE smart_disk_standby gauge" >> "$out"
+for dev in /dev/sd?; do
+  [ -b "$dev" ] || continue
+  json=$(smartctl -d sat -n standby,7 -j -H -i -A -l selftest "$dev"); rc=$?
+  serial=$(udevadm info -q property -n "$dev" | sed -n 's/^ID_SERIAL_SHORT=//p')
+  [ -n "$serial" ] || continue
+  f="$CACHE/$serial.prom"
+  if [ $rc -eq 7 ]; then
+    standby=1
+  else
+    standby=0
+    echo "$json" | jq -r --arg dev "${dev#/dev/}" '
+      (.model_name // "unknown") as $m | (.serial_number // "unknown") as $s |
+      "{model=\"\($m)\",serial=\"\($s)\",device=\"\($dev)\"" as $l |
+      "smart_health_passed\($l)} \(if .smart_status.passed then 1 else 0 end)",
+      "smart_temperature_celsius\($l)} \(.temperature.current // "NaN")",
+      "smart_power_on_hours\($l)} \(.power_on_time.hours // "NaN")",
+      (.ata_smart_self_test_log.standard.table[0]? // empty |
+        "smart_selftest_last_passed\($l)} \(if .status.passed then 1 else 0 end)"),
+      (.ata_smart_attributes.table[]? |
+        "smart_attribute_raw\($l),id=\"\(.id)\",name=\"\(.name)\"} \(.raw.value)",
+        "smart_attribute_value\($l),id=\"\(.id)\",name=\"\(.name)\"} \(.value)"),
+      "smart_last_read_timestamp\($l)} \(now|floor)"
+    ' > "$f.tmp" && [ -s "$f.tmp" ] && mv "$f.tmp" "$f"
+  fi
+  [ -f "$f" ] && cat "$f" >> "$out"
+  echo "smart_disk_standby{serial=\"$serial\",device=\"${dev#/dev/}\"} $standby" >> "$out"
+done
+metrics-push smart < "$out"
@@ -0,0 +1 @@
+UUID=6eea3421-da3f-4a0f-b66d-26000b9a1b01 /mnt/backup ext4 defaults,noatime,nofail,x-systemd.device-timeout=30s 0 2
@@ -0,0 +1,7 @@
+# smartd: следит за всеми дисками (DEVICESCAN подхватит и второй диск после хаба).
+# -d removable — тип моста определяется сам; диска может не быть (не падать)
+# -n standby,q  — не будить спящий диск ради опроса
+# -s            — короткий самотест по субботам 03:00, длинный (~10ч на 4ТБ) 1-го числа в 05:00
+# -W 4,50,55    — фиксировать скачки температуры ≥4°, порог предупреждения 50, критичный 55
+# Почту не шлём (-m нет): тревоги идут через Prometheus на fr1 (smart-metrics → pushgateway).
+DEVICESCAN -d removable -a -o on -S on -n standby,q -s (S/../../6/03|L/../01/./05) -W 4,50,55
@@ -0,0 +1,14 @@
+[Unit]
+Description=OneDrive -> HDD backup (rclone)
+Wants=network-online.target
+After=network-online.target
+RequiresMountsFor=/mnt/backup
+
+[Service]
+Type=oneshot
+User=rus
+ExecStart=/usr/bin/flock /run/lock/onedrive-backup.lock /usr/local/bin/onedrive-backup
+ExecStopPost=+/usr/local/bin/backup-metrics backup_onedrive
+Nice=10
+IOSchedulingClass=idle
+TimeoutStartSec=infinity
@@ -0,0 +1,10 @@
+[Unit]
+Description=OneDrive backup every 4h
+
+[Timer]
+OnCalendar=*-*-* 00/4:30
+RandomizedDelaySec=5m
+Persistent=true
+
+[Install]
+WantedBy=timers.target
@@ -0,0 +1,14 @@
+[Unit]
+Description=OneDrive backup integrity check
+Wants=network-online.target
+After=network-online.target onedrive-backup.service
+RequiresMountsFor=/mnt/backup
+
+[Service]
+Type=oneshot
+User=rus
+ExecStart=/usr/bin/flock /run/lock/onedrive-backup.lock /usr/local/bin/onedrive-verify
+ExecStopPost=+/usr/local/bin/backup-metrics backup_onedrive_verify
+Nice=15
+IOSchedulingClass=idle
+TimeoutStartSec=infinity
@@ -0,0 +1,9 @@
+[Unit]
+Description=Weekly OneDrive backup integrity check
+
+[Timer]
+OnCalendar=Sun *-*-* 05:00
+Persistent=true
+
+[Install]
+WantedBy=timers.target
@@ -0,0 +1,8 @@
+[Unit]
+Description=Push SMART metrics to pushgateway on fr1
+Wants=network-online.target
+After=network-online.target
+
+[Service]
+Type=oneshot
+ExecStart=/usr/local/bin/smart-metrics
@@ -0,0 +1,9 @@
+[Unit]
+Description=SMART metrics push every 15 min
+
+[Timer]
+OnBootSec=2min
+OnUnitActiveSec=15min
+
+[Install]
+WantedBy=timers.target
				`@@ -0,0 +1 @@`
				`UUID=6eea3421-da3f-4a0f-b66d-26000b9a1b01 /mnt/backup ext4 defaults,noatime,nofail,x-systemd.device-timeout=30s 0 2`