rpi: бэкап OneDrive на HDD + SMART/бэкап-метрики через pushgateway на fr1

- servers/rpi.md: новая домашняя Raspberry Pi 4 (Trixie, cloud-init), HDD 4 ТБ,
  грабли с питанием двух HDD от USB
- stacks/rpi-backup: rclone sync с вечным архивом версий, еженедельная сверка
  хэшей, smartd, пуш SMART и статуса бэкапов
- fr1: pushgateway (127.0.0.1:9091), приём по SSH через forced command
  ~/bin/pushgw-ingest, алерты группы rpi

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

stacks/rpi-backup/bin/backup-metrics

@@ -0,0 +1,16 @@
+#!/bin/bash
+# backup-metrics <job> — из ExecStopPost юнита бэкапа: пушит итог прогона (job=backup_<name>).
+# last_success хранится локально: PUT в pushgateway заменяет группу целиком,
+# и после неудачи время последнего успеха иначе бы потерялось.
+set -uo pipefail
+job="$1"; state=/var/lib/backup-metrics; mkdir -p "$state"
+now=$(date +%s)
+code=${EXIT_STATUS:-1}; [ "${SERVICE_RESULT:-}" = success ] && code=0
+[ "$code" = 0 ] && echo "$now" > "$state/$job.success"
+last_ok=$(cat "$state/$job.success" 2>/dev/null || echo 0)
+metrics-push "$job" <<M
+# TYPE backup_last_exit_code gauge
+backup_last_exit_code $code
+backup_last_run_timestamp $now
+backup_last_success_timestamp $last_ok
+M

stacks/rpi-backup/bin/metrics-push

@@ -0,0 +1,7 @@
+#!/bin/sh
+# metrics-push <job> < metrics.prom — отправка в pushgateway на fr1.
+# На fr1 ключ привязан к forced command ~/bin/pushgw-ingest rpi: можно только запушить, больше ничего.
+exec ssh -i /etc/metrics-push/id_ed25519 \
+  -o UserKnownHostsFile=/etc/metrics-push/known_hosts -o StrictHostKeyChecking=yes \
+  -o BatchMode=yes -o ConnectTimeout=20 \
+  rus@161.97.93.252 "$1"

stacks/rpi-backup/bin/onedrive-backup

@@ -0,0 +1,30 @@
+#!/bin/bash
+# OneDrive -> /mnt/backup. Ничего не удаляется навсегда:
+#   current/          — точное зеркало OneDrive
+#   archive/<время>/  — всё, что в OneDrive удалили или перезаписали (хранится вечно)
+#   manifests/        — quickxor-хэши архивных файлов (для onedrive-verify)
+#   logs/             — журнал каждого прогона: какие файлы скачаны/изменены/убраны в архив
+set -euo pipefail
+ROOT=/mnt/backup/onedrive
+TS=$(date +%F_%H%M)
+
+mountpoint -q /mnt/backup || { echo "/mnt/backup не смонтирован — пропуск"; exit 1; }
+mkdir -p "$ROOT"/{current,archive,manifests,logs}
+LOG="$ROOT/logs/sync-$TS.log"
+
+# rclone сам сверяет хэш каждого скачанного файла с хэшем OneDrive
+rclone sync onedrive: "$ROOT/current" \
+  --backup-dir "$ROOT/archive/$TS" \
+  --exclude "/Personal Vault/**" \
+  --transfers 4 --checkers 8 \
+  --retries 5 --low-level-retries 20 \
+  --log-file "$LOG" --log-level INFO \
+  --stats 10m --stats-one-line
+
+if [ -d "$ROOT/archive/$TS" ]; then
+  rclone hashsum quickxor "$ROOT/archive/$TS" > "$ROOT/manifests/archive-$TS.qxh"
+  echo "в архив ушло: $(wc -l < "$ROOT/manifests/archive-$TS.qxh") файлов"
+fi
+
+echo "OK: current=$(du -sh "$ROOT/current" | cut -f1), диск занят на $(df --output=pcent /mnt/backup | tail -1 | tr -d " ")"
+[ "$(df --output=pcent /mnt/backup | tail -1 | tr -dc 0-9)" -lt 90 ] || { echo "ВНИМАНИЕ: диск заполнен >90%"; exit 2; }

stacks/rpi-backup/bin/onedrive-verify

@@ -0,0 +1,24 @@
+#!/bin/bash
+# Еженедельная проверка целостности: перечитывает весь HDD и сверяет хэши
+#   current/  — с хэшами OneDrive (ловит битые/недокачанные/лишние файлы)
+#   archive/  — с сохранёнными манифестами (ловит порчу данных на диске)
+set -uo pipefail
+ROOT=/mnt/backup/onedrive
+TS=$(date +%F_%H%M)
+LOG="$ROOT/logs/verify-$TS.log"
+mountpoint -q /mnt/backup || { echo "/mnt/backup не смонтирован — пропуск"; exit 1; }
+rc=0
+
+rclone check onedrive: "$ROOT/current" --exclude "/Personal Vault/**" \
+  --checkers 8 --combined "$ROOT/logs/verify-$TS.current.txt" \
+  --log-file "$LOG" --log-level NOTICE || rc=1
+
+for m in "$ROOT"/manifests/archive-*.qxh; do
+  [ -e "$m" ] || continue
+  d=$(basename "$m" .qxh); d=${d#archive-}
+  rclone checksum quickxor "$m" "$ROOT/archive/$d" --log-file "$LOG" --log-level NOTICE || { echo "архив $d: несовпадение"; rc=1; }
+done
+
+grep -vc "^=" "$ROOT/logs/verify-$TS.current.txt" | xargs echo "расхождений в current:"
+[ $rc -eq 0 ] && echo "OK: целостность подтверждена" || echo "ЕСТЬ РАСХОЖДЕНИЯ — см. $LOG и verify-$TS.current.txt"
+exit $rc

stacks/rpi-backup/bin/smart-metrics

@@ -0,0 +1,36 @@
+#!/bin/bash
+# SMART всех USB/SATA-дисков → pushgateway (job=smart).
+# -n standby: спящий диск НЕ будим (иначе опрос раз в 15 мин не дал бы ему спать) —
+# для него отдаём последние снятые значения из кэша и smart_disk_standby=1.
+set -uo pipefail
+CACHE=/var/lib/smart-metrics; mkdir -p "$CACHE"
+out=$(mktemp); trap 'rm -f "$out"' EXIT
+echo "# TYPE smart_disk_standby gauge" >> "$out"
+for dev in /dev/sd?; do
+  [ -b "$dev" ] || continue
+  json=$(smartctl -d sat -n standby,7 -j -H -i -A -l selftest "$dev"); rc=$?
+  serial=$(udevadm info -q property -n "$dev" | sed -n 's/^ID_SERIAL_SHORT=//p')
+  [ -n "$serial" ] || continue
+  f="$CACHE/$serial.prom"
+  if [ $rc -eq 7 ]; then
+    standby=1
+  else
+    standby=0
+    echo "$json" | jq -r --arg dev "${dev#/dev/}" '
+      (.model_name // "unknown") as $m | (.serial_number // "unknown") as $s |
+      "{model=\"\($m)\",serial=\"\($s)\",device=\"\($dev)\"" as $l |
+      "smart_health_passed\($l)} \(if .smart_status.passed then 1 else 0 end)",
+      "smart_temperature_celsius\($l)} \(.temperature.current // "NaN")",
+      "smart_power_on_hours\($l)} \(.power_on_time.hours // "NaN")",
+      (.ata_smart_self_test_log.standard.table[0]? // empty |
+        "smart_selftest_last_passed\($l)} \(if .status.passed then 1 else 0 end)"),
+      (.ata_smart_attributes.table[]? |
+        "smart_attribute_raw\($l),id=\"\(.id)\",name=\"\(.name)\"} \(.raw.value)",
+        "smart_attribute_value\($l),id=\"\(.id)\",name=\"\(.name)\"} \(.value)"),
+      "smart_last_read_timestamp\($l)} \(now|floor)"
+    ' > "$f.tmp" && [ -s "$f.tmp" ] && mv "$f.tmp" "$f"
+  fi
+  [ -f "$f" ] && cat "$f" >> "$out"
+  echo "smart_disk_standby{serial=\"$serial\",device=\"${dev#/dev/}\"} $standby" >> "$out"
+done
+metrics-push smart < "$out"