Newer
Older
gnexus-book / 10-systems / services / hard-panel.md

owner: gmikcon status: active last_reviewed: 2026-10-11 review_interval: 90d confidence: high

source_of_truth: deployment-verified

hard-panel (GHard Monitor)

Панель мониторинга серверов: приём метрик от агентов hard-monitor, SQLite, ивенты, алерты, веб-интерфейс (Vue 3 + gnexus-ui-kit + chart.js). С версии 2026-09-11 — мониторинг сетевых дисков (NFS-шары через os.statvfs). С версии 2026-10-04 (b6080d0, v1.30.0) — gnexus-auth (OAuth PKCE), health-чекер сервисов, журнал событий, интеграция с Gnexus Synapse, i18n (en/uk/ru), MCP-промпт agent_guide. С 40a8810 — персональные MCP-ключи. С c11cd47 — PWA (манифест, service worker) и MCP-тулы управления (создание/удаление серверов и сервисов). С 2026-10-05 панель закрыта за gnexus-auth (OAuth PKCE) и опубликована публично как https://hpanel.gnexus.space (nginx на .226, /mcp закрыт 403 на прокси). С 2026-10-07 Synapse-репортер включён — события панели доставляются в Navi rei через s2s. С 2026-10-10 в health-чекере 7 сервисов (добавлен jellyfin). С 2026-10-11 — 8 сервисов (добавлен nextcloud). С f14fb26 (2026-10-10) — разряжение истории метрик по возрасту с дайджестом бакета (полоса min–max на графиках сервера), журнал событий хранится год вместо 90 дней, разовый VACUUM файла БД.

  • Репозиторий: https://git.gnexus.space/root/hard-panel (ветка master)
  • Хост: VM service на hp-proliant-dl380-g6, адрес 192.168.1.176
  • SSH: root / пароль в gnexus-creds (секрет hard-panel (192.168.1.176)), также ubuntu с тем же паролем
  • ОС: Ubuntu 22.04.5 LTS, 4 GB RAM, 31 GB диск

Панель

  • Docker Compose: /opt/hard-panel/docker-compose.yml, контейнер ghard-panel
  • Порт: 8000 (HTTP, без TLS — доступ только из LAN)
  • Конфиг: /opt/hard-panel/.env (GHARD_ADMIN_TOKEN, GHARD_DATABASE_PATH=/data/hard-panel.db, GHARD_OFFLINE_MULTIPLIER=3, GHARDAUTH — OAuth gnexus-auth, GHARDSYNAPSE — репортер событий в Synapse)
  • Данные: docker volume panel-data (SQLite, WAL)
  • Health: http://192.168.1.176:8000/api/v1/health → {"status":"ok"} (остаётся открытым без сессии)
  • UI: https://hpanel.gnexus.space/ (публично через nginx .226 + TLS; вход через gnexus-auth OAuth PKCE) / http://192.168.1.176:8000/ (LAN)
  • API: http://192.168.1.176:8000/docs (OpenAPI)
  • MCP: http://192.168.1.176:8000/mcp (streamable HTTP; читающие тулы panel_overview, server_details, server_history, services_overview, service_incidents, events_recent; записывающие server_create/server_delete/service_create/service_delete, rate-limit ≤20 записывающих вызовов за 10 минут; промпт agent_guide — инструкции агенту); снаружи закрыт 403 на прокси .226
  • MCP-ключи: страница /mcp-keys — выпуск и ревок персональных токенов mcp_* (plaintext показывается один раз, в БД sha256-хэш + хвост-хинт)
  • Подключение к navi rei (2026-10-05): персональный MCP-ключ владельца в mcp_servers.d/hard-panel.json на хосте navi (192.168.1.168) — transport streamablehttp, url http://192.168.1.176:8000/mcp, headers: `Authorization: Bearer mcp*+ Host overridelocalhost:8000. MCP-сервер панели валидирует Host: 421 Misdirected Request на192.168.1.176иhpanel.gnexus.space, принимаетlocalhost:8000/127.0.0.1:8000. Публичный/mcpзакрыт 403 на прокси .226,/mcp-protocol/отдаёт SPA (не MCP). Группаread(6 тулов) добавлена в профильserver_admin(tools.agent.mcp+tools.subagent.mcpвnavi/profiles/server_admin/config.json); записывающие тулы вызываются прямым JSON-RPCtools/callна/mcpс тем же ключом. Проверено: initialize OK (GHard Monitor 1.30.0), tools/list OK,panel_overview` — флот 19/19 online.
  • Логи: docker logs ghard-panel

Авторизация (gnexus-auth, OAuth PKCE)

  • Эндпоинты панели: GET /auth/login (302 на auth.gnexus.space, PKCE S256, scopes openid email profile roles permissions), GET /auth/callback, POST /auth/logout, POST /webhooks/gnexus-auth (HMAC-подпись по GHARD_AUTH_WEBHOOK_SECRET; события user.blocked/deleted/archived + апдейты профиля → блокировка доступа и синк system_role), GET/PATCH /api/v1/me.
  • OAuth-клиент gnexus-auth: client_id gnx_3SstXPcFpvuBT9wMuVpsjXvQZZ1b6d8C, redirect https://hpanel.gnexus.space/auth/callback. Креды (client_secret, webhook_secret) — в gnexus-creds, секрет hard-panel gnexus-auth OAuth client (id 9aac8f69-ea1d-4526-a820-03e9f8687077).
  • .env на .176: GHARD_AUTH_BASE_URL=https://auth.gnexus.space, GHARD_AUTH_CLIENT_ID, GHARD_AUTH_CLIENT_SECRET, GHARD_AUTH_REDIRECT_URI, GHARD_AUTH_WEBHOOK_SECRET, GHARD_AUTH_ALLOWLIST=goldmikki@gmail.com. Формат allowlist (проверено по allowlisted() в app/auth.py): пусто = любой залогиненный, иначе comma-separated e-mail или user_id (lowercase). Бэкап до правки: .env.bak-preauth-20261004.
  • Поведение: API без сессии → 401; webhook без подписи → 401; SPA-бандл содержит 401-хендлер window.location.href="/auth/login?return_to=..." — фронт сам отправляет на логин.
  • Проверено 2026-10-05: /auth/login → 302 на https://auth.gnexus.space/oauth/authorize?...client_id=gnx_3Sst...&redirect_uri=https%3A%2F%2Fhpanel.gnexus.space%2Fauth%2Fcallback&code_challenge_method=S256 (локально и через публичный домен).

Важно про GHARD_ADMIN_TOKEN

  • Веб-интерфейс не умеет подписывать запросы токеном (panel/frontend/src/api.js): если токен задан, UI получает 401 и показывает пустой список серверов.
  • В docker-compose.yml дефолт ${GHARD_ADMIN_TOKEN:-change-me} подставляет change-me даже при пустой переменной в .env. Локально исправлено на строгую форму ${GHARD_ADMIN_TOKEN-} (2026-09-10) — при git pull проверить, не вернулся ли старый синтаксис (проверено 2026-10-04 дважды, 2026-10-05 и 2026-10-10, форма сохранена).
  • Текущее состояние: токен пустой. Панель опубликована публично (https://hpanel.gnexus.space, nginx .226) и закрыта за gnexus-auth (OAuth PKCE, allowlist владельца); /mcp закрыт 403 на прокси; API без сессии → 401.
  • Старый сгенерированный токен хранится в gnexus-creds (секрет hard-panel (192.168.1.176), поле admin_token) на случай, если токен снова включат.
  • С 40a8810 токен работает как супер-токен для /mcp (гард require_mcp): персональный Bearer mcp_* ИЛИ статический GHARD_ADMIN_TOKEN ИЛИ браузерная cookie-сессия gnexus-auth.

Update 2026-10-11 09:05 (navi rei) — nextcloud в health-чекере

  • Добавлен сервис #8 nextcloud: url https://cloud.gnexus.space/status.php (публичный домен через nginx .226). Добавлено через MCP service_create (JSON-RPC tools/call на /mcp с персональным ключом владельца).
  • LAN-вариант не годится: http://192.168.1.152/status.php без Host-заголовка отдаёт 400 {"error": "Trusted domain error.", "code": 15} — Nextcloud проверяет trusted_domains, а пробер панели (services_probe.py) шлёт голый GET без кастомных заголовков, и ServiceCreate принимает только name+url. С Host: cloud.gnexus.space LAN-URL отвечает 200 — но заголовок задать некуда, поэтому мониторим через публичный домен (TLS на .226, тот же путь, что у пользователя).
  • Первая проба: 200, JSON {"installed":true,"maintenance":false,"needsDbUpgrade":false,"version":"27.1.6.2",...}; латентность ~595 ms — заметно выше остальных сервисов (PHP-приложение, норма; остальные 20–32 ms).
  • Проверено: services_overview — 8/8 up, nextcloud up, код 200, self-report 27.1.6.2.
  • Повод: nextcloud мониторился только как сервер (агент hard-monitor на .152) — health-чек ловит зависание сервиса внутри живой машины (как jellyfin 2026-10-10). Плюс свежий OOM-инцидент VM 2026-10-06 (down ~31 ч).

Update 2026-10-10 18:20 (navi rei) — разряжение истории, дайджест бакета, VACUUM

  • Обновление 9b41caf..f14fb26 (11 коммитов): 486d735 perf: тяжёлые JSON в server_state, разряжение истории по возрасту; 2a60dd3 docs: градации разряжения, server_state, горизонт год; c2bf713 feat: дайджест бакета при разряжении (крайности и простои не теряются); 08c9dd7 feat: журнал событий — хранение год вместо 90 дней; 2f0a517/ec76886 feat/docs: полоса min–max на графиках сервера из дайджеста разряженной истории (agg в API и MCP); 1c904b9 fix: история за период не обрезается по свежему краю — прореживание по всему окну; 3a305ee feat: прореживание равными интервалами времени, а не равным числом точек; 2ecc1c0 fix: битый ts не роняет разряжение и ответ истории, индекс для чистки журнала; 98d3bbb feat: страница сервера — точки и опрос по длине периода, полоса по точным крайностям; ace5059 fix: разовый VACUUM — после разряжения и по состоянию файла; f14fb26 docs: сжатие файла БД.
  • Суть: история метрик разряжается по возрасту (градации хранения, горизонт год), журнал событий хранится год, графики рисуют полосу min–max из дайджеста. При первом старте на накопленной базе прошёл разовый проход разряжения + VACUUM.
  • Бэкап БД до обновления: /root/hard-panel-db-backup-20261010-1804.db (2 044 428 880 B, файловое копирование db+wal+shm через docker cp; sqlite3 в контейнере отсутствует, хэш-сверка не удалась — сверено точным совпадением размеров).
  • Локальные правки docker-compose.yml пережили обновление (stash → pull --ff-only → stash pop без конфликтов): строгая форма ${GHARD_ADMIN_TOKEN-} и 4 NAS-тома :slave на месте; .env не менялся; новых env нет (diff .env.example/compose пуст).
  • Пересборка: docker-compose down && docker-compose up -d --build → image bde2cadc7b3d (код f14fb26).
  • Нюанс: первый старт занял ~7 минут. uvicorn висел на «Waiting for application startup» при CPU ~80% и активной записи на диск — первый проход разряжения по 2 GB базе + VACUUM. Не паниковать и не рестартовать: проверять docker stats ghard-panel --no-stream (процесс работает) и ждать. После прохода: файл БД ужался с 2.0 GB до 221 MB, WAL-файл разово вырос до ~2 GB (переиспользуется SQLite, размер стабилен), health ok.
  • Проверено после: /api/v1/health ok, флот 19/19 online, шары 4/4 online, сервисы 7/7 up, агенты инжестят 200 OK, логи без ошибок.
  • Диск на .176: 94% (1.8 GB свободно). В volume /data лежат 3 старых бэкапа от 2026-10-04 (~4.8 GB суммарно) — по правилу «бэкапы в volume не хранить» можно почистить (свежий бэкап на /root).

Update 2026-10-10 12:05 (navi rei) — пересборка на актуальный образ + jellyfin в health-чекер

  • Обнаружено: контейнер панели работал на устаревшем образе 5420b8ad3dbc (сборка 2026-10-04 23:35, до коммита c11cd47 с write-тулами). Вчерашнее docker compose up -d --force-recreate (Synapse-обновление 2026-10-07) пересоздало контейнер из старого тега образа, не пересобрав его. Симптом: MCP tools/list отдавал только 6 read-тулов, tools/call service_create → «Unknown tool», хотя в репо на диске (9b41caf) тулы были. Код на диске и код в контейнере расходились — проверять docker exec ghard-panel grep -c service_create /app/app/mcp.py.
  • Бэкап БД: /root/hard-panel-db-backup-20261010.db (2.0 GB, файловое копирование db+wal+shm через docker cp; sqlite3 в контейнере отсутствует).
  • Пересборка: docker-compose down && docker-compose up -d --build → image 3ed30f6d69e5 (код 9b41caf). Даунтайм ~1 мин.
  • Проверено после: контейнер Up, /api/v1/health ok, MCP initialize OK, tools/list → 10 тулов (6 read + server_create/server_delete/service_create/service_delete), флот 19/19 online, шары 4/4, сервисы 7/7 up, Synapse-репортер жив (события идут).
  • Добавлен сервис #7 jellyfin: url http://192.168.1.153:8096/health (публичный https://jellyfin.gnexus.space), первая проба 200, латентность ~20 ms. Повод — инцидент 2026-10-10 на Jellyfin: веб-UI висел ~15 ч (ffmpeg-задание «Нормализация звука» задушило event loop), а сервер-метрики показывали online — health-чек теперь ловит такие зависания сервиса внутри живой машины.
  • Правило-грабля: после git pull панель обновлять ТОЛЬКО через docker-compose down && docker-compose up -d --build. up -d / --force-recreate без --build поднимает старый образ — код на диске и код в контейнере расходятся бесшумно.

Update 2026-10-04 21:30 (navi rei) — auth, ui-kit 1.0, health-чекер, Synapse

  • Обновление edb6cff..b6080d0 (19 коммитов, 44 файла +3897/−251), версия MCP serverInfo 1.30.0.
  • Новое: закрытие панели за gnexus-auth (OAuth PKCE, f52c853), gnexus-ui-kit 1.0 + тема Verdant + новый логотип (9625022, cd5b630), health-чекер сервисов — раздел «Сервисы», страницы сервисов с графиком и журналом недоступности (c6e8698, 19812b4, 5eef1bd), парсер самосвидетельства health-ответов по handbook spec §5 (fe202ff), журнал событий (fe6b21e), интеграция с Gnexus Synapse — этап 4 (fe6b21e), MCP: промпт agent_guide + тулы сервисов и журнала (fc0de93), i18n en/uk/ru + раздел Settings (b1a82e2), заметка сервера 184px + resize (af2cd8f), фиксы графиков/навигации/no-store (dfc511f, 50a9262, 9933bae, 84cfcfc).
  • Апстрим compose прокидывает все задокументированные env: GHARD_AUTH_* (BASE_URL, CLIENT_ID, CLIENT_SECRET, REDIRECT_URI, WEBHOOK_SECRET, ALLOWLIST), GHARD_SHARE_INTERVAL, GHARD_HEALTH_INTERVAL/TIMEOUT, GHARD_SYNAPSE_URL/API_KEY/DEFAULT_SOURCE/TIMEOUT.
  • Конфликт stash pop в docker-compose.yml разрешён вручную: апстримный env-блок + локальные правки (строгая форма токена, 4 NAS-тома :slave). docker compose config валиден.
  • Бэкап БД до обновления: внутри volume /data — hard-panel.db.bak-preupdate-20261004-2127 (файловая копия) и hard-panel.db.bak-sqlite-20261004-2127 (консистентный sqlite3 backup API, 1.6 GB).
  • Миграции: новых таблиц нет как отдельного шага — схема создана/расширена при старте (oauth_states, sessions, users, services, service_samples, events на месте).
  • Проверено после обновления: /api/v1/health ok, флот 19/19 online, агенты инжестят 200 OK, MCP initialize OK (GHard Monitor 1.30.0, 6 тулов + промпт agent_guide), /mcp без auth 406, SPA 200 с i18n-строками, synapse reporter корректно disabled (GHARD_SYNAPSE_API_KEY не задан).
  • Известное ожидаемое поведение (устранено 2026-10-05): /auth/login → 500 ConfigurationException: Invalid gnexus-auth base URL — GHARD_AUTH_BASE_URL не был задан.

Update 2026-10-04 23:55 (navi rei) — персональные MCP-ключи

  • Обновление b6080d0..40a8810 (4 коммита, 16 файлов +834/−19): 14007e0 feat: персональные MCP-ключи (канон handbook mcp.md); ca26b18 feat: страница «MCP-ключи» — выдача и ревок персональных токенов; 8b91999 docs: README — матрица доступа, API, ревок, блокировка; 40a8810 fix: кнопка «Выдать ключ» выровнена с полем ввода.
  • Миграции идемпотентные при старте: _try_alter добавил users.system_role (снейпшот роли gnexus-auth) и users.blocked (вебхук user.blocked/deleted/archived); CREATE TABLE IF NOT EXISTS mcp_tokens (user_id, name, user_email, system_role, token_hash UNIQUE, token_hint, created_at, last_used_at, revoked_at) — применены, схема проверена PRAGMA.
  • Гард /mcp заменён на require_mcp: персональный Bearer mcp_* (выпуск на /mcp-keys), статический GHARD_ADMIN_TOKEN (супер-токен), браузерная cookie-сессия gnexus-auth.
  • docker-compose.yml апстримом не тронут — stash pop без конфликта, локальные правки сохранены; .env.example без изменений.
  • Бэкап БД до обновления: /data/hard-panel.db.bak-sqlite-20261004-2155-premcp (1.6 GB, sqlite3 backup API, включает WAL).
  • Проверено после обновления: /api/v1/health ok, флот 19/19 online (транзиентный offline после рестарта восстановился за ~90с), агенты инжестят 200 OK, MCP initialize OK, /mcp-keys 200, synapse reporter disabled как раньше.

Update 2026-10-05 02:10 (navi rei) — PWA и MCP-тулы управления

  • Обновление 40a8810..c11cd47 (4 коммита): 5f5a638 feat: MCP — тулы управления (создание/удаление серверов и сервисов); 094f218 docs: README — тулы управления, rate-limit записывающих вызовов; 0c8b6e3 feat: PWA — манифест, service worker и иконки; c11cd47 docs: README — раздел PWA.
  • Миграций нет: serverInfo остался GHard Monitor 1.30.0, схема SQLite не менялась.
  • Локальные правки docker-compose.yml пережили обновление (stash → pull → stash pop без конфликтов): строгая форма ${GHARD_ADMIN_TOKEN-} и 4 NAS-тома :slave на месте; .env не менялся.
  • Бэкап БД до обновления: /root/hard-panel-db-backup-20261005-0205.db (1.6 GB, консистентный sqlite3 backup API через docker exec; временный файл из volume скопирован на хост и из volume удалён — бэкапы в volume не хранить).
  • Грабля воспроизвелась: docker compose up -d --build на старом docker-compose 1.29 упал с KeyError 'ContainerConfig' — обойдено docker-compose down && docker-compose up -d --build (короткий даунтайм, панель мониторинга).
  • Проверено после обновления: контейнер Up, /api/v1/health ok, /auth/login → 302, /mcp без токена 401, MCP initialize с персональным ключом → 200 (serverInfo GHard Monitor 1.30.0), флот 19/19 online (транзиентный offline после рестарта восстановился ~90 c), шары 4/4 online, сервисы 6/6 up, инжест агентов 200 OK, история и ID серверов целы.
  • Нюанс: /api/v1/servers без сессии → 401 «not authenticated» (ожидаемо после закрытия за OAuth) — флот проверять через MCP panel_overview.

Update 2026-10-05 02:40 (navi rei) — сервисы добавлены в health-мониторинг

  • Через MCP service_create (JSON-RPC tools/call напрямую на http://192.168.1.176:8000/mcp с персональным ключом владельца; в профиле server_admin экспонирована только read-группа, записывающие тулы вызываются прямым MCP-запросом) добавлены 6 сервисов — все health-эндпоинты предварительно проверены (200 OK):
id Сервис Health URL (LAN) Публичный URL
1 gntodo http://192.168.1.179:8135/api/health https://tasks.gnexus.space
2 gnexus-creds http://192.168.1.173/health https://creds.gnexus.space
3 gnexus-synapse http://192.168.1.172:8013/api/healthz https://synapse.gnexus.space
4 hard-panel http://192.168.1.176:8000/api/v1/health https://hpanel.gnexus.space
5 bugtrail http://192.168.1.177/api/healthz https://bugtrail.gnexus.space
6 gnexus-book http://192.168.1.170:8000/health (LAN/API, публичного UI нет)
  • Проверено: services_overview — 6/6 up, код 200 (ok), латентность 6.7–25 ms.
  • Не добавлены на тот момент (нет health-эндпоинта или мониторятся как серверы): gnexus-auth (Laravel, /health → 404 на vhost), nginx-прокси .226, Telegram-боты (tgbots-vm), Jellyfin/Transmission/Nextcloud (мониторятся как серверы через агентов). Jellyfin добавлен позже — 2026-10-10 (см. Update 2026-10-10). Nextcloud добавлен позже — 2026-10-11 (см. Update 2026-10-11).

Update 2026-10-05 08:25 (navi rei) — фикс PWA-иконок

  • Обновление c11cd47..3867b9d (1 коммит): 3867b9d fix: PWA-иконки — maskable с full-bleed фоном и знаком в безопасной зоне.
  • Миграций нет: serverInfo остался GHard Monitor 1.30.0, схема SQLite не менялась.
  • Локальные правки docker-compose.yml пережили обновление (stash → pull --ff-only → stash pop без конфликтов): строгая форма ${GHARD_ADMIN_TOKEN-} и 4 NAS-тома :slave на месте; .env не менялся.
  • Бэкап БД до обновления: /root/hard-panel-db-backup-20261005-0825.db (1.6 GB). Нюанс: sqlite3 в контейнере отсутствует — бэкап сделан файловым копированием db+wal+shm через docker exec cp, затем docker cp на хост и удаление временных файлов из контейнера (бэкапы в volume не хранить).
  • Пересборка: docker-compose down && docker-compose up -d --build (грабля KeyError 'ContainerConfig' на старом docker-compose 1.29 — обходить down+up).
  • Проверено после обновления: контейнер Up, /api/v1/health ok, /auth/login → 302, /mcp без токена 401, MCP initialize с персональным ключом → 200 (serverInfo GHard Monitor 1.30.0), флот 19/19 online, шары 4/4 online, сервисы 6/6 up, инжест агентов 200 OK (99 запросов за 2 мин), ошибок в логах нет.

Update 2026-10-05 09:10 (navi rei) — favicon сервисов и фиксы сеток

  • Обновление 3867b9d..9b41caf (4 коммита, 11 файлов +258/−12): cb51563 fix: сетки карточек (хранилища, сервисы) — по 2 в ряд на десктопе и планшете, по 1 на мобиле; 16dc107 fix: сетки графиков и карточек серверов — без горизонтального скролла на мобиле; c37ff93 feat: сервисы — favicon и title с главной страницы origin (ttl 24 ч); 9b41caf feat: шапка страницы сервиса — favicon и показное имя из главной, как в карточках.
  • Апстрим менял не только фронтенд: новый бэкенд-модуль service_meta.py (favicon+title с главной страницы origin, ttl 24 ч), правки services.py, db.py, schema.sql, services_probe.py — миграции применились штатно при старте.
  • Локальные правки docker-compose.yml пережили обновление (stash → pull --ff-only → stash pop без конфликтов): строгая форма ${GHARD_ADMIN_TOKEN-} и 4 NAS-тома :slave на месте; .env не менялся.
  • Бэкап БД до обновления: /root/hard-panel-db-backup-0909.db (1.6 GB) + .db-wal (4.0 MB) + .db-shm (32 KB). Нюанс: sqlite3 в контейнере отсутствует; WAL/SHM при первом заходе не скопировались (cp с 2>/dev/null подавил ошибку) — надёжный путь: прямой docker cp ghard-panel:/data/hard-panel.db-wal|-shm на хост.
  • Пересборка: docker-compose down && docker-compose up -d --build (image 3ed30f6d69e5).
  • Проверено после обновления: контейнер Up, /api/v1/health ok, /auth/login → 302, /mcp без токена 401, SPA отдаёт HTML, MCP initialize с персональным ключом → 200 (serverInfo GHard Monitor 1.30.0), флот 19/19 online (транзиентного offline не было), шары 4/4 online, сервисы 6/6 up, инжест агентов 200 OK (43 запроса за 2 мин), ошибок в логах нет.

Update 2026-10-07 20:41 (navi rei) — Synapse reporter включён (hard-panel → Synapse → Navi)

  • В /opt/hard-panel/.env добавлены 4 переменные (бэкап .env.bak-synapse-20261007): GHARD_SYNAPSE_URL=http://192.168.1.172:8013, GHARD_SYNAPSE_API_KEY=syn_…89c0, GHARD_SYNAPSE_DEFAULT_SOURCE=hard-panel, GHARD_SYNAPSE_TIMEOUT=10. docker-compose.yml уже пробрасывал их (апстрим b6080d0), контейнер пересоздан (docker compose up -d --force-recreate panel), данные volume panel-data целы. Постфактум (2026-10-10): именно этот force-recreate без --build откатил контейнер на старый образ 5420b8ad3dbc — см. Update 2026-10-10.
  • Сторона Synapse: source hard-panel (id 3), 11 типов (ids 12–22) по каталогу SINKS репортера — server/offline|online, container/added|removed|started|exited, service/down|degraded|recovered, resource/over_threshold|back_normal; API-ключ (key id 3, hint 89c0) — gnexus-creds secret «hard-panel Synapse reporter API key (syn_…89c0)» (id dea3809d-f079-42aa-b268-06b69a90b36a); правило «hard-panel → navi-rei (s2s)» (id 3) — conditions {source: hard-panel} → s2s target 3 (navi-rei), зеркально правилу tgclient (id 2).
  • Приоритеты событий (SINKS репортера): high — server_offline, service_down, *_high; normal — container_exited, service_degraded; low — остальные.
  • Проверено: контейнер Up, health 200 (/health, /api/health, /healthz, /readyz), в логах нет «synapse reporter disabled», env внутри контейнера содержит все 4 GHARDSYNAPSE*, из контейнера Synapse доступен (healthz → 200). E2E: send_test_event resource/over_threshold (16d26bf2) → delivery s2s navi-rei delivered (1 попытка); живое событие от панели cpu_high 99.9% на сервере navi (c0f332a4, dedup cpu_high-45-20261007) доставлено так же — репортер работает в бою.
  • Открытый вопрос (владелец): правило матчит весь источник без фильтров — Navi получает reaction-сессию на каждый пороговый переход и recovery (cpu_high/cpu_recovered бывают часто). Варианты: фильтр conditions по payload.type (только server_offline/service_down) или throttle_seconds на правиле.

Агенты (fleet, 2026-10-04)

Агент hard-monitor установлен на все серверы home LAN. Все 19 серверов online (интервал 30 с):

Сервер на панели Хост IP Примечание
hard-panel-176 VM service 192.168.1.176 сама панель
navi VM navi 192.168.1.168 локальная машина Navi
gnbook VM gnbook 192.168.1.170
gnauth VM gnauth 192.168.1.167
gncreds VM gncreds 192.168.1.173
gnsynapse VM gnsynapse 192.168.1.172 добавлен 2026-10-04, панель id 46
gnexus-home VM gnexus-home 192.168.1.151 диск был 100%, почищен apt-кэш/журналы
nextcloud VM nextcloud 192.168.1.152
transmission VM transmission 192.168.1.154
files VM files 192.168.1.157
gitbucket VM gitbucket 192.168.1.156 Ubuntu 18.04, py3.6 — venv на python3.8 + python3.8-dev
ovpn VM ovpn 192.168.1.150
vmk VM vmk (tgbots) 192.168.1.178
jellyfin VM jellyfin 192.168.1.153
mine VM mine 192.168.1.160
fuckjira VM fuckjira 192.168.1.175
mctl VM mctl 192.168.1.169
home VM home 192.168.1.159
internal-proxy VM ovpn_reserv 192.168.1.226

Не охвачены (нет доступа или нецелевые):

  • 192.168.1.129 и 192.168.1.131 — неидентифицированные хосты, SSH с известными паролями отклонён (Permission denied). Добавить агента, когда появятся креды.
  • alex (192.168.105.195) — изолированная сеть 105.x, панель недостижима.
  • pfSense (.1), klipper (.102), gbook (ноут, offline), IoT-сеть 192.168.2.0/24 — не серверы.

Сетевые шары (Storage)

Панель умеет мониторить сетевые диски: пробер на хосте панели делает os.statvfs по зарегистрированным путям и пишет историю (таблица share_samples). Шара считается offline, если нет замера дольше max(share_interval*3, 180) секунд.

Текущие шары (добавлены 2026-09-11, все online):

Имя на панели NFS-экспорт Точка монтирования на .176 Заполнено
secraid5-jellyfin-storage 192.168.1.130:/mnt/secraid5/jellyfin_storage /mnt/nas/secraid5-jf ~89%
secraid5-jellyfin-cache 192.168.1.130:/mnt/secraid5/jellyfin_cache /mnt/nas/secraid5-cache ~0.1%
firstraid5 192.168.1.130:/mnt/firstraid5 /mnt/nas/firstraid5 ~90%
NetTera8 192.168.1.131:/mnt/NetTera8 /mnt/nas/nettera8 ~93%

Монтирование на .176: nfs-common, fstab-записи с _netdev,nofail,vers=3 (бэкап /root/fstab.backup). В контейнер шары проброшены bind-mount с propagation :slave в docker-compose.yml — хостовые NFS-монты автоматически видны внутри контейнера.

Как добавить новую шару (руководство)

  1. Смонтировать на хосте .176 (root):

    apt-get install -y nfs-common
    mkdir -p /mnt/nas/<имя>
    echo "192.168.1.XXX:/экспорт /mnt/nas/<имя> nfs defaults,_netdev,nofail,vers=3 0 0" >> /etc/fstab
    mount -a && df -h /mnt/nas/<имя>   # проверить
  2. Пробросить в контейнер: в /opt/hard-panel/docker-compose.yml в секцию volumes: сервиса panel добавить строку:

        - /mnt/nas/<имя>:/mnt/nas/<имя>:slave

    и пересоздать контейнер (порядок важен — обычный up -d --build падает с KeyError 'ContainerConfig' на старом docker-compose 1.29):

    cd /opt/hard-panel && docker-compose down && docker-compose up -d --build

    Проверка: curl http://localhost:8000/api/v1/health и curl -s http://192.168.1.176:8000/api/v1/servers | grep -c online (должно быть 19).

  3. Зарегистрировать шару в панели:

    curl -s -X POST http://192.168.1.176:8000/api/v1/shares \
      -H "Content-Type: application/json" \
      -d '{"name": "<имя>", "path": "/mnt/nas/<имя>"}'

    (если включён GHARD_ADMIN_TOKEN — добавить заголовок Authorization: Bearer <токен>; UI-путь: кнопка Add share в разделе Storage).

  4. Проверить замер: подождать ~1 минуту (интервал пробера), затем:

    curl -s http://192.168.1.176:8000/api/v1/shares | python3 -m json.tool

    Статус должен стать online, появятся total/used. Если offline — проверить, что шара смонтирована на хосте и видна в контейнере: docker exec ghard-panel stat -f /mnt/nas/<имя>.

Массовый деплой (как сделано)

С хоста .176 (root): sshpass + скрипт /root/deploy-hard-monitor.sh (и /root/fix-remaining.sh для отставших). Логика: DELETE старой записи на панели → POST новой (ключ ghm_ показывается один раз) → scp файлов агента из /opt/hard-monitor-src → install.sh PANEL KEY 30 через sudo.

Грабли, проверенные на практике:

  • apt-get install python3-venv без apt-get update падает 404 на старых зеркалах — сначала update.
  • Ubuntu 18.04 (gitbucket): системный python3.6 не подходит (from __future__ import annotations, list[str]). Решение: apt-get install python3.8 python3.8-venv python3.8-dev, venv на python3.8, затем pip install psutil requests.
  • Если /tmp/hm создан root'ом до scp — Permission denied; создавать от пользователя или чистить.
  • Диск 100% (gnexus-home) ломает scp — apt-get clean + journalctl --vacuum-size=50M.
  • Свежие cloud-init VM (Ubuntu 22.04, gnsynapse 2026-10-04): нет python3.10-venv — apt-get update && apt-get install -y python3.10-venv перед install.sh, иначе venv не создаётся.

Обновление агента

Повторный запуск install.sh с теми же PANEL_URL/SERVER_KEY перезаписывает файлы и рестартует юнит (конфиг .env не трогается). Файлы агента: /opt/hard-monitor-src на .176.

История развёртывания

  • 2026-09-10: панель развёрнута (docker-compose build), агент установлен на сам хост, сервер hard-panel-176 online. Root-SSH на VM включён (PermitRootLogin yes, пароль задан).
  • 2026-09-10: UI показывал пустой список — причина: заданный GHARD_ADMIN_TOKEN, который UI не подписывает. Токен отключён, compose-дефолт исправлен на ${GHARD_ADMIN_TOKEN-}. Проверено: GET /api/v1/servers без токена отдаёт hard-panel-176 online.
  • 2026-09-10: массовый деплой агентов — 18/18 серверов online (16 VM DL380 + navi + панель). Скрипты: /root/deploy-hard-monitor.sh, /root/fix-remaining.sh на .176.
  • 2026-09-11: обновление панели до версии с мониторингом шар (git pull, edb6cff). Смонтированы 4 NFS-шары (secraid5-jf, secraid5-cache, firstraid5, nettera8), проброшены в контейнер с :slave, добавлены в мониторинг — все online.
  • 2026-10-04: добавлен сервер gnsynapse (192.168.1.172, панель id 46) — агент установлен через scp из /opt/hard-monitor-src + install.sh (navi rei). Флот 19/19 online.
  • 2026-10-04: крупное обновление панели edb6cff..b6080d0 (19 коммитов, v1.30.0): gnexus-auth (OAuth PKCE), ui-kit 1.0 Verdant, health-чекер сервисов, журнал событий, Synapse-интеграция, i18n, MCP agent_guide (navi rei). Бэкапы БД в volume; конфликт compose разрешён, локальные правки сохранены.
  • 2026-10-04: обновление b6080d0..40a8810 — персональные MCP-ключи: страница /mcp-keys, гард require_mcp, таблица mcp_tokens, миграции users (+system_role, +blocked) (navi rei). Бэкап снят, pull без конфликтов, флот 19/19.
  • 2026-10-05: панель закрыта за gnexus-auth (OAuth PKCE): GHARDAUTH* в .env (allowlist владельца), контейнер пересоздан; /auth/login → 302 на auth.gnexus.space, API/webhook без сессии/подписи → 401 (navi rei). Креды OAuth-клиента в gnexus-creds (hard-panel gnexus-auth OAuth client).
  • 2026-10-05: персональный MCP-ключ владельца подключён к navi rei: mcp_servers.d/hard-panel.json (streamable_http, LAN url, Host override localhost:8000 — сервер валидирует Host, 421 на другие), профиль server_admin + группа read; проверено panel_overview 19/19 online (navi rei).
  • 2026-10-05: обновление 40a8810..c11cd47 — PWA (манифест, service worker, иконки) и MCP-тулы управления (создание/удаление серверов и сервисов, rate-limit записи) (navi rei). Бэкап БД на хосте /root/hard-panel-db-backup-20261005-0205.db (1.6 GB); KeyError 'ContainerConfig' обойдён down+up; флот 19/19, шары 4/4, MCP initialize OK.
  • 2026-10-05: в health-мониторинг добавлены 6 сервисов (gntodo, gnexus-creds, gnexus-synapse, hard-panel, bugtrail, gnexus-book) через MCP service_create — все up, 200 OK (navi rei).
  • 2026-10-05: обновление c11cd47..3867b9d — фикс maskable PWA-иконок (navi rei). Бэкап БД на хосте /root/hard-panel-db-backup-20261005-0825.db (1.6 GB, файловое копирование — sqlite3 в контейнере отсутствует); флот 19/19, шары 4/4, сервисы 6/6, MCP initialize OK.
  • 2026-10-05: обновление 3867b9d..9b41caf — favicon сервисов (service_meta.py, ttl 24 ч) и фиксы сеток карточек/графиков на мобиле (navi rei). Бэкап БД на хосте /root/hard-panel-db-backup-0909.db (1.6 GB + wal/shm); миграции schema.sql применились штатно; флот 19/19, шары 4/4, сервисы 6/6, MCP initialize OK.
  • 2026-10-07: Synapse reporter включён: GHARDSYNAPSE* в .env (бэкап .env.bak-synapse-20261007), контейнер force-recreate; в Synapse source hard-panel (id 3) + 11 типов + ключ (hint 89c0) + правило → s2s navi-rei; E2E доставка подтверждена (тест + живое cpu_high) (navi rei).
  • 2026-10-10: обнаружен откат контейнера на старый образ (5420b8ad3dbc, до c11cd47) после force-recreate 2026-10-07; пересборка down+up --build → 3ed30f6d69e5 (9b41caf), бэкап БД /root/hard-panel-db-backup-20261010.db (2.0 GB); MCP tools/list → 10 тулов; добавлен сервис #7 jellyfin (http://192.168.1.153:8096/health) — сервисы 7/7 up (navi rei).
  • 2026-10-10: обновление 9b41caf..f14fb26 (11 коммитов) — разряжение истории метрик по возрасту (дайджест бакета, полоса min–max на графиках, горизонт год), журнал событий хранится год, разовый VACUUM (БД 2.0 GB → 221 MB); первый старт ~7 мин (проход разряжения по 2 GB базе — не рестартовать, ждать), image bde2cadc7b3d; бэкап /root/hard-panel-db-backup-20261010-1804.db (2.0 GB) (navi rei).
  • 2026-10-11: в health-чекер добавлен сервис #8 nextcloud (https://cloud.gnexus.space/status.php; LAN-URL http://192.168.1.152/status.php даёт 400 trusted domains без Host-заголовка, а пробер кастомных заголовков не шлёт) — сервисы 8/8 up (navi rei).