diff --git a/10-systems/hosts/gnsynapse.md b/10-systems/hosts/gnsynapse.md index eda2e71..d83f380 100644 --- a/10-systems/hosts/gnsynapse.md +++ b/10-systems/hosts/gnsynapse.md @@ -1,10 +1,11 @@ --- owner: gmikcon status: active -last_reviewed: 2026-10-17 +last_reviewed: 2026-11-04 review_interval: 90d confidence: high source_of_truth: ssh-host +reviewed_by: navi rei --- # gnsynapse @@ -23,7 +24,7 @@ ## Platform - OS: Ubuntu 22.04.5 LTS (Jammy Jellyfish) -- Kernel: 5.15.0-198-generic +- Kernel: 5.15.0-202-generic (live 2026-11-04; в доках ранее 5.15.0-198) - CPU: 2 vCPU (Intel Xeon X5650 @ 2.67GHz) - RAM: 2 GB - Disk: 15 GB LVM (`/dev/mapper/ubuntu--vg-ubuntu--lv`), ~47% used at provisioning @@ -62,6 +63,14 @@ - Возврат (решение владельца, день 2026-10-17): netplan-статика `192.168.1.172/24` (gateway `192.168.1.1`, DNS `192.168.1.1` + `1.1.1.1`), cloud-init network config disabled, `50-cloud-init.yaml` удалён, создан `50-static.yaml`; все зависимые конфиги откатаны на `.172:8013`. Проверено: synapse public/direct 200, hard-panel gnexus-synapse up, MCP synapse connected. - Открытый пункт: Kea-резервация на pfSense (MAC `52:54:00:79:23:90` → `.172`) не требуется, пока в госте статика; при отказе от статики — добавить резервацию (нужен админ-доступ к pfSense). +## 2026-11-04: блэкаут стенда, server_offline волна (navi rei) + +- Триггер: Synapse envelope `9b290f76-37d9-4a47-987c-7c2fdca554f3` — hard-panel `server_offline`, server_id 46 (gnsynapse), silent_minutes 353, priority high. Часть массовой волны server_offline ×18 (09:58:45 UTC) после полного блэкаута стенда 04:05–09:54 UTC — выключено всё, включая хост панели (слепое окно мониторинга ~5 ч 49 м). Канонический отчёт: `workspace/incident_infra_blackout_2026-11-04.md` (repo navi-1). +- Хронология VM: последний пакет до провала ~04:05 UTC (silent 353 мин от 09:58:45); бут ~09:55 UTC (uptime 1261 с при проверке 10:16) — VM перезагрузилась вместе со стендом. +- Верификация 10:16 UTC: панель — gnsynapse **online**, last_seen 10:16:12 UTC, интервал 30 с; CPU 3.2%, RAM 41%, swap 0, load 0.17, диск `/` 71.1% (на 2026-10-04 при provisioning было ~47% — рост за месяц, наблюдение; алертов по диску нет). Docker-стек Synapse `api/worker/postgres/redis` — **Up 19 мин** (api/postgres/redis healthy) — поднялся сам после бута; `hard-monitor.service` возобновил репортинг сам, рестарт не потребовался. +- Сервисы панели: 8/8 up, gnexus-synapse [up] 24.8 ms (код 200). +- Вывод: последствий для данных и сервисов Synapse нет; вмешательство не потребовалось — всё самовосстановилось после возврата питания. Причина провала — питание стенда (см. канонический инцидент-файл; рекомендация внешнего зонда — там же, на решение владельца). + ## Notes - Provisioned 2026-10-04 as the host for the new Synapse project; IP chosen from verified free range 192.168.1.170–180. diff --git a/90-maintenance/pending-changes/20261104101805-2a44fe83.json b/90-maintenance/pending-changes/20261104101805-2a44fe83.json new file mode 100644 index 0000000..35d74f1 --- /dev/null +++ b/90-maintenance/pending-changes/20261104101805-2a44fe83.json @@ -0,0 +1,19 @@ +{ + "id": "20261104101805-2a44fe83", + "kind": "doc", + "target": "10-systems/hosts/gnsynapse.md", + "summary": "Добавлена секция инцидента 2026-11-04 (блэкаут стенда, волна server_offline ×18): хронология, верификация 10:16 UTC, вывод — самовосстановление. Kernel → 5.15.0-202, last_reviewed → 2026-11-04.", + "reason": "Реакция rei на hard-panel server_offline #46 (envelope 9b290f76, silent 353 мин): инцидент 2026-11-04 верифицирован, канонический отчёт в workspace navi-1; по конвенции книги хост-док получает датированную секцию; kernel/last_reviewed обновлены по live-данным.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-11-04\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host\nreviewed_by: navi rei\n---\n\n# gnsynapse\n\nVM in home LAN dedicated to the **Gnexus Synapse** project — the centralized notification hub of the Gnexus ecosystem (see gntodo project \"Gnexus Synapse\", id 9).\n\n## Identity\n\n- Hostname: `gnsynapse`\n- IP: `192.168.1.172` (static, configured inside the guest)\n- Type: KVM/libvirt VM on `hp-proliant-dl380-g6`\n- MAC: `52:54:00:79:23:90`\n- User: `ubuntu` (sudo with same password)\n- Credentials: gnexus-creds secret `gnsynapse-ssh` (SSH = sudo password)\n\n## Platform\n\n- OS: Ubuntu 22.04.5 LTS (Jammy Jellyfish)\n- Kernel: 5.15.0-202-generic (live 2026-11-04; в доках ранее 5.15.0-198)\n- CPU: 2 vCPU (Intel Xeon X5650 @ 2.67GHz)\n- RAM: 2 GB\n- Disk: 15 GB LVM (`/dev/mapper/ubuntu--vg-ubuntu--lv`), ~47% used at provisioning\n- Timezone: Europe/Kyiv (set 2026-10-04 by navi rei, was Etc/UTC)\n\n## Network\n\nStatic configuration inside the guest via netplan (`/etc/netplan/50-static.yaml`, since 2026-10-17; before that `/etc/netplan/50-cloud-init.yaml`):\n\n- `enp1s0`: `192.168.1.172/24`\n- Gateway: `192.168.1.1`\n- DNS: `192.168.1.1`, `1.1.1.1`\n- `dhcp4: no` — no pfSense static mapping needed; the address survives reboots and is not part of any DHCP pool.\n- Cloud-init network configuration disabled (`/etc/cloud/cloud.cfg.d/99-disable-network-config.cfg`: `network: {config: disabled}`) — netplan-файл больше не перегенерируется при загрузке.\n\n## Services\n\n- `ssh.service` — listening port 22\n- `docker.service` + `containerd.service` — **Gnexus Synapse stack** (docker compose, `/home/ubuntu/gnsynapse`): containers `api`, `worker`, `postgres`, `redis`; host port `8013`; repo `root/gn-synapse` on GitBucket. Details: `10-systems/services/gnexus-synapse.md`.\n- `hard-monitor.service` — GHard Monitor agent (see Monitoring below)\n\n## Monitoring\n\nАгент hard-monitor (GHard Monitor) установлен 2026-10-04 (navi rei):\n\n- Установка: `/opt/hard-monitor` (venv: psutil, requests), конфиг `/opt/hard-monitor/.env` — `PANEL_URL=http://192.168.1.176:8000`, `SERVER_KEY=ghm_…`, `INTERVAL=30`\n- systemd-юнит `hard-monitor.service` — enabled, active\n- На панели: сервер `gnsynapse`, id 46, статус online (флот 19/19)\n- Ключ сервера в доках не дублируется: лежит в `/opt/hard-monitor/.env` на самом хосте; при переустановке взять оттуда или перерегистрировать сервер на панели (DELETE + POST `/api/v1/servers`)\n- Нюанс свежей VM: нет пакета `python3.10-venv` — перед `install.sh` нужен `apt-get update && apt-get install -y python3.10-venv`\n\n## 2026-10-17: блэкаут, возврат на .172 (navi rei)\n\n- Ночной блэкаут 2026-10-16/17: VM погашена владельцем, утром 2026-10-17 запущена заново. Netplan-статика на момент блэкаута ещё не была настроена (файл был cloud-init DHCP) — VM получила от pfSense временный адрес `192.168.1.29`, старый `.172` освободился.\n- Временные фиксы (утро): nginx-апстрим на internal-proxy (.183) → `http://192.168.1.29:8013`; `TGCLIENT_SYNAPSE_URL` на tgclient → `http://192.168.1.29:8013`; MCP-конфиг navi → `http://192.168.1.29:8013/mcp`.\n- Возврат (решение владельца, день 2026-10-17): netplan-статика `192.168.1.172/24` (gateway `192.168.1.1`, DNS `192.168.1.1` + `1.1.1.1`), cloud-init network config disabled, `50-cloud-init.yaml` удалён, создан `50-static.yaml`; все зависимые конфиги откатаны на `.172:8013`. Проверено: synapse public/direct 200, hard-panel gnexus-synapse up, MCP synapse connected.\n- Открытый пункт: Kea-резервация на pfSense (MAC `52:54:00:79:23:90` → `.172`) не требуется, пока в госте статика; при отказе от статики — добавить резервацию (нужен админ-доступ к pfSense).\n\n## 2026-11-04: блэкаут стенда, server_offline волна (navi rei)\n\n- Триггер: Synapse envelope `9b290f76-37d9-4a47-987c-7c2fdca554f3` — hard-panel `server_offline`, server_id 46 (gnsynapse), silent_minutes 353, priority high. Часть массовой волны server_offline ×18 (09:58:45 UTC) после полного блэкаута стенда 04:05–09:54 UTC — выключено всё, включая хост панели (слепое окно мониторинга ~5 ч 49 м). Канонический отчёт: `workspace/incident_infra_blackout_2026-11-04.md` (repo navi-1).\n- Хронология VM: последний пакет до провала ~04:05 UTC (silent 353 мин от 09:58:45); бут ~09:55 UTC (uptime 1261 с при проверке 10:16) — VM перезагрузилась вместе со стендом.\n- Верификация 10:16 UTC: панель — gnsynapse **online**, last_seen 10:16:12 UTC, интервал 30 с; CPU 3.2%, RAM 41%, swap 0, load 0.17, диск `/` 71.1% (на 2026-10-04 при provisioning было ~47% — рост за месяц, наблюдение; алертов по диску нет). Docker-стек Synapse `api/worker/postgres/redis` — **Up 19 мин** (api/postgres/redis healthy) — поднялся сам после бута; `hard-monitor.service` возобновил репортинг сам, рестарт не потребовался.\n- Сервисы панели: 8/8 up, gnexus-synapse [up] 24.8 ms (код 200).\n- Вывод: последствий для данных и сервисов Synapse нет; вмешательство не потребовалось — всё самовосстановилось после возврата питания. Причина провала — питание стенда (см. канонический инцидент-файл; рекомендация внешнего зонда — там же, на решение владельца).\n\n## Notes\n\n- Provisioned 2026-10-04 as the host for the new Synapse project; IP chosen from verified free range 192.168.1.170–180.\n- Docker bridge `docker0` (172.17.0.1/16) present from default install." + }, + "status": "applied", + "created_at": "2026-11-04T10:18:05Z", + "updated_at": "2026-11-04T10:18:07Z", + "applied_at": "2026-11-04T10:18:07Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}