diff --git a/10-systems/servers/internal-proxy-vps.md b/10-systems/servers/internal-proxy-vps.md index 3a59ba1..40a361e 100644 --- a/10-systems/servers/internal-proxy-vps.md +++ b/10-systems/servers/internal-proxy-vps.md @@ -23,8 +23,8 @@ ## Addresses -- LAN address: `192.168.1.183` (DHCP from pfSense; was `192.168.1.226` until the 2026-10-16/17 blackout — see the section below). -- Libvirt/internal address: `192.168.105.181/24`. +- LAN address: `192.168.1.183` — static via netplan inside the guest (`/etc/netplan/01-netcfg.yaml`, `dhcp4: no`; was `192.168.1.226` via DHCP until the 2026-10-16/17 blackout — see the section below). +- Libvirt/internal address: `192.168.105.181/24` (interface `enp7s0`, DHCP from the libvirt network). ## Roles @@ -100,7 +100,7 @@ - Ночной блэкаут 2026-10-16/17: гипервизор и все VM погашены владельцем, утром 2026-10-17 запущены заново. После старта VM получила от DHCP pfSense новый адрес `192.168.1.183` (старый `.226` освободился); `.226` более не отвечает. Обнаружено владельцем утром 2026-10-17. - Зависимые конфиги обновлены на `.183` 2026-10-17: `gnsynapse` docker-compose.override.yml (`extra_hosts: auth.gnexus.space:192.168.1.183`, контейнеры пересозданы). Собственные nginx-конфиги хоста на свой адрес не ссылаются. - 2026-10-17 (день): владелец попросил вернуть gnsynapse и tgclient_mcp на их старые адреса (.172/.171); `ovpn_reserv` оставлен на `.183`. Временные апстримы nginx (synapse → .29:8013, tgclientmcp → .24:8710) откатлены на .172:8013 / .171:8710, nginx reload. -- Открытый пункт: DHCP-резервация Kea на pfSense (MAC `52:54:00:10:2d:8e` → `192.168.1.183`) — ждёт админ-доступа к pfSense (пароль админа у владельца; RO-ключ `gnexus_book_pfsense_ro` лежит на ПК gbook .129). +- 2026-10-17 (финал): владелец подтвердил дизайн — pfSense/Kea не выдаёт адреса из серверного диапазона, адресация определяется на стороне серверов; DHCP-резервации НЕ нужны. LAN-адрес `.183` закреплён netplan-статикой внутри гостя: `/etc/netplan/01-netcfg.yaml` (`dhcp4: no`, addresses `192.168.1.183/24`, gateway4 `192.168.1.1`, DNS `192.168.1.1`; файл датирован 11:44 — статика была настроена утром при восстановлении). Проверено rei по SSH: `netplan get` соответствует, `netplan generate` OK, cloud-init в VM не установлен (перетирать нечему), `enp7s0` (192.168.105.181/24) остаётся на DHCP libvirt-сети. Схема адресации теперь единая: gnsynapse `.172`, tgclient_mcp `.171`, ovpn_reserv `.183` — статика внутри гостя, pfSense резервации не выдаёт. ## Listening TCP Ports diff --git a/90-maintenance/pending-changes/20261017123556-b9918030.json b/90-maintenance/pending-changes/20261017123556-b9918030.json new file mode 100644 index 0000000..f2d0fd6 --- /dev/null +++ b/90-maintenance/pending-changes/20261017123556-b9918030.json @@ -0,0 +1,19 @@ +{ + "id": "20261017123556-b9918030", + "kind": "doc", + "target": "10-systems/servers/internal-proxy-vps.md", + "summary": "internal-proxy-vps: LAN .183 закреплён netplan-статикой в госте (01-netcfg.yaml), DHCP-резервация pfSense не нужна по дизайну владельца", + "reason": "Владелец подтвердил дизайн: pfSense не выдаёт адреса из серверного диапазона, статика на стороне серверов. Проверено по SSH: netplan 01-netcfg.yaml на .183 уже статический (настроен утром), cloud-init в VM отсутствует; DHCP-резервация Kea не нужна.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-17\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# Internal Proxy VPS\n\nInternal proxy VPS that receives traffic from the external VPS through OpenVPN and forwards it to internal services.\n\n## Identity\n\n- Inventory id: `internal-proxy-vps`.\n- VM id: `ovpn_reserv`.\n- Hypervisor: `hp-proliant-dl380-g6`.\n- OS: Ubuntu 20.04.6 LTS.\n- Kernel: `5.4.0-216-generic`.\n- nginx: `nginx/1.18.0`.\n- GHard panel id: `33` (server name `internal-proxy`).\n\n## Addresses\n\n- LAN address: `192.168.1.183` — static via netplan inside the guest (`/etc/netplan/01-netcfg.yaml`, `dhcp4: no`; was `192.168.1.226` via DHCP until the 2026-10-16/17 blackout — see the section below).\n- Libvirt/internal address: `192.168.105.181/24` (interface `enp7s0`, DHCP from the libvirt network).\n\n## Roles\n\n- OpenVPN client.\n- Internal nginx reverse proxy.\n- Main internal entrypoint for public `gnexus.space` traffic.\n- Host of the navi Proxy instance (port 8099).\n\n## Active Services\n\n- `nginx.service`\n- `openvpn@client.service`\n- `navi.service` (Navi server, agent system API)\n- `ssh.service`\n\n## Navi Proxy Instance\n\n- Service: `navi.service` (systemd, `Type=simple`, user `ubuntu`, enabled).\n- Unit file: `/etc/systemd/system/navi.service`.\n- Working directory: `/home/ubuntu/navi-1`.\n- ExecStart: `/home/ubuntu/navi-1/.venv/bin/navi-server`.\n- Listening port: `8099` (uvicorn, `0.0.0.0:8099`).\n- Health endpoint: `http://127.0.0.1:8099/health`.\n- Configuration: `/home/ubuntu/navi-1/.env` (contains `OLLAMA_API_KEY`, `OLLAMA_HOST=https://ollama.com`, embedding settings; no raw key values documented here).\n- No `ollama_backends.json` file exists in the working directory.\n\n## Navi Postgres Container\n\n- Container: `navi-postgres`, image `pgvector/pgvector:pg16` (Postgres 16 + pgvector).\n- Compose project: `deploy`, file `/home/ubuntu/navi-1/deploy/docker-compose.yml`, service `postgres` (`container_name: navi-postgres`, `image: pgvector/pgvector:pg16`).\n- Container created 2026-09-09T17:42:17Z; recreated 2026-10-08T11:25 UTC (GHard panel events: `container_removed` 11:25:00Z → `container_added` 11:25:20Z, same image `pgvector/pgvector:pg16`); healthy after restart.\n- Only postgres container and only postgres-family image (`pgvector/pgvector:pg16`, id `9b05db12a354`) on this host — no legacy plain `postgres` image present; the pgvector image was already in use before the 2026-10-08 recreate.\n- Docker restart policy поднял контейнер после ребута хоста: removed 11:25:00 → added 11:25:20, healthy с 11:25:01, volume цел, restarts=0.\n- SSH access: user `ubuntu` (root login denied), docker requires `sudo` (password in gnexus-creds, secret `internal-proxy-vps-creds`).\n- Verified via SSH 2026-10-08.\n\n## Host Reboot 2026-10-08 (navi rei)\n\n- Причина recreate контейнера: полная перезагрузка VM. Чистый shutdown по ACPI power-key 11:24:20 UTC (journalctl -b -1: `Power key pressed` + штатная Power-Off последовательность; `last -x`: `shutdown system down Thu Oct 8 11:24`), boot 11:24:50 UTC. Краш/OOM/питание/unattended-upgrades исключены.\n- Восстановление проверено: navi.service active, health 200 (embed 401 при старте — хроническое, см. ниже); nginx-путь снаружи — auth/synapse/tasks/hpanel/bugtrail/creds все 200 (11:34 UTC); панель services_overview 6/6 up.\n- Побочные наблюдения (не инцидент): (1) embed_unavailable (401) при каждом старте navi-server — хроническое (10/16/23 сен, 8 окт). (2) После ребута возобновился цикл disconnect/reconnect MCP navi-3d/navi-web (30 за 5 мин; после бута 23 сен такой цикл шёл до 26 сен, ~22.4k disconnect'ов, сам прекратился). Конфиги mcp_servers.d не менялись с 2026-09-09; navi-3d/navi-web указывают на несуществующий путь `/home/gmikcon/Projects/navi-1/...` (Errno 2), navi_ui — на localhost:8001 (не слушается).\n- Открытый вопрос: инициатор ACPI power-key на гипервизоре bserv (virsh/Cockpit/сессия владельца) не установлен — gntodo задача 455.\n\n## 2026-10-11: ложные события container_removed/added (триаж rei)\n\n- GHard panel events: `container_removed` 17:59:48Z → `container_added` 18:00:38Z для `navi-postgres` (pgvector/pgvector:pg16). Триаж по SSH (2026-10-11 ~18:02 UTC): контейнер НЕ пересоздавался — `docker inspect`: StartedAt=2026-10-08T11:25:01Z, Created=2026-09-09T17:42:17Z, RestartCount=0, health=healthy непрерывно; `docker ps` показывал \"Up 3 days (healthy)\".\n- Причина артефакта: пик нагрузки в окне 17:52–18:01 UTC (load 1.67; CPU агента мониторинга 12→60% ровно в 17:59:08–18:00:38) на фоне буферизации nginx'ом крупного проксируемого ответа; в 17:59:55 dockerd зафиксировал разрыв docker-стрима (`stream copy error: file already closed`), агент GHard (hard-monitor.service, MainPID 521, без рестарта с 2026-10-08 11:24:48) пере-детектировал контейнер → пара removed/added. Реального recreate не было.\n- Попутно объяснён рост диска / 72%→87% (+1.07 ГБ за ~9 мин): nginx worker (PID 748) держит открытый fd на удалённый proxy temp-файл `/var/lib/nginx/proxy/1/49/0000012491` ровно 1 GiB (Modify 18:00:45) + второй deleted-файл 21 MB; расхождение du↔df ~1.5G. Место освободится при закрытии fd (завершение запроса или nginx reload/restart) — вмешательство не требовалось. Долгосрочно диск поджимают /var/log journal (760M) и access.log (175M, краулер-трафик GPTBot/meta-externalagent на git.gnexus.space с 192.168.1.150).\n- Сервисы здоровы: navi.service active (health 200), nginx active, openvpn@client inactive/masked (штатно отключён), swap 0. Вмешательства не потребовалось.\n- Наблюдение (не инцидент): nginx error.log — повторяющиеся `[crit] SSL bad key share` и `[alert] could not allocate new session in SSL shared cache` с клиента 192.168.1.150; SSL session cache периодически переполняется.\n\n## 2026-10-16: disk_high 91.8% — повтор прецедента 2026-10-11, корень установлен (navi rei)\n\n- GHard event `f669b251` disk_high `/` 91.8% (порог 90) ~16:19 UTC; за час 76.8%→91.8% (+1.08 GB) на фоне входящего трафика ~35 MB/s.\n- Триаж по SSH (16:27–16:28 UTC, read-only, user ubuntu + sudo): nginx worker PID 1629442 держит deleted-but-open proxy temp `/var/lib/nginx/proxy/9/01/0000020019 (deleted)` ровно 1 GiB (fd 39) — дефолтный `proxy_max_temp_file_size=1024M`; du↔df gap ~1.0 GB. Точная копия инцидента 2026-10-11 (там PID 748).\n- Источник трафика: клиент jellyfin-androidtv (192.168.1.150 через ovpn, 15 established :443) стримит `jellyfin.gnexus.space`; апстрим ~35 MB/s против потребления клиента ~3.5 MB/s → nginx буферизует разницу на диск; в 16:18:54 temp упёрся в кап 1 GiB и перестал расти (nginx троттлит апстрим).\n- КОРЕНЬ: vhost `jellyfin.gnexus.space` не имеет `proxy_buffering off`. Без директивы 6 из 17 enabled-сайтов: jellyfin, cloud, git, gnexus.space, transmission, bugtrail (у остальных 11 off есть). Медиа-стрим через буферизующий vhost = гарантированный 1 GiB temp на каждый крупный ответ.\n- Состояние: df 6.2G/7.1G (92%), 559M free, inodes 23% (здоровы); сервисы здоровы (nginx, navi.service, navi-postgres up 8 days healthy, docker 0B reclaimable). fd на момент триажа не закрыт; место вернётся при закрытии fd (конец стрима / worker exit / graceful reload).\n- Хронический фон: /var/log/journal 745M, /var/log/nginx 459M (access.log 122M растёт), apt lists+cache 276M, старое ядро 4.15.0-213 ~250–300M. Кандидаты очистки суммарно ~2.1–2.3 GB (92%→~63%) — ждут решения владельца; ничего не удалено, конфиги не менялись.\n- Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (navi rei workspace).\n- Резолюция (17:30 UTC, GHard event `369dbf93` disk_recovered `/` 77.0% <85): fd закрыт при завершении стрима — 17:24→17:30 UTC −1.07 GB → 77.0% (плато 91.9–92.0% держалось 16:24–17:24 при трафике ~2 MB/s). SSH-верификация 17:35 UTC (read-only): df 5.2G/7.1G = 78% (1.6G free), deleted-but-open fd у nginx отсутствует (lsof пуст), `/var/lib/nginx/proxy` 4.0M. Прогноз триажа («место вернётся при закрытии fd») выполнен точно; вмешательство не потребовалось, владельцу не сообщал (восстановление штатное). Открытые пункты без изменений: очистка ~2.1–2.3 GB и `proxy_buffering off` в jellyfin/cloud/transmission — ждут решения владельца.\n\n## 2026-10-16 (вечер): второй эпизод disk_high — класс подтверждён (navi rei)\n\n- GHard events: `disk_high` #851 `/` 92.0% (critical) 17:49:37 UTC → `disk_recovered` #852 77.1% (<85) 18:31:09 UTC (event `f18217dc`). Второй эпизод за 2 часа после первого (16:19→17:30 UTC).\n- Сигнатура идентична эпизоду 1 и прецеденту 2026-10-11: +1.07 GB за ~8 мин (5.54→6.62 GB), плато 92.0–92.1% ~40 мин (temp капнут на 1 GiB, fd открыт), −1.07 GB за 8 мин при завершении стрима; сетевой всплеск 0.13→1.7–2.5 MB/s.\n- SSH-триаж во втором эпизоде не проводился — корень уже установлен в эпизоде 1 (jellyfin vhost без `proxy_buffering off`); вмешательство не требовалось.\n- Верификация 18:32 UTC (панель): сервер online, `/` 77.1% (5.55/7.6 GB), `/home` 5.7%, CPU 1.5%, RAM 0.73/4.1 GB, swap ~0; services 8/8 up; новых событий после #852 нет.\n- Итог: 3-й эпизод класса (2026-10-11, 2026-10-16 ×2). Пока jellyfin/cloud/transmission/git/gnexus.space/bugtrail без `proxy_buffering off`, каждый крупный стрим/ответ = +1 GiB temp на корневом разделе 7.6 GB. Корневое решение и очистка ~2.1–2.3 GB по-прежнему ждут решения владельца. Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (раздел «Второй эпизод»).\n\n## 2026-10-17: блэкаут, смена LAN-адреса .226 → .183 (navi rei)\n\n- Ночной блэкаут 2026-10-16/17: гипервизор и все VM погашены владельцем, утром 2026-10-17 запущены заново. После старта VM получила от DHCP pfSense новый адрес `192.168.1.183` (старый `.226` освободился); `.226` более не отвечает. Обнаружено владельцем утром 2026-10-17.\n- Зависимые конфиги обновлены на `.183` 2026-10-17: `gnsynapse` docker-compose.override.yml (`extra_hosts: auth.gnexus.space:192.168.1.183`, контейнеры пересозданы). Собственные nginx-конфиги хоста на свой адрес не ссылаются.\n- 2026-10-17 (день): владелец попросил вернуть gnsynapse и tgclient_mcp на их старые адреса (.172/.171); `ovpn_reserv` оставлен на `.183`. Временные апстримы nginx (synapse → .29:8013, tgclientmcp → .24:8710) откатлены на .172:8013 / .171:8710, nginx reload.\n- 2026-10-17 (финал): владелец подтвердил дизайн — pfSense/Kea не выдаёт адреса из серверного диапазона, адресация определяется на стороне серверов; DHCP-резервации НЕ нужны. LAN-адрес `.183` закреплён netplan-статикой внутри гостя: `/etc/netplan/01-netcfg.yaml` (`dhcp4: no`, addresses `192.168.1.183/24`, gateway4 `192.168.1.1`, DNS `192.168.1.1`; файл датирован 11:44 — статика была настроена утром при восстановлении). Проверено rei по SSH: `netplan get` соответствует, `netplan generate` OK, cloud-init в VM не установлен (перетирать нечему), `enp7s0` (192.168.105.181/24) остаётся на DHCP libvirt-сети. Схема адресации теперь единая: gnsynapse `.172`, tgclient_mcp `.171`, ovpn_reserv `.183` — статика внутри гостя, pfSense резервации не выдаёт.\n\n## Listening TCP Ports\n\n- `22`\n- `80`\n- `443`\n- `8099` (navi.service)\n\n## Proxy Scope\n\nThe nginx proxy handles the `gnexus.space` domain family.\n\nEnabled nginx sites (verified 2026-10-05):\n\n- `auth.gnexus.space`\n- `bugtrail.gnexus.space`\n- `cloud.gnexus.space`\n- `creds.gnexus.space`\n- `files.gnexus.space`\n- `fuckjira.gnexus.space`\n- `git.gnexus.space`\n- `gnexus.space`\n- `hpanel.gnexus.space`\n- `jellyfin.gnexus.space`\n- `navi.gnexus.space`\n- `synapse.gnexus.space`\n- `tasks.gnexus.space`\n- `tgclientmcp.gnexus.space`\n- `transcribe-demo.gnexus.space`\n- `transmission.gnexus.space`\n- `vmk-marginator.gnexus.space`\n\nAvailable nginx site files that are not currently confirmed as enabled:\n\n- `anicusi.gnexus.space`\n- `cats.gnexus.space`\n- `fdroid.gnexus.space`\n- `ferumina.gnexus.space`\n- `lytvak.gnexus.space`\n- `mail.gnexus.space`\n- `minecraft.gnexus.space`\n- `ollama.gnexus.space`\n- `sups.gnexus.space`\n- `topics.gnexus.space`\n\n## Confirmed Proxy Mappings\n\n| Domain | Upstream |\n| --- | --- |\n| `auth.gnexus.space` | `http://192.168.1.167` |\n| `bugtrail.gnexus.space` | `http://192.168.1.177:80` |\n| `cloud.gnexus.space` | `http://192.168.1.152` |\n| `creds.gnexus.space` | `http://192.168.1.173` |\n| `files.gnexus.space` | `http://192.168.1.157` |\n| `fuckjira.gnexus.space` | `http://192.168.1.175:8080` |\n| `git.gnexus.space` | `http://192.168.1.156` |\n| `gnexus.space` | `http://192.168.1.151` |\n| `hpanel.gnexus.space` | `http://192.168.1.176:8000` |\n| `jellyfin.gnexus.space` | `http://192.168.1.153:8096` |\n| `navi.gnexus.space` | `http://192.168.1.168:8000` |\n| `synapse.gnexus.space` | `http://192.168.1.172:8013` |\n| `tasks.gnexus.space` | `http://192.168.1.179:8135` |\n| `tgclientmcp.gnexus.space` | `http://192.168.1.171:8710` |\n| `transcribe-demo.gnexus.space` | `http://192.168.1.75:5173` |\n| `transmission.gnexus.space` | `http://192.168.1.154:3000` |\n| `vmk-marginator.gnexus.space` | `http://192.168.1.178:8080` |\n\nKnown available but not confirmed enabled mappings:\n\n| Domain | Upstream |\n| --- | --- |\n| `lytvak.gnexus.space` | `http://192.168.1.167` |\n| `minecraft.gnexus.space` | `tcp://192.168.1.218:25565` |\n\nProxying is mixed by hostname, path, and ports. SSH forwarding to the internal `alex` VPS on a custom port is believed to exist and still needs confirmation from nginx or firewall configuration.\n\n## TLS Certificates (certbot)\n\n- Separate certbot certificate for `bugtrail.gnexus.space` issued 2026-09-18 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/bugtrail.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-17, CN=bugtrail.gnexus.space, issuer Let's Encrypt (YR2).\n- Separate certbot certificate for `tasks.gnexus.space` issued 2026-09-21 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/tasks.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-20. Site `tasks.gnexus.space` proxies to `http://192.168.1.179:8135` (gntodo stack): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 12m`, `proxy_set_header Host $host` (required — /mcp Host check), `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/api/` and `/mcp/` (SSE). Site created by the Proxy navi instance, :443 block completed by rei (2026-09-21).\n- Separate certbot certificate for `tgclientmcp.gnexus.space` issued 2026-10-05 (nginx authenticator, http-01, by navi rei). Files: `/etc/letsencrypt/live/tgclientmcp.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2027-01-03. Site `tgclientmcp.gnexus.space` proxies to `http://192.168.1.171:8710` (tgclient-mcp): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 32m` (media 20 MB + base64 overhead), `proxy_set_header Host $host`, `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/mcp-protocol/` (MCP streamable HTTP). Deploy note: first certbot run glued the :443 directives into the :80 server block — the site was rewritten into two clean blocks (tasks.gnexus.space style).\n- Other sites use the shared `gnexus.space` multi-SAN certificate (10 SANs, unchanged by this work).\n\nNo raw credentials are documented here." + }, + "status": "applied", + "created_at": "2026-10-17T12:35:56Z", + "updated_at": "2026-10-17T12:35:58Z", + "applied_at": "2026-10-17T12:35:58Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}