diff --git a/10-systems/servers/internal-proxy-vps.md b/10-systems/servers/internal-proxy-vps.md index cdda866..7fcb505 100644 --- a/10-systems/servers/internal-proxy-vps.md +++ b/10-systems/servers/internal-proxy-vps.md @@ -76,6 +76,16 @@ - Сервисы здоровы: navi.service active (health 200), nginx active, openvpn@client inactive/masked (штатно отключён), swap 0. Вмешательства не потребовалось. - Наблюдение (не инцидент): nginx error.log — повторяющиеся `[crit] SSL bad key share` и `[alert] could not allocate new session in SSL shared cache` с клиента 192.168.1.150; SSL session cache периодически переполняется. +## 2026-10-16: disk_high 91.8% — повтор прецедента 2026-10-11, корень установлен (navi rei) + +- GHard event `f669b251` disk_high `/` 91.8% (порог 90) ~16:19 UTC; за час 76.8%→91.8% (+1.08 GB) на фоне входящего трафика ~35 MB/s. +- Триаж по SSH (16:27–16:28 UTC, read-only, user ubuntu + sudo): nginx worker PID 1629442 держит deleted-but-open proxy temp `/var/lib/nginx/proxy/9/01/0000020019 (deleted)` ровно 1 GiB (fd 39) — дефолтный `proxy_max_temp_file_size=1024M`; du↔df gap ~1.0 GB. Точная копия инцидента 2026-10-11 (там PID 748). +- Источник трафика: клиент jellyfin-androidtv (192.168.1.150 через ovpn, 15 established :443) стримит `jellyfin.gnexus.space`; апстрим ~35 MB/s против потребления клиента ~3.5 MB/s → nginx буферизует разницу на диск; в 16:18:54 temp упёрся в кап 1 GiB и перестал расти (nginx троттлит апстрим). +- КОРЕНЬ: vhost `jellyfin.gnexus.space` не имеет `proxy_buffering off`. Без директивы 6 из 17 enabled-сайтов: jellyfin, cloud, git, gnexus.space, transmission, bugtrail (у остальных 11 off есть). Медиа-стрим через буферизующий vhost = гарантированный 1 GiB temp на каждый крупный ответ. +- Состояние: df 6.2G/7.1G (92%), 559M free, inodes 23% (здоровы); сервисы здоровы (nginx, navi.service, navi-postgres up 8 days healthy, docker 0B reclaimable). fd на момент триажа не закрыт; место вернётся при закрытии fd (конец стрима / worker exit / graceful reload). +- Хронический фон: /var/log/journal 745M, /var/log/nginx 459M (access.log 122M растёт), apt lists+cache 276M, старое ядро 4.15.0-213 ~250–300M. Кандидаты очистки суммарно ~2.1–2.3 GB (92%→~63%) — ждут решения владельца; ничего не удалено, конфиги не менялись. +- Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (navi rei workspace). + ## Listening TCP Ports - `22` diff --git a/90-maintenance/pending-changes/20261016162926-122fe8a1.json b/90-maintenance/pending-changes/20261016162926-122fe8a1.json new file mode 100644 index 0000000..955a07a --- /dev/null +++ b/90-maintenance/pending-changes/20261016162926-122fe8a1.json @@ -0,0 +1,19 @@ +{ + "id": "20261016162926-122fe8a1", + "kind": "doc", + "target": "10-systems/servers/internal-proxy-vps.md", + "summary": "Добавлен раздел 2026-10-16: disk_high 91.8% — повтор прецедента 10-11, корень = jellyfin vhost без proxy_buffering off", + "reason": "Инцидент disk_high 2026-10-16 на internal-proxy: повтор прецедента 2026-10-11 (nginx deleted-but-open temp 1 GiB), корень установлен — vhost jellyfin.gnexus.space без proxy_buffering off (6 из 17 сайтов без директивы). Источник: триаж rei по SSH 16:27–16:28 UTC, read-only.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-11\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# Internal Proxy VPS\n\nInternal proxy VPS that receives traffic from the external VPS through OpenVPN and forwards it to internal services.\n\n## Identity\n\n- Inventory id: `internal-proxy-vps`.\n- VM id: `ovpn_reserv`.\n- Hypervisor: `hp-proliant-dl380-g6`.\n- OS: Ubuntu 20.04.6 LTS.\n- Kernel: `5.4.0-216-generic`.\n- nginx: `nginx/1.18.0`.\n- GHard panel id: `33` (server name `internal-proxy`).\n\n## Addresses\n\n- LAN address: `192.168.1.226`.\n- Libvirt/internal address: `192.168.105.181/24`.\n\n## Roles\n\n- OpenVPN client.\n- Internal nginx reverse proxy.\n- Main internal entrypoint for public `gnexus.space` traffic.\n- Host of the navi Proxy instance (port 8099).\n\n## Active Services\n\n- `nginx.service`\n- `openvpn@client.service`\n- `navi.service` (Navi server, agent system API)\n- `ssh.service`\n\n## Navi Proxy Instance\n\n- Service: `navi.service` (systemd, `Type=simple`, user `ubuntu`, enabled).\n- Unit file: `/etc/systemd/system/navi.service`.\n- Working directory: `/home/ubuntu/navi-1`.\n- ExecStart: `/home/ubuntu/navi-1/.venv/bin/navi-server`.\n- Listening port: `8099` (uvicorn, `0.0.0.0:8099`).\n- Health endpoint: `http://127.0.0.1:8099/health`.\n- Configuration: `/home/ubuntu/navi-1/.env` (contains `OLLAMA_API_KEY`, `OLLAMA_HOST=https://ollama.com`, embedding settings; no raw key values documented here).\n- No `ollama_backends.json` file exists in the working directory.\n\n## Navi Postgres Container\n\n- Container: `navi-postgres`, image `pgvector/pgvector:pg16` (Postgres 16 + pgvector).\n- Compose project: `deploy`, file `/home/ubuntu/navi-1/deploy/docker-compose.yml`, service `postgres` (`container_name: navi-postgres`, `image: pgvector/pgvector:pg16`).\n- Container created 2026-09-09T17:42:17Z; recreated 2026-10-08T11:25 UTC (GHard panel events: `container_removed` 11:25:00Z → `container_added` 11:25:20Z, same image `pgvector/pgvector:pg16`); healthy after restart.\n- Only postgres container and only postgres-family image (`pgvector/pgvector:pg16`, id `9b05db12a354`) on this host — no legacy plain `postgres` image present; the pgvector image was already in use before the 2026-10-08 recreate.\n- Docker restart policy поднял контейнер после ребута хоста: removed 11:25:00 → added 11:25:20, healthy с 11:25:01, volume цел, restarts=0.\n- SSH access: user `ubuntu` (root login denied), docker requires `sudo` (password in gnexus-creds, secret `internal-proxy-vps-creds`).\n- Verified via SSH 2026-10-08.\n\n## Host Reboot 2026-10-08 (navi rei)\n\n- Причина recreate контейнера: полная перезагрузка VM. Чистый shutdown по ACPI power-key 11:24:20 UTC (journalctl -b -1: `Power key pressed` + штатная Power-Off последовательность; `last -x`: `shutdown system down Thu Oct 8 11:24`), boot 11:24:50 UTC. Краш/OOM/питание/unattended-upgrades исключены.\n- Восстановление проверено: navi.service active, health 200 (embed 401 при старте — хроническое, см. ниже); nginx-путь снаружи — auth/synapse/tasks/hpanel/bugtrail/creds все 200 (11:34 UTC); панель services_overview 6/6 up.\n- Побочные наблюдения (не инцидент): (1) embed_unavailable (401) при каждом старте navi-server — хроническое (10/16/23 сен, 8 окт). (2) После ребута возобновился цикл disconnect/reconnect MCP navi-3d/navi-web (30 за 5 мин; после бута 23 сен такой цикл шёл до 26 сен, ~22.4k disconnect'ов, сам прекратился). Конфиги mcp_servers.d не менялись с 2026-09-09; navi-3d/navi-web указывают на несуществующий путь `/home/gmikcon/Projects/navi-1/...` (Errno 2), navi_ui — на localhost:8001 (не слушается).\n- Открытый вопрос: инициатор ACPI power-key на гипервизоре bserv (virsh/Cockpit/сессия владельца) не установлен — gntodo задача 455.\n\n## 2026-10-11: ложные события container_removed/added (триаж rei)\n\n- GHard panel events: `container_removed` 17:59:48Z → `container_added` 18:00:38Z для `navi-postgres` (pgvector/pgvector:pg16). Триаж по SSH (2026-10-11 ~18:02 UTC): контейнер НЕ пересоздавался — `docker inspect`: StartedAt=2026-10-08T11:25:01Z, Created=2026-09-09T17:42:17Z, RestartCount=0, health=healthy непрерывно; `docker ps` показывал \"Up 3 days (healthy)\".\n- Причина артефакта: пик нагрузки в окне 17:52–18:01 UTC (load 1.67; CPU агента мониторинга 12→60% ровно в 17:59:08–18:00:38) на фоне буферизации nginx'ом крупного проксируемого ответа; в 17:59:55 dockerd зафиксировал разрыв docker-стрима (`stream copy error: file already closed`), агент GHard (hard-monitor.service, MainPID 521, без рестарта с 2026-10-08 11:24:48) пере-детектировал контейнер → пара removed/added. Реального recreate не было.\n- Попутно объяснён рост диска / 72%→87% (+1.07 ГБ за ~9 мин): nginx worker (PID 748) держит открытый fd на удалённый proxy temp-файл `/var/lib/nginx/proxy/1/49/0000012491` ровно 1 GiB (Modify 18:00:45) + второй deleted-файл 21 MB; расхождение du↔df ~1.5G. Место освободится при закрытии fd (завершение запроса или nginx reload/restart) — вмешательство не требовалось. Долгосрочно диск поджимают /var/log journal (760M) и access.log (175M, краулер-трафик GPTBot/meta-externalagent на git.gnexus.space с 192.168.1.150).\n- Сервисы здоровы: navi.service active (health 200), nginx active, openvpn@client inactive/masked (штатно отключён), swap 0. Вмешательства не потребовалось.\n- Наблюдение (не инцидент): nginx error.log — повторяющиеся `[crit] SSL bad key share` и `[alert] could not allocate new session in SSL shared cache` с клиента 192.168.1.150; SSL session cache периодически переполняется.\n\n## 2026-10-16: disk_high 91.8% — повтор прецедента 2026-10-11, корень установлен (navi rei)\n\n- GHard event `f669b251` disk_high `/` 91.8% (порог 90) ~16:19 UTC; за час 76.8%→91.8% (+1.08 GB) на фоне входящего трафика ~35 MB/s.\n- Триаж по SSH (16:27–16:28 UTC, read-only, user ubuntu + sudo): nginx worker PID 1629442 держит deleted-but-open proxy temp `/var/lib/nginx/proxy/9/01/0000020019 (deleted)` ровно 1 GiB (fd 39) — дефолтный `proxy_max_temp_file_size=1024M`; du↔df gap ~1.0 GB. Точная копия инцидента 2026-10-11 (там PID 748).\n- Источник трафика: клиент jellyfin-androidtv (192.168.1.150 через ovpn, 15 established :443) стримит `jellyfin.gnexus.space`; апстрим ~35 MB/s против потребления клиента ~3.5 MB/s → nginx буферизует разницу на диск; в 16:18:54 temp упёрся в кап 1 GiB и перестал расти (nginx троттлит апстрим).\n- КОРЕНЬ: vhost `jellyfin.gnexus.space` не имеет `proxy_buffering off`. Без директивы 6 из 17 enabled-сайтов: jellyfin, cloud, git, gnexus.space, transmission, bugtrail (у остальных 11 off есть). Медиа-стрим через буферизующий vhost = гарантированный 1 GiB temp на каждый крупный ответ.\n- Состояние: df 6.2G/7.1G (92%), 559M free, inodes 23% (здоровы); сервисы здоровы (nginx, navi.service, navi-postgres up 8 days healthy, docker 0B reclaimable). fd на момент триажа не закрыт; место вернётся при закрытии fd (конец стрима / worker exit / graceful reload).\n- Хронический фон: /var/log/journal 745M, /var/log/nginx 459M (access.log 122M растёт), apt lists+cache 276M, старое ядро 4.15.0-213 ~250–300M. Кандидаты очистки суммарно ~2.1–2.3 GB (92%→~63%) — ждут решения владельца; ничего не удалено, конфиги не менялись.\n- Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (navi rei workspace).\n\n## Listening TCP Ports\n\n- `22`\n- `80`\n- `443`\n- `8099` (navi.service)\n\n## Proxy Scope\n\nThe nginx proxy handles the `gnexus.space` domain family.\n\nEnabled nginx sites (verified 2026-10-05):\n\n- `auth.gnexus.space`\n- `bugtrail.gnexus.space`\n- `cloud.gnexus.space`\n- `creds.gnexus.space`\n- `files.gnexus.space`\n- `fuckjira.gnexus.space`\n- `git.gnexus.space`\n- `gnexus.space`\n- `hpanel.gnexus.space`\n- `jellyfin.gnexus.space`\n- `navi.gnexus.space`\n- `synapse.gnexus.space`\n- `tasks.gnexus.space`\n- `tgclientmcp.gnexus.space`\n- `transcribe-demo.gnexus.space`\n- `transmission.gnexus.space`\n- `vmk-marginator.gnexus.space`\n\nAvailable nginx site files that are not currently confirmed as enabled:\n\n- `anicusi.gnexus.space`\n- `cats.gnexus.space`\n- `fdroid.gnexus.space`\n- `ferumina.gnexus.space`\n- `lytvak.gnexus.space`\n- `mail.gnexus.space`\n- `minecraft.gnexus.space`\n- `ollama.gnexus.space`\n- `sups.gnexus.space`\n- `topics.gnexus.space`\n\n## Confirmed Proxy Mappings\n\n| Domain | Upstream |\n| --- | --- |\n| `auth.gnexus.space` | `http://192.168.1.167` |\n| `bugtrail.gnexus.space` | `http://192.168.1.177:80` |\n| `cloud.gnexus.space` | `http://192.168.1.152` |\n| `creds.gnexus.space` | `http://192.168.1.173` |\n| `files.gnexus.space` | `http://192.168.1.157` |\n| `fuckjira.gnexus.space` | `http://192.168.1.175:8080` |\n| `git.gnexus.space` | `http://192.168.1.156` |\n| `gnexus.space` | `http://192.168.1.151` |\n| `hpanel.gnexus.space` | `http://192.168.1.176:8000` |\n| `jellyfin.gnexus.space` | `http://192.168.1.153:8096` |\n| `navi.gnexus.space` | `http://192.168.1.168:8000` |\n| `synapse.gnexus.space` | `http://192.168.1.172:8013` |\n| `tasks.gnexus.space` | `http://192.168.1.179:8135` |\n| `tgclientmcp.gnexus.space` | `http://192.168.1.171:8710` |\n| `transcribe-demo.gnexus.space` | `http://192.168.1.75:5173` |\n| `transmission.gnexus.space` | `http://192.168.1.154:3000` |\n| `vmk-marginator.gnexus.space` | `http://192.168.1.178:8080` |\n\nKnown available but not confirmed enabled mappings:\n\n| Domain | Upstream |\n| --- | --- |\n| `lytvak.gnexus.space` | `http://192.168.1.167` |\n| `minecraft.gnexus.space` | `tcp://192.168.1.218:25565` |\n\nProxying is mixed by hostname, path, and ports. SSH forwarding to the internal `alex` VPS on a custom port is believed to exist and still needs confirmation from nginx or firewall configuration.\n\n## TLS Certificates (certbot)\n\n- Separate certbot certificate for `bugtrail.gnexus.space` issued 2026-09-18 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/bugtrail.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-17, CN=bugtrail.gnexus.space, issuer Let's Encrypt (YR2).\n- Separate certbot certificate for `tasks.gnexus.space` issued 2026-09-21 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/tasks.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-20. Site `tasks.gnexus.space` proxies to `http://192.168.1.179:8135` (gntodo stack): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 12m`, `proxy_set_header Host $host` (required — /mcp Host check), `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/api/` and `/mcp/` (SSE). Site created by the Proxy navi instance, :443 block completed by rei (2026-09-21).\n- Separate certbot certificate for `tgclientmcp.gnexus.space` issued 2026-10-05 (nginx authenticator, http-01, by navi rei). Files: `/etc/letsencrypt/live/tgclientmcp.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2027-01-03. Site `tgclientmcp.gnexus.space` proxies to `http://192.168.1.171:8710` (tgclient-mcp): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 32m` (media 20 MB + base64 overhead), `proxy_set_header Host $host`, `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/mcp-protocol/` (MCP streamable HTTP). Deploy note: first certbot run glued the :443 directives into the :80 server block — the site was rewritten into two clean blocks (tasks.gnexus.space style).\n- Other sites use the shared `gnexus.space` multi-SAN certificate (10 SANs, unchanged by this work).\n\nNo raw credentials are documented here." + }, + "status": "applied", + "created_at": "2026-10-16T16:29:26Z", + "updated_at": "2026-10-16T16:29:28Z", + "applied_at": "2026-10-16T16:29:28Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}