Newer
Older
gnexus-book / 10-systems / servers / internal-proxy-vps.md

owner: gmikcon status: active last_reviewed: 2026-10-17 review_interval: 90d confidence: high

source_of_truth: ssh-host-verified

Internal Proxy VPS

Internal proxy VPS that receives traffic from the external VPS through OpenVPN and forwards it to internal services.

Identity

  • Inventory id: internal-proxy-vps.
  • VM id: ovpn_reserv.
  • Hypervisor: hp-proliant-dl380-g6.
  • OS: Ubuntu 20.04.6 LTS.
  • Kernel: 5.4.0-216-generic.
  • nginx: nginx/1.18.0.
  • GHard panel id: 33 (server name internal-proxy).

Addresses

  • LAN address: 192.168.1.183 — static via netplan inside the guest (/etc/netplan/01-netcfg.yaml, dhcp4: no; was 192.168.1.226 via DHCP until the 2026-10-16/17 blackout — see the section below).
  • Libvirt/internal address: 192.168.105.181/24 (interface enp7s0, DHCP from the libvirt network).

Roles

  • OpenVPN client.
  • Internal nginx reverse proxy.
  • Main internal entrypoint for public gnexus.space traffic.
  • Host of the navi Proxy instance (port 8099).

Active Services

  • nginx.service
  • openvpn@client.service
  • navi.service (Navi server, agent system API)
  • ssh.service
  • Service: navi.service (systemd, Type=simple, user ubuntu, enabled).
  • Unit file: /etc/systemd/system/navi.service.
  • Working directory: /home/ubuntu/navi-1.
  • ExecStart: /home/ubuntu/navi-1/.venv/bin/navi-server.
  • Listening port: 8099 (uvicorn, 0.0.0.0:8099).
  • Health endpoint: http://127.0.0.1:8099/health.
  • Configuration: /home/ubuntu/navi-1/.env (contains OLLAMA_API_KEY, OLLAMA_HOST=https://ollama.com, embedding settings; no raw key values documented here).
  • No ollama_backends.json file exists in the working directory.
  • Container: navi-postgres, image pgvector/pgvector:pg16 (Postgres 16 + pgvector).
  • Compose project: deploy, file /home/ubuntu/navi-1/deploy/docker-compose.yml, service postgres (container_name: navi-postgres, image: pgvector/pgvector:pg16).
  • Container created 2026-09-09T17:42:17Z; recreated 2026-10-08T11:25 UTC (GHard panel events: container_removed 11:25:00Z → container_added 11:25:20Z, same image pgvector/pgvector:pg16); healthy after restart.
  • Only postgres container and only postgres-family image (pgvector/pgvector:pg16, id 9b05db12a354) on this host — no legacy plain postgres image present; the pgvector image was already in use before the 2026-10-08 recreate.
  • Docker restart policy поднял контейнер после ребута хоста: removed 11:25:00 → added 11:25:20, healthy с 11:25:01, volume цел, restarts=0.
  • SSH access: user ubuntu (root login denied), docker requires sudo (password in gnexus-creds, secret internal-proxy-vps-creds).
  • Verified via SSH 2026-10-08.

Host Reboot 2026-10-08 (navi rei)

  • Причина recreate контейнера: полная перезагрузка VM. Чистый shutdown по ACPI power-key 11:24:20 UTC (journalctl -b -1: Power key pressed + штатная Power-Off последовательность; last -x: shutdown system down Thu Oct 8 11:24), boot 11:24:50 UTC. Краш/OOM/питание/unattended-upgrades исключены.
  • Восстановление проверено: navi.service active, health 200 (embed 401 при старте — хроническое, см. ниже); nginx-путь снаружи — auth/synapse/tasks/hpanel/bugtrail/creds все 200 (11:34 UTC); панель services_overview 6/6 up.
  • Побочные наблюдения (не инцидент): (1) embed_unavailable (401) при каждом старте navi-server — хроническое (10/16/23 сен, 8 окт). (2) После ребута возобновился цикл disconnect/reconnect MCP navi-3d/navi-web (30 за 5 мин; после бута 23 сен такой цикл шёл до 26 сен, ~22.4k disconnect'ов, сам прекратился). Конфиги mcp_servers.d не менялись с 2026-09-09; navi-3d/navi-web указывают на несуществующий путь /home/gmikcon/Projects/navi-1/... (Errno 2), navi_ui — на localhost:8001 (не слушается).
  • Открытый вопрос: инициатор ACPI power-key на гипервизоре bserv (virsh/Cockpit/сессия владельца) не установлен — gntodo задача 455.

2026-10-11: ложные события container_removed/added (триаж rei)

  • GHard panel events: container_removed 17:59:48Z → container_added 18:00:38Z для navi-postgres (pgvector/pgvector:pg16). Триаж по SSH (2026-10-11 ~18:02 UTC): контейнер НЕ пересоздавался — docker inspect: StartedAt=2026-10-08T11:25:01Z, Created=2026-09-09T17:42:17Z, RestartCount=0, health=healthy непрерывно; docker ps показывал "Up 3 days (healthy)".
  • Причина артефакта: пик нагрузки в окне 17:52–18:01 UTC (load 1.67; CPU агента мониторинга 12→60% ровно в 17:59:08–18:00:38) на фоне буферизации nginx'ом крупного проксируемого ответа; в 17:59:55 dockerd зафиксировал разрыв docker-стрима (stream copy error: file already closed), агент GHard (hard-monitor.service, MainPID 521, без рестарта с 2026-10-08 11:24:48) пере-детектировал контейнер → пара removed/added. Реального recreate не было.
  • Попутно объяснён рост диска / 72%→87% (+1.07 ГБ за ~9 мин): nginx worker (PID 748) держит открытый fd на удалённый proxy temp-файл /var/lib/nginx/proxy/1/49/0000012491 ровно 1 GiB (Modify 18:00:45) + второй deleted-файл 21 MB; расхождение du↔df ~1.5G. Место освободится при закрытии fd (завершение запроса или nginx reload/restart) — вмешательство не требовалось. Долгосрочно диск поджимают /var/log journal (760M) и access.log (175M, краулер-трафик GPTBot/meta-externalagent на git.gnexus.space с 192.168.1.150).
  • Сервисы здоровы: navi.service active (health 200), nginx active, openvpn@client inactive/masked (штатно отключён), swap 0. Вмешательства не потребовалось.
  • Наблюдение (не инцидент): nginx error.log — повторяющиеся [crit] SSL bad key share и [alert] could not allocate new session in SSL shared cache с клиента 192.168.1.150; SSL session cache периодически переполняется.

2026-10-16: disk_high 91.8% — повтор прецедента 2026-10-11, корень установлен (navi rei)

  • GHard event f669b251 disk_high / 91.8% (порог 90) ~16:19 UTC; за час 76.8%→91.8% (+1.08 GB) на фоне входящего трафика ~35 MB/s.
  • Триаж по SSH (16:27–16:28 UTC, read-only, user ubuntu + sudo): nginx worker PID 1629442 держит deleted-but-open proxy temp /var/lib/nginx/proxy/9/01/0000020019 (deleted) ровно 1 GiB (fd 39) — дефолтный proxy_max_temp_file_size=1024M; du↔df gap ~1.0 GB. Точная копия инцидента 2026-10-11 (там PID 748).
  • Источник трафика: клиент jellyfin-androidtv (192.168.1.150 через ovpn, 15 established :443) стримит jellyfin.gnexus.space; апстрим ~35 MB/s против потребления клиента ~3.5 MB/s → nginx буферизует разницу на диск; в 16:18:54 temp упёрся в кап 1 GiB и перестал расти (nginx троттлит апстрим).
  • КОРЕНЬ: vhost jellyfin.gnexus.space не имеет proxy_buffering off. Без директивы 6 из 17 enabled-сайтов: jellyfin, cloud, git, gnexus.space, transmission, bugtrail (у остальных 11 off есть). Медиа-стрим через буферизующий vhost = гарантированный 1 GiB temp на каждый крупный ответ.
  • Состояние: df 6.2G/7.1G (92%), 559M free, inodes 23% (здоровы); сервисы здоровы (nginx, navi.service, navi-postgres up 8 days healthy, docker 0B reclaimable). fd на момент триажа не закрыт; место вернётся при закрытии fd (конец стрима / worker exit / graceful reload).
  • Хронический фон: /var/log/journal 745M, /var/log/nginx 459M (access.log 122M растёт), apt lists+cache 276M, старое ядро 4.15.0-213 ~250–300M. Кандидаты очистки суммарно ~2.1–2.3 GB (92%→~63%) — ждут решения владельца; ничего не удалено, конфиги не менялись.
  • Отчёт: workspace/incident_internalproxy_disk_2026-10-16.md (navi rei workspace).
  • Резолюция (17:30 UTC, GHard event 369dbf93 disk_recovered / 77.0% <85): fd закрыт при завершении стрима — 17:24→17:30 UTC −1.07 GB → 77.0% (плато 91.9–92.0% держалось 16:24–17:24 при трафике ~2 MB/s). SSH-верификация 17:35 UTC (read-only): df 5.2G/7.1G = 78% (1.6G free), deleted-but-open fd у nginx отсутствует (lsof пуст), /var/lib/nginx/proxy 4.0M. Прогноз триажа («место вернётся при закрытии fd») выполнен точно; вмешательство не потребовалось, владельцу не сообщал (восстановление штатное). Открытые пункты без изменений: очистка ~2.1–2.3 GB и proxy_buffering off в jellyfin/cloud/transmission — ждут решения владельца.

2026-10-16 (вечер): второй эпизод disk_high — класс подтверждён (navi rei)

  • GHard events: disk_high #851 / 92.0% (critical) 17:49:37 UTC → disk_recovered #852 77.1% (<85) 18:31:09 UTC (event f18217dc). Второй эпизод за 2 часа после первого (16:19→17:30 UTC).
  • Сигнатура идентична эпизоду 1 и прецеденту 2026-10-11: +1.07 GB за ~8 мин (5.54→6.62 GB), плато 92.0–92.1% ~40 мин (temp капнут на 1 GiB, fd открыт), −1.07 GB за 8 мин при завершении стрима; сетевой всплеск 0.13→1.7–2.5 MB/s.
  • SSH-триаж во втором эпизоде не проводился — корень уже установлен в эпизоде 1 (jellyfin vhost без proxy_buffering off); вмешательство не требовалось.
  • Верификация 18:32 UTC (панель): сервер online, / 77.1% (5.55/7.6 GB), /home 5.7%, CPU 1.5%, RAM 0.73/4.1 GB, swap ~0; services 8/8 up; новых событий после #852 нет.
  • Итог: 3-й эпизод класса (2026-10-11, 2026-10-16 ×2). Пока jellyfin/cloud/transmission/git/gnexus.space/bugtrail без proxy_buffering off, каждый крупный стрим/ответ = +1 GiB temp на корневом разделе 7.6 GB. Корневое решение и очистка ~2.1–2.3 GB по-прежнему ждут решения владельца. Отчёт: workspace/incident_internalproxy_disk_2026-10-16.md (раздел «Второй эпизод»).

2026-10-17: блэкаут, смена LAN-адреса .226 → .183 (navi rei)

  • Ночной блэкаут 2026-10-16/17: гипервизор и все VM погашены владельцем, утром 2026-10-17 запущены заново. После старта VM получила от DHCP pfSense новый адрес 192.168.1.183 (старый .226 освободился); .226 более не отвечает. Обнаружено владельцем утром 2026-10-17.
  • Зависимые конфиги обновлены на .183 2026-10-17: gnsynapse docker-compose.override.yml (extra_hosts: auth.gnexus.space:192.168.1.183, контейнеры пересозданы). Собственные nginx-конфиги хоста на свой адрес не ссылаются.
  • 2026-10-17 (день): владелец попросил вернуть gnsynapse и tgclient_mcp на их старые адреса (.172/.171); ovpn_reserv оставлен на .183. Временные апстримы nginx (synapse → .29:8013, tgclientmcp → .24:8710) откатлены на .172:8013 / .171:8710, nginx reload.
  • 2026-10-17 (финал): владелец подтвердил дизайн — pfSense/Kea не выдаёт адреса из серверного диапазона, адресация определяется на стороне серверов; DHCP-резервации НЕ нужны. LAN-адрес .183 закреплён netplan-статикой внутри гостя: /etc/netplan/01-netcfg.yaml (dhcp4: no, addresses 192.168.1.183/24, gateway4 192.168.1.1, DNS 192.168.1.1; файл датирован 11:44 — статика была настроена утром при восстановлении). Проверено rei по SSH: netplan get соответствует, netplan generate OK, cloud-init в VM не установлен (перетирать нечему), enp7s0 (192.168.105.181/24) остаётся на DHCP libvirt-сети. Схема адресации теперь единая: gnsynapse .172, tgclient_mcp .171, ovpn_reserv .183 — статика внутри гостя, pfSense резервации не выдаёт.

Listening TCP Ports

  • 22
  • 80
  • 443
  • 8099 (navi.service)

Proxy Scope

The nginx proxy handles the gnexus.space domain family.

Enabled nginx sites (verified 2026-10-05):

  • auth.gnexus.space
  • bugtrail.gnexus.space
  • cloud.gnexus.space
  • creds.gnexus.space
  • files.gnexus.space
  • fuckjira.gnexus.space
  • git.gnexus.space
  • gnexus.space
  • hpanel.gnexus.space
  • jellyfin.gnexus.space
  • navi.gnexus.space
  • synapse.gnexus.space
  • tasks.gnexus.space
  • tgclientmcp.gnexus.space
  • transcribe-demo.gnexus.space
  • transmission.gnexus.space
  • vmk-marginator.gnexus.space

Available nginx site files that are not currently confirmed as enabled:

  • anicusi.gnexus.space
  • cats.gnexus.space
  • fdroid.gnexus.space
  • ferumina.gnexus.space
  • lytvak.gnexus.space
  • mail.gnexus.space
  • minecraft.gnexus.space
  • ollama.gnexus.space
  • sups.gnexus.space
  • topics.gnexus.space

Confirmed Proxy Mappings

Domain Upstream
auth.gnexus.space http://192.168.1.167
bugtrail.gnexus.space http://192.168.1.177:80
cloud.gnexus.space http://192.168.1.152
creds.gnexus.space http://192.168.1.173
files.gnexus.space http://192.168.1.157
fuckjira.gnexus.space http://192.168.1.175:8080
git.gnexus.space http://192.168.1.156
gnexus.space http://192.168.1.151
hpanel.gnexus.space http://192.168.1.176:8000
jellyfin.gnexus.space http://192.168.1.153:8096
navi.gnexus.space http://192.168.1.168:8000
synapse.gnexus.space http://192.168.1.172:8013
tasks.gnexus.space http://192.168.1.179:8135
tgclientmcp.gnexus.space http://192.168.1.171:8710
transcribe-demo.gnexus.space http://192.168.1.75:5173
transmission.gnexus.space http://192.168.1.154:3000
vmk-marginator.gnexus.space http://192.168.1.178:8080

Known available but not confirmed enabled mappings:

Domain Upstream
lytvak.gnexus.space http://192.168.1.167
minecraft.gnexus.space tcp://192.168.1.218:25565

Proxying is mixed by hostname, path, and ports. SSH forwarding to the internal alex VPS on a custom port is believed to exist and still needs confirmation from nginx or firewall configuration.

TLS Certificates (certbot)

  • Separate certbot certificate for bugtrail.gnexus.space issued 2026-09-18 (nginx authenticator, http-01). Files: /etc/letsencrypt/live/bugtrail.gnexus.space/fullchain.pem and privkey.pem, valid until 2026-12-17, CN=bugtrail.gnexus.space, issuer Let's Encrypt (YR2).
  • Separate certbot certificate for tasks.gnexus.space issued 2026-09-21 (nginx authenticator, http-01). Files: /etc/letsencrypt/live/tasks.gnexus.space/fullchain.pem and privkey.pem, valid until 2026-12-20. Site tasks.gnexus.space proxies to http://192.168.1.179:8135 (gntodo stack): :80 block (no redirect) + :443 block with the dedicated certificate, client_max_body_size 12m, proxy_set_header Host $host (required — /mcp Host check), X-Forwarded-Proto https, and proxy_buffering off + proxy_read_timeout 300s on /api/ and /mcp/ (SSE). Site created by the Proxy navi instance, :443 block completed by rei (2026-09-21).
  • Separate certbot certificate for tgclientmcp.gnexus.space issued 2026-10-05 (nginx authenticator, http-01, by navi rei). Files: /etc/letsencrypt/live/tgclientmcp.gnexus.space/fullchain.pem and privkey.pem, valid until 2027-01-03. Site tgclientmcp.gnexus.space proxies to http://192.168.1.171:8710 (tgclient-mcp): :80 block (no redirect) + :443 block with the dedicated certificate, client_max_body_size 32m (media 20 MB + base64 overhead), proxy_set_header Host $host, X-Forwarded-Proto https, and proxy_buffering off + proxy_read_timeout 300s on /mcp-protocol/ (MCP streamable HTTP). Deploy note: first certbot run glued the :443 directives into the :80 server block — the site was rewritten into two clean blocks (tasks.gnexus.space style).
  • Other sites use the shared gnexus.space multi-SAN certificate (10 SANs, unchanged by this work).

No raw credentials are documented here.