---
owner: gmikcon
status: active
last_reviewed: 2026-10-16
review_interval: 90d
confidence: high
source_of_truth: ssh-host-verified
---

# Internal Proxy VPS

Internal proxy VPS that receives traffic from the external VPS through OpenVPN and forwards it to internal services.

## Identity

- Inventory id: `internal-proxy-vps`.
- VM id: `ovpn_reserv`.
- Hypervisor: `hp-proliant-dl380-g6`.
- OS: Ubuntu 20.04.6 LTS.
- Kernel: `5.4.0-216-generic`.
- nginx: `nginx/1.18.0`.
- GHard panel id: `33` (server name `internal-proxy`).

## Addresses

- LAN address: `192.168.1.226`.
- Libvirt/internal address: `192.168.105.181/24`.

## Roles

- OpenVPN client.
- Internal nginx reverse proxy.
- Main internal entrypoint for public `gnexus.space` traffic.
- Host of the navi Proxy instance (port 8099).

## Active Services

- `nginx.service`
- `openvpn@client.service`
- `navi.service` (Navi server, agent system API)
- `ssh.service`

## Navi Proxy Instance

- Service: `navi.service` (systemd, `Type=simple`, user `ubuntu`, enabled).
- Unit file: `/etc/systemd/system/navi.service`.
- Working directory: `/home/ubuntu/navi-1`.
- ExecStart: `/home/ubuntu/navi-1/.venv/bin/navi-server`.
- Listening port: `8099` (uvicorn, `0.0.0.0:8099`).
- Health endpoint: `http://127.0.0.1:8099/health`.
- Configuration: `/home/ubuntu/navi-1/.env` (contains `OLLAMA_API_KEY`, `OLLAMA_HOST=https://ollama.com`, embedding settings; no raw key values documented here).
- No `ollama_backends.json` file exists in the working directory.

## Navi Postgres Container

- Container: `navi-postgres`, image `pgvector/pgvector:pg16` (Postgres 16 + pgvector).
- Compose project: `deploy`, file `/home/ubuntu/navi-1/deploy/docker-compose.yml`, service `postgres` (`container_name: navi-postgres`, `image: pgvector/pgvector:pg16`).
- Container created 2026-09-09T17:42:17Z; recreated 2026-10-08T11:25 UTC (GHard panel events: `container_removed` 11:25:00Z → `container_added` 11:25:20Z, same image `pgvector/pgvector:pg16`); healthy after restart.
- Only postgres container and only postgres-family image (`pgvector/pgvector:pg16`, id `9b05db12a354`) on this host — no legacy plain `postgres` image present; the pgvector image was already in use before the 2026-10-08 recreate.
- Docker restart policy поднял контейнер после ребута хоста: removed 11:25:00 → added 11:25:20, healthy с 11:25:01, volume цел, restarts=0.
- SSH access: user `ubuntu` (root login denied), docker requires `sudo` (password in gnexus-creds, secret `internal-proxy-vps-creds`).
- Verified via SSH 2026-10-08.

## Host Reboot 2026-10-08 (navi rei)

- Причина recreate контейнера: полная перезагрузка VM. Чистый shutdown по ACPI power-key 11:24:20 UTC (journalctl -b -1: `Power key pressed` + штатная Power-Off последовательность; `last -x`: `shutdown system down Thu Oct  8 11:24`), boot 11:24:50 UTC. Краш/OOM/питание/unattended-upgrades исключены.
- Восстановление проверено: navi.service active, health 200 (embed 401 при старте — хроническое, см. ниже); nginx-путь снаружи — auth/synapse/tasks/hpanel/bugtrail/creds все 200 (11:34 UTC); панель services_overview 6/6 up.
- Побочные наблюдения (не инцидент): (1) embed_unavailable (401) при каждом старте navi-server — хроническое (10/16/23 сен, 8 окт). (2) После ребута возобновился цикл disconnect/reconnect MCP navi-3d/navi-web (30 за 5 мин; после бута 23 сен такой цикл шёл до 26 сен, ~22.4k disconnect'ов, сам прекратился). Конфиги mcp_servers.d не менялись с 2026-09-09; navi-3d/navi-web указывают на несуществующий путь `/home/gmikcon/Projects/navi-1/...` (Errno 2), navi_ui — на localhost:8001 (не слушается).
- Открытый вопрос: инициатор ACPI power-key на гипервизоре bserv (virsh/Cockpit/сессия владельца) не установлен — gntodo задача 455.

## 2026-10-11: ложные события container_removed/added (триаж rei)

- GHard panel events: `container_removed` 17:59:48Z → `container_added` 18:00:38Z для `navi-postgres` (pgvector/pgvector:pg16). Триаж по SSH (2026-10-11 ~18:02 UTC): контейнер НЕ пересоздавался — `docker inspect`: StartedAt=2026-10-08T11:25:01Z, Created=2026-09-09T17:42:17Z, RestartCount=0, health=healthy непрерывно; `docker ps` показывал "Up 3 days (healthy)".
- Причина артефакта: пик нагрузки в окне 17:52–18:01 UTC (load 1.67; CPU агента мониторинга 12→60% ровно в 17:59:08–18:00:38) на фоне буферизации nginx'ом крупного проксируемого ответа; в 17:59:55 dockerd зафиксировал разрыв docker-стрима (`stream copy error: file already closed`), агент GHard (hard-monitor.service, MainPID 521, без рестарта с 2026-10-08 11:24:48) пере-детектировал контейнер → пара removed/added. Реального recreate не было.
- Попутно объяснён рост диска / 72%→87% (+1.07 ГБ за ~9 мин): nginx worker (PID 748) держит открытый fd на удалённый proxy temp-файл `/var/lib/nginx/proxy/1/49/0000012491` ровно 1 GiB (Modify 18:00:45) + второй deleted-файл 21 MB; расхождение du↔df ~1.5G. Место освободится при закрытии fd (завершение запроса или nginx reload/restart) — вмешательство не требовалось. Долгосрочно диск поджимают /var/log journal (760M) и access.log (175M, краулер-трафик GPTBot/meta-externalagent на git.gnexus.space с 192.168.1.150).
- Сервисы здоровы: navi.service active (health 200), nginx active, openvpn@client inactive/masked (штатно отключён), swap 0. Вмешательства не потребовалось.
- Наблюдение (не инцидент): nginx error.log — повторяющиеся `[crit] SSL bad key share` и `[alert] could not allocate new session in SSL shared cache` с клиента 192.168.1.150; SSL session cache периодически переполняется.

## 2026-10-16: disk_high 91.8% — повтор прецедента 2026-10-11, корень установлен (navi rei)

- GHard event `f669b251` disk_high `/` 91.8% (порог 90) ~16:19 UTC; за час 76.8%→91.8% (+1.08 GB) на фоне входящего трафика ~35 MB/s.
- Триаж по SSH (16:27–16:28 UTC, read-only, user ubuntu + sudo): nginx worker PID 1629442 держит deleted-but-open proxy temp `/var/lib/nginx/proxy/9/01/0000020019 (deleted)` ровно 1 GiB (fd 39) — дефолтный `proxy_max_temp_file_size=1024M`; du↔df gap ~1.0 GB. Точная копия инцидента 2026-10-11 (там PID 748).
- Источник трафика: клиент jellyfin-androidtv (192.168.1.150 через ovpn, 15 established :443) стримит `jellyfin.gnexus.space`; апстрим ~35 MB/s против потребления клиента ~3.5 MB/s → nginx буферизует разницу на диск; в 16:18:54 temp упёрся в кап 1 GiB и перестал расти (nginx троттлит апстрим).
- КОРЕНЬ: vhost `jellyfin.gnexus.space` не имеет `proxy_buffering off`. Без директивы 6 из 17 enabled-сайтов: jellyfin, cloud, git, gnexus.space, transmission, bugtrail (у остальных 11 off есть). Медиа-стрим через буферизующий vhost = гарантированный 1 GiB temp на каждый крупный ответ.
- Состояние: df 6.2G/7.1G (92%), 559M free, inodes 23% (здоровы); сервисы здоровы (nginx, navi.service, navi-postgres up 8 days healthy, docker 0B reclaimable). fd на момент триажа не закрыт; место вернётся при закрытии fd (конец стрима / worker exit / graceful reload).
- Хронический фон: /var/log/journal 745M, /var/log/nginx 459M (access.log 122M растёт), apt lists+cache 276M, старое ядро 4.15.0-213 ~250–300M. Кандидаты очистки суммарно ~2.1–2.3 GB (92%→~63%) — ждут решения владельца; ничего не удалено, конфиги не менялись.
- Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (navi rei workspace).
- Резолюция (17:30 UTC, GHard event `369dbf93` disk_recovered `/` 77.0% <85): fd закрыт при завершении стрима — 17:24→17:30 UTC −1.07 GB → 77.0% (плато 91.9–92.0% держалось 16:24–17:24 при трафике ~2 MB/s). SSH-верификация 17:35 UTC (read-only): df 5.2G/7.1G = 78% (1.6G free), deleted-but-open fd у nginx отсутствует (lsof пуст), `/var/lib/nginx/proxy` 4.0M. Прогноз триажа («место вернётся при закрытии fd») выполнен точно; вмешательство не потребовалось, владельцу не сообщал (восстановление штатное). Открытые пункты без изменений: очистка ~2.1–2.3 GB и `proxy_buffering off` в jellyfin/cloud/transmission — ждут решения владельца.

## 2026-10-16 (вечер): второй эпизод disk_high — класс подтверждён (navi rei)

- GHard events: `disk_high` #851 `/` 92.0% (critical) 17:49:37 UTC → `disk_recovered` #852 77.1% (<85) 18:31:09 UTC (event `f18217dc`). Второй эпизод за 2 часа после первого (16:19→17:30 UTC).
- Сигнатура идентична эпизоду 1 и прецеденту 2026-10-11: +1.07 GB за ~8 мин (5.54→6.62 GB), плато 92.0–92.1% ~40 мин (temp капнут на 1 GiB, fd открыт), −1.07 GB за 8 мин при завершении стрима; сетевой всплеск 0.13→1.7–2.5 MB/s.
- SSH-триаж во втором эпизоде не проводился — корень уже установлен в эпизоде 1 (jellyfin vhost без `proxy_buffering off`); вмешательство не требовалось.
- Верификация 18:32 UTC (панель): сервер online, `/` 77.1% (5.55/7.6 GB), `/home` 5.7%, CPU 1.5%, RAM 0.73/4.1 GB, swap ~0; services 8/8 up; новых событий после #852 нет.
- Итог: 3-й эпизод класса (2026-10-11, 2026-10-16 ×2). Пока jellyfin/cloud/transmission/git/gnexus.space/bugtrail без `proxy_buffering off`, каждый крупный стрим/ответ = +1 GiB temp на корневом разделе 7.6 GB. Корневое решение и очистка ~2.1–2.3 GB по-прежнему ждут решения владельца. Отчёт: `workspace/incident_internalproxy_disk_2026-10-16.md` (раздел «Второй эпизод»).

## Listening TCP Ports

- `22`
- `80`
- `443`
- `8099` (navi.service)

## Proxy Scope

The nginx proxy handles the `gnexus.space` domain family.

Enabled nginx sites (verified 2026-10-05):

- `auth.gnexus.space`
- `bugtrail.gnexus.space`
- `cloud.gnexus.space`
- `creds.gnexus.space`
- `files.gnexus.space`
- `fuckjira.gnexus.space`
- `git.gnexus.space`
- `gnexus.space`
- `hpanel.gnexus.space`
- `jellyfin.gnexus.space`
- `navi.gnexus.space`
- `synapse.gnexus.space`
- `tasks.gnexus.space`
- `tgclientmcp.gnexus.space`
- `transcribe-demo.gnexus.space`
- `transmission.gnexus.space`
- `vmk-marginator.gnexus.space`

Available nginx site files that are not currently confirmed as enabled:

- `anicusi.gnexus.space`
- `cats.gnexus.space`
- `fdroid.gnexus.space`
- `ferumina.gnexus.space`
- `lytvak.gnexus.space`
- `mail.gnexus.space`
- `minecraft.gnexus.space`
- `ollama.gnexus.space`
- `sups.gnexus.space`
- `topics.gnexus.space`

## Confirmed Proxy Mappings

| Domain | Upstream |
| --- | --- |
| `auth.gnexus.space` | `http://192.168.1.167` |
| `bugtrail.gnexus.space` | `http://192.168.1.177:80` |
| `cloud.gnexus.space` | `http://192.168.1.152` |
| `creds.gnexus.space` | `http://192.168.1.173` |
| `files.gnexus.space` | `http://192.168.1.157` |
| `fuckjira.gnexus.space` | `http://192.168.1.175:8080` |
| `git.gnexus.space` | `http://192.168.1.156` |
| `gnexus.space` | `http://192.168.1.151` |
| `hpanel.gnexus.space` | `http://192.168.1.176:8000` |
| `jellyfin.gnexus.space` | `http://192.168.1.153:8096` |
| `navi.gnexus.space` | `http://192.168.1.168:8000` |
| `synapse.gnexus.space` | `http://192.168.1.172:8013` |
| `tasks.gnexus.space` | `http://192.168.1.179:8135` |
| `tgclientmcp.gnexus.space` | `http://192.168.1.171:8710` |
| `transcribe-demo.gnexus.space` | `http://192.168.1.75:5173` |
| `transmission.gnexus.space` | `http://192.168.1.154:3000` |
| `vmk-marginator.gnexus.space` | `http://192.168.1.178:8080` |

Known available but not confirmed enabled mappings:

| Domain | Upstream |
| --- | --- |
| `lytvak.gnexus.space` | `http://192.168.1.167` |
| `minecraft.gnexus.space` | `tcp://192.168.1.218:25565` |

Proxying is mixed by hostname, path, and ports. SSH forwarding to the internal `alex` VPS on a custom port is believed to exist and still needs confirmation from nginx or firewall configuration.

## TLS Certificates (certbot)

- Separate certbot certificate for `bugtrail.gnexus.space` issued 2026-09-18 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/bugtrail.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-17, CN=bugtrail.gnexus.space, issuer Let's Encrypt (YR2).
- Separate certbot certificate for `tasks.gnexus.space` issued 2026-09-21 (nginx authenticator, http-01). Files: `/etc/letsencrypt/live/tasks.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2026-12-20. Site `tasks.gnexus.space` proxies to `http://192.168.1.179:8135` (gntodo stack): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 12m`, `proxy_set_header Host $host` (required — /mcp Host check), `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/api/` and `/mcp/` (SSE). Site created by the Proxy navi instance, :443 block completed by rei (2026-09-21).
- Separate certbot certificate for `tgclientmcp.gnexus.space` issued 2026-10-05 (nginx authenticator, http-01, by navi rei). Files: `/etc/letsencrypt/live/tgclientmcp.gnexus.space/fullchain.pem` and `privkey.pem`, valid until 2027-01-03. Site `tgclientmcp.gnexus.space` proxies to `http://192.168.1.171:8710` (tgclient-mcp): :80 block (no redirect) + :443 block with the dedicated certificate, `client_max_body_size 32m` (media 20 MB + base64 overhead), `proxy_set_header Host $host`, `X-Forwarded-Proto https`, and `proxy_buffering off` + `proxy_read_timeout 300s` on `/mcp-protocol/` (MCP streamable HTTP). Deploy note: first certbot run glued the :443 directives into the :80 server block — the site was rewritten into two clean blocks (tasks.gnexus.space style).
- Other sites use the shared `gnexus.space` multi-SAN certificate (10 SANs, unchanged by this work).

No raw credentials are documented here.
