Newer
Older
gnexus-book / 10-systems / hosts / gnexus-home.md

owner: gmikcon status: active last_reviewed: 2026-11-06 review_interval: 90d confidence: high

source_of_truth: ssh-host-verified

gnexus-home

VM (libvirt domain gnexus-home на hp-proliant-dl380-g6), 192.168.1.151, MAC 52:54:00:7c:40:9b, Ubuntu 22.04.4 LTS, 1 GB RAM (957 MB usable), диск / 5.8 GB + /home 9.8 GB.

Роль

  • Upstream gnexus.space (welcome-страница платформы): Apache + PHP, vhosts 000-default и iso-share (alias /share → /home/ubuntu/share_iso). Слушает только :80 (443 нет — TLS терминирует nginx прокси .183).
  • MySQL: WordPress-база gnexus_blog (~3.5 MB, 84 записи в wp_posts).
  • Агент hard-monitor (панель server id 42, отправка на 192.168.1.176:8000, интервал 30 с).

SSH

ubuntu@192.168.1.151, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет. SSH напрямую с navi (.168) может не работать из-за ARP-конфликта (см. инцидент 2026-11-06) — надёжный путь: через панель-хост .176 (sshpass -p getroot88 ssh ubuntu@192.168.1.151).

Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%)

Повод: hard-panel event #903 ram_high 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (plocate-updatedb.timer 18:37:06 + check-new-release). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).

Применено (бэкапы *.bak-rei-20261017 рядом с конфигами):

Мера Было Стало
Swap /swapfile 280 MB (pri=-2, на /) /home/swapfile 1 GB (pri=1, fstab sw,pri=1)
MySQL buffer_pool 128M, performance_schema ON buffer_pool 64M, performance_schema OFF — /etc/mysql/mysql.conf.d/zz-rei-tuning.cnf
Apache prefork Start 5 / Min 5 / Max 10 / MRW 150 Start 2 / Min 2 / Max 4 / MRW 20
Диск / 95.7% 85.9% (apt-get clean + journalctl --vacuum-size=50M)

Результат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, https://gnexus.space → 200.

Грабли: конфиг-файл MySQL без секции [mysqld] молча не применяется — после рестарта проверять SELECT @@performance_schema, @@innodb_buffer_pool_size.

Инцидент 2026-10-18 22:28 UTC — load_high 5.98 (краулер-шторм через ovpn_reserv)

Повод: hard-panel events #905 cpu_high 97.3% + #906 load_high 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2.

Причина: внешний краулер-шторм через внутренний прокси ovpn_reserv (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по virsh dumpxml на гипервизоре 192.168.1.130). Паттерн: проба /.env в 01:53, затем брутфорс /blog/.git/objects/xx/yyyy — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд POST /blog/wp-cron.php со случайными UA. Признаки проксирования: HTTP/1.0, referer http://gnexus.space/.env, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12.

Митигация (22:30:03, бэкап 000-default.conf.bak-rei-20261018): в vhost 000-default.conf добавлены

  • RedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env) — 404/274 B вместо 404/24510 B (проверено curl);
  • RedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php).

Результат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, https://gnexus.space → 200. OOM-киллов не было.

Восстановление подтверждено панелью: #907 cpu_recovered 1.0% в 22:30:38 UTC (load1-хвост 8.1 затухал до 0.0 к 22:38 — верифицировано rei в reaction-сессии доставки, load вернулся к baseline, OOM-киллов нет).

Примечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms.

Инцидент 2026-11-06 10:46 UTC — server_offline flap: IP-конфликт на 192.168.1.151 (фантомный WiFi-MAC)

Повод: hard-panel event #1324 server_offline «нет данных 3 мин» в 10:46:16.764 UTC (priority high), #1325 server_online в 10:46:19.112 (gap 2.3 c). Публичный https://gnexus.space в это время отдавал 502 Bad Gateway (nginx .183) — периодически с ~09:21 UTC (connect refused на апстриме), восстановлен в 11:04:46 UTC → 200.

VM не падала: uptime непрерывен (панель 175832 с = SSH up 2 days, 1:01), CPU 0.4–0.8%, RAM 45.8%, swap ~1 MB, без ребута и OOM; Apache/MySQL active, localhost → 200.

Перво­причина: IP-конфликт на 192.168.1.151. Второе устройство с MAC 0e:c6:7d:38:8e:78 (locally administered — похоже на рандомизированный WiFi MAC телефона/ноута; порты 22/80/443 закрыты-RST, открыт TLS 1467; RTT 7–250 мс с джиттером) отвечало на ARP запросы части хостов за .151, вытесняя настоящий MAC 52:54:00:7c:40:9b. Зависимость от точки сети:

  • гость → панель .176: транзиентные ARP-победы фантома → 5 подряд таймаутов доставки агента 10:43:56–10:45:56 (плюс одиночные 10:48:26, 10:49:56) → панель: offline 3 мин;
  • nginx .183 (upstream http://192.168.1.151:80/): периодические connect() failed (111: Connection refused) 09:21–11:02 UTC (11:00:00, 11:00:12, 11:02:30, 11:02:31 и др.) → публичные 502; прямой curl с .183 в паузы конфликтов давал 200, ARP к тому времени был уже STALE-чистый;
  • с .176 ARP в основном чистый (REACHABLE 52:54:00:7c:40:9b), ping 0.6 мс, SSH/HTTP к VM работали — поэтому flap был локальным по точкам наблюдения.

Митигация (11:02–11:03 UTC, rei, обратимая — ip neigh flush откатывает): статические записи ip neigh replace <ip> lladdr <mac> nud permanent dev enp1s0: на .183 для .151 → 52:54:00:7c:40:9b; на .176 для .151 → 52:54:00:7c:40:9b; в госте для .176 → 52:54:00:6d:52:80. Проверка после: upstream с .183 → 200 (2×), публичный сайт → 200 в 11:04:46, агентный путь (гость curl 192.168.1.176:8000/api/v1/health) → 200. Новых offline-событий после не было.

Открытые вопросы: (1) идентифицировать и нейтрализовать фантомное устройство (MAC 0e:c6:7d:38:8e:78, TLS:1467) — проверить DHCP-leases на роутере 192.168.1.1; (2) перевести временные static-ARP записи в постоянные (systemd unit / netplan) — перезапись ip neigh не переживает reboot; (3) диск / 90% (569 MB свободно) — чистить при ≥95%.

История инцидентов

  • 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md).
  • 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei).
  • 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам, восстановление #907 cpu_recovered 22:30:38 (см. раздел выше).
  • 2026-11-06 10:46 UTC: server_offline #1324/#1325 flap + публичные 502 с ~09:21 — IP-конфликт на .151 с фантомным WiFi-MAC 0e:c6:7d:38:8e:78, VM не падала; статические ARP на .183/.176/госте, восстановление 11:04:46 → 200 (см. раздел выше).