owner: gmikcon status: active last_reviewed: 2026-11-06 review_interval: 90d confidence: high
VM (libvirt domain gnexus-home на hp-proliant-dl380-g6), 192.168.1.151, MAC 52:54:00:7c:40:9b, Ubuntu 22.04.4 LTS, 1 GB RAM (957 MB usable), диск / 5.8 GB + /home 9.8 GB.
gnexus.space (welcome-страница платформы): Apache + PHP, vhosts 000-default и iso-share (alias /share → /home/ubuntu/share_iso). Слушает только :80 (443 нет — TLS терминирует nginx прокси .183).gnexus_blog (~3.5 MB, 84 записи в wp_posts).ubuntu@192.168.1.151, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет. SSH напрямую с navi (.168) может не работать из-за ARP-конфликта (см. инцидент 2026-11-06) — надёжный путь: через панель-хост .176 (sshpass -p getroot88 ssh ubuntu@192.168.1.151).
Повод: hard-panel event #903 ram_high 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (plocate-updatedb.timer 18:37:06 + check-new-release). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).
Применено (бэкапы *.bak-rei-20261017 рядом с конфигами):
| Мера | Было | Стало |
|---|---|---|
| Swap | /swapfile 280 MB (pri=-2, на /) | /home/swapfile 1 GB (pri=1, fstab sw,pri=1) |
| MySQL | buffer_pool 128M, performance_schema ON | buffer_pool 64M, performance_schema OFF — /etc/mysql/mysql.conf.d/zz-rei-tuning.cnf |
| Apache prefork | Start 5 / Min 5 / Max 10 / MRW 150 | Start 2 / Min 2 / Max 4 / MRW 20 |
| Диск / | 95.7% | 85.9% (apt-get clean + journalctl --vacuum-size=50M) |
Результат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, https://gnexus.space → 200.
Грабли: конфиг-файл MySQL без секции [mysqld] молча не применяется — после рестарта проверять SELECT @@performance_schema, @@innodb_buffer_pool_size.
Повод: hard-panel events #905 cpu_high 97.3% + #906 load_high 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2.
Причина: внешний краулер-шторм через внутренний прокси ovpn_reserv (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по virsh dumpxml на гипервизоре 192.168.1.130). Паттерн: проба /.env в 01:53, затем брутфорс /blog/.git/objects/xx/yyyy — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд POST /blog/wp-cron.php со случайными UA. Признаки проксирования: HTTP/1.0, referer http://gnexus.space/.env, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12.
Митигация (22:30:03, бэкап 000-default.conf.bak-rei-20261018): в vhost 000-default.conf добавлены
RedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env) — 404/274 B вместо 404/24510 B (проверено curl);RedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php).Результат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, https://gnexus.space → 200. OOM-киллов не было.
Восстановление подтверждено панелью: #907 cpu_recovered 1.0% в 22:30:38 UTC (load1-хвост 8.1 затухал до 0.0 к 22:38 — верифицировано rei в reaction-сессии доставки, load вернулся к baseline, OOM-киллов нет).
Примечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms.
Повод: hard-panel event #1324 server_offline «нет данных 3 мин» в 10:46:16.764 UTC (priority high), #1325 server_online в 10:46:19.112 (gap 2.3 c). Публичный https://gnexus.space в это время отдавал 502 Bad Gateway (nginx .183) — периодически с ~09:21 UTC (connect refused на апстриме), восстановлен в 11:04:46 UTC → 200.
VM не падала: uptime непрерывен (панель 175832 с = SSH up 2 days, 1:01), CPU 0.4–0.8%, RAM 45.8%, swap ~1 MB, без ребута и OOM; Apache/MySQL active, localhost → 200.
Первопричина: IP-конфликт на 192.168.1.151. Второе устройство с MAC 0e:c6:7d:38:8e:78 (locally administered — похоже на рандомизированный WiFi MAC телефона/ноута; порты 22/80/443 закрыты-RST, открыт TLS 1467; RTT 7–250 мс с джиттером) отвечало на ARP запросы части хостов за .151, вытесняя настоящий MAC 52:54:00:7c:40:9b. Зависимость от точки сети:
http://192.168.1.151:80/): периодические connect() failed (111: Connection refused) 09:21–11:02 UTC (11:00:00, 11:00:12, 11:02:30, 11:02:31 и др.) → публичные 502; прямой curl с .183 в паузы конфликтов давал 200, ARP к тому времени был уже STALE-чистый;Митигация (11:02–11:03 UTC, rei, обратимая — ip neigh flush откатывает): статические записи ip neigh replace <ip> lladdr <mac> nud permanent dev enp1s0: на .183 для .151 → 52:54:00:7c:40:9b; на .176 для .151 → 52:54:00:7c:40:9b; в госте для .176 → 52:54:00:6d:52:80. Проверка после: upstream с .183 → 200 (2×), публичный сайт → 200 в 11:04:46, агентный путь (гость curl 192.168.1.176:8000/api/v1/health) → 200. Новых offline-событий после не было.
Открытые вопросы: (1) идентифицировать и нейтрализовать фантомное устройство (MAC 0e:c6:7d:38:8e:78, TLS:1467) — проверить DHCP-leases на роутере 192.168.1.1; (2) перевести временные static-ARP записи в постоянные (systemd unit / netplan) — перезапись ip neigh не переживает reboot; (3) диск / 90% (569 MB свободно) — чистить при ≥95%.