diff --git a/10-systems/hosts/gnexus-home.md b/10-systems/hosts/gnexus-home.md index bce1b73..c43a1a5 100644 --- a/10-systems/hosts/gnexus-home.md +++ b/10-systems/hosts/gnexus-home.md @@ -1,7 +1,7 @@ --- owner: gmikcon status: active -last_reviewed: 2026-10-18 +last_reviewed: 2026-11-06 review_interval: 90d confidence: high source_of_truth: ssh-host-verified @@ -9,17 +9,17 @@ # gnexus-home -VM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB. +VM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, MAC 52:54:00:7c:40:9b, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB. ## Роль -- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`). +- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`). Слушает только :80 (443 нет — TLS терминирует nginx прокси .183). - MySQL: WordPress-база `gnexus_blog` (~3.5 MB, 84 записи в wp_posts). -- Агент hard-monitor (панель server id 42). +- Агент hard-monitor (панель server id 42, отправка на 192.168.1.176:8000, интервал 30 с). ## SSH -`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет. +`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет. SSH напрямую с navi (.168) может не работать из-за ARP-конфликта (см. инцидент 2026-11-06) — надёжный путь: через панель-хост .176 (`sshpass -p getroot88 ssh ubuntu@192.168.1.151`). ## Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%) @@ -46,8 +46,8 @@ Митигация (22:30:03, бэкап `000-default.conf.bak-rei-20261018`): в vhost `000-default.conf` добавлены -- `RedirectMatch 404 (?i)/blog/\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl); -- `RedirectMatch 404 (?i)/(wp-login\.php|xmlrpc\.php)`. +- `RedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl); +- `RedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php)`. Результат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, `https://gnexus.space` → 200. OOM-киллов не было. @@ -55,8 +55,25 @@ Примечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms. +## Инцидент 2026-11-06 10:46 UTC — server_offline flap: IP-конфликт на 192.168.1.151 (фантомный WiFi-MAC) + +Повод: hard-panel event #1324 `server_offline` «нет данных 3 мин» в 10:46:16.764 UTC (priority high), #1325 `server_online` в 10:46:19.112 (gap 2.3 c). Публичный `https://gnexus.space` в это время отдавал 502 Bad Gateway (nginx .183) — периодически с ~09:21 UTC (connect refused на апстриме), восстановлен в 11:04:46 UTC → 200. + +VM не падала: uptime непрерывен (панель 175832 с = SSH `up 2 days, 1:01`), CPU 0.4–0.8%, RAM 45.8%, swap ~1 MB, без ребута и OOM; Apache/MySQL active, localhost → 200. + +Перво­причина: IP-конфликт на 192.168.1.151. Второе устройство с MAC `0e:c6:7d:38:8e:78` (locally administered — похоже на рандомизированный WiFi MAC телефона/ноута; порты 22/80/443 закрыты-RST, открыт TLS 1467; RTT 7–250 мс с джиттером) отвечало на ARP запросы части хостов за .151, вытесняя настоящий MAC `52:54:00:7c:40:9b`. Зависимость от точки сети: + +- гость → панель .176: транзиентные ARP-победы фантома → 5 подряд таймаутов доставки агента 10:43:56–10:45:56 (плюс одиночные 10:48:26, 10:49:56) → панель: offline 3 мин; +- nginx .183 (upstream `http://192.168.1.151:80/`): периодические `connect() failed (111: Connection refused)` 09:21–11:02 UTC (11:00:00, 11:00:12, 11:02:30, 11:02:31 и др.) → публичные 502; прямой curl с .183 в паузы конфликтов давал 200, ARP к тому времени был уже STALE-чистый; +- с .176 ARP в основном чистый (REACHABLE 52:54:00:7c:40:9b), ping 0.6 мс, SSH/HTTP к VM работали — поэтому flap был локальным по точкам наблюдения. + +Митигация (11:02–11:03 UTC, rei, обратимая — `ip neigh flush` откатывает): статические записи `ip neigh replace lladdr nud permanent dev enp1s0`: на .183 для .151 → 52:54:00:7c:40:9b; на .176 для .151 → 52:54:00:7c:40:9b; в госте для .176 → 52:54:00:6d:52:80. Проверка после: upstream с .183 → 200 (2×), публичный сайт → 200 в 11:04:46, агентный путь (гость curl 192.168.1.176:8000/api/v1/health) → 200. Новых offline-событий после не было. + +Открытые вопросы: (1) идентифицировать и нейтрализовать фантомное устройство (MAC 0e:c6:7d:38:8e:78, TLS:1467) — проверить DHCP-leases на роутере 192.168.1.1; (2) перевести временные static-ARP записи в постоянные (systemd unit / netplan) — перезапись `ip neigh` не переживает reboot; (3) диск / 90% (569 MB свободно) — чистить при ≥95%. + ## История инцидентов - 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md). - 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei). - 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам, восстановление #907 cpu_recovered 22:30:38 (см. раздел выше). +- 2026-11-06 10:46 UTC: server_offline #1324/#1325 flap + публичные 502 с ~09:21 — IP-конфликт на .151 с фантомным WiFi-MAC 0e:c6:7d:38:8e:78, VM не падала; статические ARP на .183/.176/госте, восстановление 11:04:46 → 200 (см. раздел выше). diff --git a/90-maintenance/pending-changes/20261106110601-4e8bfb67.json b/90-maintenance/pending-changes/20261106110601-4e8bfb67.json new file mode 100644 index 0000000..4007760 --- /dev/null +++ b/90-maintenance/pending-changes/20261106110601-4e8bfb67.json @@ -0,0 +1,19 @@ +{ + "id": "20261106110601-4e8bfb67", + "kind": "doc", + "target": "10-systems/hosts/gnexus-home.md", + "summary": "gnexus-home: инцидент 2026-11-06 server_offline flap — первопричина IP-конфликт на .151 с фантомным WiFi-MAC 0e:c6:7d:38:8e:78; статические ARP-записи на .183/.176/госте, сайт восстановлен (502 → 200)", + "reason": "Реакция на событие hard-panel server_offline (server 42): установлен первопричина flap — IP-конфликт на 192.168.1.151 с фантомным WiFi-MAC; применены временные static-ARP записи, восстановлен публичный сайт.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-11-06\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# gnexus-home\n\nVM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, MAC 52:54:00:7c:40:9b, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB.\n\n## Роль\n\n- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`). Слушает только :80 (443 нет — TLS терминирует nginx прокси .183).\n- MySQL: WordPress-база `gnexus_blog` (~3.5 MB, 84 записи в wp_posts).\n- Агент hard-monitor (панель server id 42, отправка на 192.168.1.176:8000, интервал 30 с).\n\n## SSH\n\n`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет. SSH напрямую с navi (.168) может не работать из-за ARP-конфликта (см. инцидент 2026-11-06) — надёжный путь: через панель-хост .176 (`sshpass -p getroot88 ssh ubuntu@192.168.1.151`).\n\n## Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%)\n\nПовод: hard-panel event #903 `ram_high` 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (`plocate-updatedb.timer` 18:37:06 + `check-new-release`). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).\n\nПрименено (бэкапы `*.bak-rei-20261017` рядом с конфигами):\n\n| Мера | Было | Стало |\n| --- | --- | --- |\n| Swap | /swapfile 280 MB (pri=-2, на /) | /home/swapfile 1 GB (pri=1, fstab `sw,pri=1`) |\n| MySQL | buffer_pool 128M, performance_schema ON | buffer_pool 64M, performance_schema OFF — `/etc/mysql/mysql.conf.d/zz-rei-tuning.cnf` |\n| Apache prefork | Start 5 / Min 5 / Max 10 / MRW 150 | Start 2 / Min 2 / Max 4 / MRW 20 |\n| Диск / | 95.7% | 85.9% (apt-get clean + journalctl --vacuum-size=50M) |\n\nРезультат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, `https://gnexus.space` → 200.\n\nГрабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`.\n\n## Инцидент 2026-10-18 22:28 UTC — load_high 5.98 (краулер-шторм через ovpn_reserv)\n\nПовод: hard-panel events #905 `cpu_high` 97.3% + #906 `load_high` 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2.\n\nПричина: внешний краулер-шторм через внутренний прокси `ovpn_reserv` (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по `virsh dumpxml` на гипервизоре 192.168.1.130). Паттерн: проба `/.env` в 01:53, затем брутфорс `/blog/.git/objects/xx/yyyy` — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд `POST /blog/wp-cron.php` со случайными UA. Признаки проксирования: HTTP/1.0, referer `http://gnexus.space/.env`, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12.\n\nМитигация (22:30:03, бэкап `000-default.conf.bak-rei-20261018`): в vhost `000-default.conf` добавлены\n\n- `RedirectMatch 404 (?i)/blog/\\\\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl);\n- `RedirectMatch 404 (?i)/(wp-login\\\\.php|xmlrpc\\\\.php)`.\n\nРезультат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, `https://gnexus.space` → 200. OOM-киллов не было.\n\nВосстановление подтверждено панелью: #907 `cpu_recovered` 1.0% в 22:30:38 UTC (load1-хвост 8.1 затухал до 0.0 к 22:38 — верифицировано rei в reaction-сессии доставки, load вернулся к baseline, OOM-киллов нет).\n\nПримечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms.\n\n## Инцидент 2026-11-06 10:46 UTC — server_offline flap: IP-конфликт на 192.168.1.151 (фантомный WiFi-MAC)\n\nПовод: hard-panel event #1324 `server_offline` «нет данных 3 мин» в 10:46:16.764 UTC (priority high), #1325 `server_online` в 10:46:19.112 (gap 2.3 c). Публичный `https://gnexus.space` в это время отдавал 502 Bad Gateway (nginx .183) — периодически с ~09:21 UTC (connect refused на апстриме), восстановлен в 11:04:46 UTC → 200.\n\nVM не падала: uptime непрерывен (панель 175832 с = SSH `up 2 days, 1:01`), CPU 0.4–0.8%, RAM 45.8%, swap ~1 MB, без ребута и OOM; Apache/MySQL active, localhost → 200.\n\nПерво­причина: IP-конфликт на 192.168.1.151. Второе устройство с MAC `0e:c6:7d:38:8e:78` (locally administered — похоже на рандомизированный WiFi MAC телефона/ноута; порты 22/80/443 закрыты-RST, открыт TLS 1467; RTT 7–250 мс с джиттером) отвечало на ARP запросы части хостов за .151, вытесняя настоящий MAC `52:54:00:7c:40:9b`. Зависимость от точки сети:\n\n- гость → панель .176: транзиентные ARP-победы фантома → 5 подряд таймаутов доставки агента 10:43:56–10:45:56 (плюс одиночные 10:48:26, 10:49:56) → панель: offline 3 мин;\n- nginx .183 (upstream `http://192.168.1.151:80/`): периодические `connect() failed (111: Connection refused)` 09:21–11:02 UTC (11:00:00, 11:00:12, 11:02:30, 11:02:31 и др.) → публичные 502; прямой curl с .183 в паузы конфликтов давал 200, ARP к тому времени был уже STALE-чистый;\n- с .176 ARP в основном чистый (REACHABLE 52:54:00:7c:40:9b), ping 0.6 мс, SSH/HTTP к VM работали — поэтому flap был локальным по точкам наблюдения.\n\nМитигация (11:02–11:03 UTC, rei, обратимая — `ip neigh flush` откатывает): статические записи `ip neigh replace lladdr nud permanent dev enp1s0`: на .183 для .151 → 52:54:00:7c:40:9b; на .176 для .151 → 52:54:00:7c:40:9b; в госте для .176 → 52:54:00:6d:52:80. Проверка после: upstream с .183 → 200 (2×), публичный сайт → 200 в 11:04:46, агентный путь (гость curl 192.168.1.176:8000/api/v1/health) → 200. Новых offline-событий после не было.\n\nОткрытые вопросы: (1) идентифицировать и нейтрализовать фантомное устройство (MAC 0e:c6:7d:38:8e:78, TLS:1467) — проверить DHCP-leases на роутере 192.168.1.1; (2) перевести временные static-ARP записи в постоянные (systemd unit / netplan) — перезапись `ip neigh` не переживает reboot; (3) диск / 90% (569 MB свободно) — чистить при ≥95%.\n\n## История инцидентов\n\n- 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md).\n- 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei).\n- 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам, восстановление #907 cpu_recovered 22:30:38 (см. раздел выше).\n- 2026-11-06 10:46 UTC: server_offline #1324/#1325 flap + публичные 502 с ~09:21 — IP-конфликт на .151 с фантомным WiFi-MAC 0e:c6:7d:38:8e:78, VM не падала; статические ARP на .183/.176/госте, восстановление 11:04:46 → 200 (см. раздел выше).\n" + }, + "status": "applied", + "created_at": "2026-11-06T11:06:01Z", + "updated_at": "2026-11-06T11:06:03Z", + "applied_at": "2026-11-06T11:06:03Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}