diff --git a/10-systems/hosts/gnexus-home.md b/10-systems/hosts/gnexus-home.md index 1d09c3e..65309e0 100644 --- a/10-systems/hosts/gnexus-home.md +++ b/10-systems/hosts/gnexus-home.md @@ -1,8 +1,8 @@ --- owner: gmikcon status: active -last_reviewed: 2026-10-17 -review_interval: 90d +last_reviewed: 2026-10-18 +review_interval: "90d" confidence: high source_of_truth: ssh-host-verified --- @@ -38,7 +38,31 @@ Грабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`. +## Инцидент 2026-10-18 22:27–22:33 UTC: cpu_high 97.3% — скан-шторм /blog/.git (navi rei) + +Повод: hard-panel event #905 `cpu_high` 97.3% + #906 `load_high` 6.0×cores (22:28:08 UTC). До этого весь вечер CPU 0.5–0.8%. + +Причина: внешний сканер (через internal-proxy `192.168.1.183`, который проксирует в LAN) перебирал `GET /blog/.git/objects//` — попытка стянуть .git WordPress. Каждый 404 рендерился WordPress (bootstrap + запросы в MySQL, страница ошибки 24.5 KB), ~680 запросов за 3 минуты → все 4 prefork-воркера заняты (AH00161 MaxRequestWorkers в 22:27:41), load1 до 13.4 на 1 vCPU. Плюс транзиентный `check-new-release` (38.9% CPU, завершился сам). Сканер шёл волнами: 20:44 (index.php probing), 22:27–22:30:45 (шторм), после 22:32:03 — тишина. + +Митигация (бэкап `000-default.conf.bak-rei-20261018` рядом): + +```apache +# в 000-default.conf, сразу после DocumentRoot +RedirectMatch 404 (?i)/blog/\.(git|svn|hg|env) +RedirectMatch 404 (?i)/(wp-login\.php|xmlrpc\.php) +``` + +RedirectMatch срабатывает до WordPress: 404 за 0.8 мс / 271 байт вместо 24.5 KB через WP+MySQL. `apachectl configtest` OK, graceful reload. Проверено: `/blog/` → 200 (58 KB), `/` → 200, `.git`-запрос → 404 мгновенно. + +Результат: CPU 97.3% → 1.9% (22:33:09), load1 13.4 → 0.66, панель записала #907 `cpu_recovered` и #908 `load_recovered`. Сканер к моменту фикса уже затих — фикс закрывает уязвимость на будущее (следующая волна будет отбиваться мгновенно). + +Открытые вопросы владельцу: + +- Сканер идёт через internal-proxy — стоит ли резать такие пути ещё и на nginx прокси (fail2ban / limit_req)? +- Диск / снова 88.5% (после чистки 17 Oct было 85.9%) — медленный рост, следить. + ## История инцидентов - 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md). - 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei). +- 2026-10-18 22:28 UTC: cpu_high 97.3% (event #905) — скан-шторм /blog/.git через internal-proxy; митигация RedirectMatch выше (navi rei). diff --git a/90-maintenance/pending-changes/20261018223342-e96c3c52.json b/90-maintenance/pending-changes/20261018223342-e96c3c52.json new file mode 100644 index 0000000..ac47066 --- /dev/null +++ b/90-maintenance/pending-changes/20261018223342-e96c3c52.json @@ -0,0 +1,19 @@ +{ + "id": "20261018223342-e96c3c52", + "kind": "doc", + "target": "10-systems/hosts/gnexus-home.md", + "summary": "gnexus-home: инцидент cpu_high 97.3% 18 Oct (скан-шторм /blog/.git через internal-proxy) + митигация RedirectMatch 404 в Apache", + "reason": "Инцидент cpu_high 97.3% (event #905, 2026-10-18 22:28 UTC): скан-шторм /blog/.git через internal-proxy на WordPress; применена митигация RedirectMatch 404 в 000-default.conf (бэкап .bak-rei-20261018), верифицировано по SSH и панели (CPU 97.3→1.9%).", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-18\nreview_interval: \"90d\"\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# gnexus-home\n\nVM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB.\n\n## Роль\n\n- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`).\n- MySQL: WordPress-база `gnexus_blog` (~3.5 MB, 84 записи в wp_posts).\n- Агент hard-monitor (панель server id 42).\n\n## SSH\n\n`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет.\n\n## Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%)\n\nПовод: hard-panel event #903 `ram_high` 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (`plocate-updatedb.timer` 18:37:06 + `check-new-release`). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).\n\nПрименено (бэкапы `*.bak-rei-20261017` рядом с конфигами):\n\n| Мера | Было | Стало |\n| --- | --- | --- |\n| Swap | /swapfile 280 MB (pri=-2, на /) | /home/swapfile 1 GB (pri=1, fstab `sw,pri=1`) |\n| MySQL | buffer_pool 128M, performance_schema ON | buffer_pool 64M, performance_schema OFF — `/etc/mysql/mysql.conf.d/zz-rei-tuning.cnf` |\n| Apache prefork | Start 5 / Min 5 / Max 10 / MRW 150 | Start 2 / Min 2 / Max 4 / MRW 20 |\n| Диск / | 95.7% | 85.9% (apt-get clean + journalctl --vacuum-size=50M) |\n\nРезультат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, `https://gnexus.space` → 200.\n\nГрабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`.\n\n## Инцидент 2026-10-18 22:27–22:33 UTC: cpu_high 97.3% — скан-шторм /blog/.git (navi rei)\n\nПовод: hard-panel event #905 `cpu_high` 97.3% + #906 `load_high` 6.0×cores (22:28:08 UTC). До этого весь вечер CPU 0.5–0.8%.\n\nПричина: внешний сканер (через internal-proxy `192.168.1.183`, который проксирует в LAN) перебирал `GET /blog/.git/objects//` — попытка стянуть .git WordPress. Каждый 404 рендерился WordPress (bootstrap + запросы в MySQL, страница ошибки 24.5 KB), ~680 запросов за 3 минуты → все 4 prefork-воркера заняты (AH00161 MaxRequestWorkers в 22:27:41), load1 до 13.4 на 1 vCPU. Плюс транзиентный `check-new-release` (38.9% CPU, завершился сам). Сканер шёл волнами: 20:44 (index.php probing), 22:27–22:30:45 (шторм), после 22:32:03 — тишина.\n\nМитигация (бэкап `000-default.conf.bak-rei-20261018` рядом):\n\n```apache\n# в 000-default.conf, сразу после DocumentRoot\nRedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env)\nRedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php)\n```\n\nRedirectMatch срабатывает до WordPress: 404 за 0.8 мс / 271 байт вместо 24.5 KB через WP+MySQL. `apachectl configtest` OK, graceful reload. Проверено: `/blog/` → 200 (58 KB), `/` → 200, `.git`-запрос → 404 мгновенно.\n\nРезультат: CPU 97.3% → 1.9% (22:33:09), load1 13.4 → 0.66, панель записала #907 `cpu_recovered` и #908 `load_recovered`. Сканер к моменту фикса уже затих — фикс закрывает уязвимость на будущее (следующая волна будет отбиваться мгновенно).\n\nОткрытые вопросы владельцу:\n\n- Сканер идёт через internal-proxy — стоит ли резать такие пути ещё и на nginx прокси (fail2ban / limit_req)?\n- Диск / снова 88.5% (после чистки 17 Oct было 85.9%) — медленный рост, следить.\n\n## История инцидентов\n\n- 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md).\n- 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei).\n- 2026-10-18 22:28 UTC: cpu_high 97.3% (event #905) — скан-шторм /blog/.git через internal-proxy; митигация RedirectMatch выше (navi rei)." + }, + "status": "applied", + "created_at": "2026-10-18T22:33:42Z", + "updated_at": "2026-10-18T22:33:44Z", + "applied_at": "2026-10-18T22:33:44Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}