diff --git a/10-systems/hosts/gnexus-home.md b/10-systems/hosts/gnexus-home.md index 65309e0..fc05815 100644 --- a/10-systems/hosts/gnexus-home.md +++ b/10-systems/hosts/gnexus-home.md @@ -2,7 +2,7 @@ owner: gmikcon status: active last_reviewed: 2026-10-18 -review_interval: "90d" +review_interval: 90d confidence: high source_of_truth: ssh-host-verified --- @@ -38,31 +38,23 @@ Грабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`. -## Инцидент 2026-10-18 22:27–22:33 UTC: cpu_high 97.3% — скан-шторм /blog/.git (navi rei) +## Инцидент 2026-10-18 22:28 UTC — load_high 5.98 (краулер-шторм через ovpn_reserv) -Повод: hard-panel event #905 `cpu_high` 97.3% + #906 `load_high` 6.0×cores (22:28:08 UTC). До этого весь вечер CPU 0.5–0.8%. +Повод: hard-panel events #905 `cpu_high` 97.3% + #906 `load_high` 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2. -Причина: внешний сканер (через internal-proxy `192.168.1.183`, который проксирует в LAN) перебирал `GET /blog/.git/objects//` — попытка стянуть .git WordPress. Каждый 404 рендерился WordPress (bootstrap + запросы в MySQL, страница ошибки 24.5 KB), ~680 запросов за 3 минуты → все 4 prefork-воркера заняты (AH00161 MaxRequestWorkers в 22:27:41), load1 до 13.4 на 1 vCPU. Плюс транзиентный `check-new-release` (38.9% CPU, завершился сам). Сканер шёл волнами: 20:44 (index.php probing), 22:27–22:30:45 (шторм), после 22:32:03 — тишина. +Причина: внешний краулер-шторм через внутренний прокси `ovpn_reserv` (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по `virsh dumpxml` на гипервизоре 192.168.1.130). Паттерн: проба `/.env` в 01:53, затем брутфорс `/blog/.git/objects/xx/yyyy` — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд `POST /blog/wp-cron.php` со случайными UA. Признаки проксирования: HTTP/1.0, referer `http://gnexus.space/.env`, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12. -Митигация (бэкап `000-default.conf.bak-rei-20261018` рядом): +Митигация (22:30:03, бэкап `000-default.conf.bak-rei-20261018`): в vhost `000-default.conf` добавлены -```apache -# в 000-default.conf, сразу после DocumentRoot -RedirectMatch 404 (?i)/blog/\.(git|svn|hg|env) -RedirectMatch 404 (?i)/(wp-login\.php|xmlrpc\.php) -``` +- `RedirectMatch 404 (?i)/blog/\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl); +- `RedirectMatch 404 (?i)/(wp-login\.php|xmlrpc\.php)`. -RedirectMatch срабатывает до WordPress: 404 за 0.8 мс / 271 байт вместо 24.5 KB через WP+MySQL. `apachectl configtest` OK, graceful reload. Проверено: `/blog/` → 200 (58 KB), `/` → 200, `.git`-запрос → 404 мгновенно. +Результат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, `https://gnexus.space` → 200. OOM-киллов не было. -Результат: CPU 97.3% → 1.9% (22:33:09), load1 13.4 → 0.66, панель записала #907 `cpu_recovered` и #908 `load_recovered`. Сканер к моменту фикса уже затих — фикс закрывает уязвимость на будущее (следующая волна будет отбиваться мгновенно). - -Открытые вопросы владельцу: - -- Сканер идёт через internal-proxy — стоит ли резать такие пути ещё и на nginx прокси (fail2ban / limit_req)? -- Диск / снова 88.5% (после чистки 17 Oct было 85.9%) — медленный рост, следить. +Примечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms. ## История инцидентов - 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md). - 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei). -- 2026-10-18 22:28 UTC: cpu_high 97.3% (event #905) — скан-шторм /blog/.git через internal-proxy; митигация RedirectMatch выше (navi rei). +- 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам (см. раздел выше). diff --git a/90-maintenance/pending-changes/20261018223504-c077e8eb.json b/90-maintenance/pending-changes/20261018223504-c077e8eb.json new file mode 100644 index 0000000..e8fa02c --- /dev/null +++ b/90-maintenance/pending-changes/20261018223504-c077e8eb.json @@ -0,0 +1,19 @@ +{ + "id": "20261018223504-c077e8eb", + "kind": "doc", + "target": "10-systems/hosts/gnexus-home.md", + "summary": "gnexus-home: инцидент load_high 5.98 2026-10-18 (краулер-шторм через ovpn_reserv) + блок-правила Apache", + "reason": "Инцидент load_high 5.98 на gnexus-home 2026-10-18 22:28 UTC: краулер-шторм через ovpn_reserv (192.168.1.183), блок-правила в Apache; верифицировано по SSH и панели (hard-panel events #905/#906)", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-18\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# gnexus-home\n\nVM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB.\n\n## Роль\n\n- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`).\n- MySQL: WordPress-база `gnexus_blog` (~3.5 MB, 84 записи в wp_posts).\n- Агент hard-monitor (панель server id 42).\n\n## SSH\n\n`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет.\n\n## Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%)\n\nПовод: hard-panel event #903 `ram_high` 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (`plocate-updatedb.timer` 18:37:06 + `check-new-release`). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).\n\nПрименено (бэкапы `*.bak-rei-20261017` рядом с конфигами):\n\n| Мера | Было | Стало |\n| --- | --- | --- |\n| Swap | /swapfile 280 MB (pri=-2, на /) | /home/swapfile 1 GB (pri=1, fstab `sw,pri=1`) |\n| MySQL | buffer_pool 128M, performance_schema ON | buffer_pool 64M, performance_schema OFF — `/etc/mysql/mysql.conf.d/zz-rei-tuning.cnf` |\n| Apache prefork | Start 5 / Min 5 / Max 10 / MRW 150 | Start 2 / Min 2 / Max 4 / MRW 20 |\n| Диск / | 95.7% | 85.9% (apt-get clean + journalctl --vacuum-size=50M) |\n\nРезультат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, `https://gnexus.space` → 200.\n\nГрабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`.\n\n## Инцидент 2026-10-18 22:28 UTC — load_high 5.98 (краулер-шторм через ovpn_reserv)\n\nПовод: hard-panel events #905 `cpu_high` 97.3% + #906 `load_high` 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2.\n\nПричина: внешний краулер-шторм через внутренний прокси `ovpn_reserv` (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по `virsh dumpxml` на гипервизоре 192.168.1.130). Паттерн: проба `/.env` в 01:53, затем брутфорс `/blog/.git/objects/xx/yyyy` — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд `POST /blog/wp-cron.php` со случайными UA. Признаки проксирования: HTTP/1.0, referer `http://gnexus.space/.env`, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12.\n\nМитигация (22:30:03, бэкап `000-default.conf.bak-rei-20261018`): в vhost `000-default.conf` добавлены\n\n- `RedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl);\n- `RedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php)`.\n\nРезультат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, `https://gnexus.space` → 200. OOM-киллов не было.\n\nПримечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms.\n\n## История инцидентов\n\n- 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md).\n- 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei).\n- 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам (см. раздел выше)." + }, + "status": "applied", + "created_at": "2026-10-18T22:35:04Z", + "updated_at": "2026-10-18T22:35:05Z", + "applied_at": "2026-10-18T22:35:05Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}