Newer
Older
gnexus-book / 90-maintenance / pending-changes / 20261018223504-c077e8eb.json
{
  "id": "20261018223504-c077e8eb",
  "kind": "doc",
  "target": "10-systems/hosts/gnexus-home.md",
  "summary": "gnexus-home: инцидент load_high 5.98 2026-10-18 (краулер-шторм через ovpn_reserv) + блок-правила Apache",
  "reason": "Инцидент load_high 5.98 на gnexus-home 2026-10-18 22:28 UTC: краулер-шторм через ovpn_reserv (192.168.1.183), блок-правила в Apache; верифицировано по SSH и панели (hard-panel events #905/#906)",
  "payload": {
    "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-18\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# gnexus-home\n\nVM (libvirt domain `gnexus-home` на `hp-proliant-dl380-g6`), 192.168.1.151, Ubuntu 22.04.4 LTS, **1 GB RAM** (957 MB usable), диск / 5.8 GB + /home 9.8 GB.\n\n## Роль\n\n- Upstream `gnexus.space` (welcome-страница платформы): Apache + PHP, vhosts `000-default` и `iso-share` (alias `/share` → `/home/ubuntu/share_iso`).\n- MySQL: WordPress-база `gnexus_blog` (~3.5 MB, 84 записи в wp_posts).\n- Агент hard-monitor (панель server id 42).\n\n## SSH\n\n`ubuntu@192.168.1.151`, пароль getroot88 (sudo тот же; пароль флота VM). Отдельного секрета в gnexus-creds нет.\n\n## Тюнинг 2026-10-17 (navi rei, после ram_high 90.81%)\n\nПовод: hard-panel event #903 `ram_high` 90.81% (18:37 UTC). Причина: baseline ~76% (mysqld 373 MB + apache prefork ~40% RAM) + transient-процессы (`plocate-updatedb.timer` 18:37:06 + `check-new-release`). OOM-киллов не было. Хост ребутнулся утром 17 Oct во время блэкаута (до этого uptime 64 дня, swap 100%).\n\nПрименено (бэкапы `*.bak-rei-20261017` рядом с конфигами):\n\n| Мера | Было | Стало |\n| --- | --- | --- |\n| Swap | /swapfile 280 MB (pri=-2, на /) | /home/swapfile 1 GB (pri=1, fstab `sw,pri=1`) |\n| MySQL | buffer_pool 128M, performance_schema ON | buffer_pool 64M, performance_schema OFF — `/etc/mysql/mysql.conf.d/zz-rei-tuning.cnf` |\n| Apache prefork | Start 5 / Min 5 / Max 10 / MRW 150 | Start 2 / Min 2 / Max 4 / MRW 20 |\n| Диск / | 95.7% | 85.9% (apt-get clean + journalctl --vacuum-size=50M) |\n\nРезультат: RAM 90.81% → 47.3% (available ~505 MB), mysqld RSS 373 → 155 MB, swap 2.4 MB / 1 GB. Сервисы целы, `https://gnexus.space` → 200.\n\nГрабли: конфиг-файл MySQL без секции `[mysqld]` молча не применяется — после рестарта проверять `SELECT @@performance_schema, @@innodb_buffer_pool_size`.\n\n## Инцидент 2026-10-18 22:28 UTC — load_high 5.98 (краулер-шторм через ovpn_reserv)\n\nПовод: hard-panel events #905 `cpu_high` 97.3% + #906 `load_high` 5.98 (порог 2.0×3 ядра) в 22:28:08 UTC. До 22:22 сервер простаивал (load 0.0), пик load1 8.57 в 22:28:58; Apache упёрся в MaxRequestWorkers (AH00161, 20 воркеров), RAM 54→71%, swap ×2.\n\nПричина: внешний краулер-шторм через внутренний прокси `ovpn_reserv` (192.168.1.183, MAC 52:54:00:10:2d:8e — сверено по `virsh dumpxml` на гипервизоре 192.168.1.130). Паттерн: проба `/.env` в 01:53, затем брутфорс `/blog/.git/objects/xx/yyyy` — каждый 404 рендерил полный WP-шаблон ~24.5 KB с PHP+MySQL — плюс флуд `POST /blog/wp-cron.php` со случайными UA. Признаки проксирования: HTTP/1.0, referer `http://gnexus.space/.env`, весь трафик с одного IP. Тот же класс шторма, что бил gitbucket 2026-10-12.\n\nМитигация (22:30:03, бэкап `000-default.conf.bak-rei-20261018`): в vhost `000-default.conf` добавлены\n\n- `RedirectMatch 404 (?i)/blog/\\.(git|svn|hg|env)` — 404/274 B вместо 404/24510 B (проверено curl);\n- `RedirectMatch 404 (?i)/(wp-login\\.php|xmlrpc\\.php)`.\n\nРезультат: шторм сам затих ~22:32 (последний запрос .183 в 22:32:03), к 22:34 load 0.17, CPU 1%, воркеров 5, RAM 308 MB, `https://gnexus.space` → 200. OOM-киллов не было.\n\nПримечание: адрес 192.168.1.183 (ovpn_reserv) добавлен в инвентарь VM и doc libvirt-vms.\n\n## История инцидентов\n\n- 2026-09-10: диск / 100% — ломал scp при деплое агента; почищены apt-кэш/журналы (см. hard-panel.md).\n- 2026-10-17 18:37 UTC: ram_high 90.81% (event #903) — диагностика и тюнинг выше (navi rei).\n- 2026-10-18 22:28 UTC: load_high 5.98 (events #905/#906) — краулер-шторм через ovpn_reserv, блок-правила в Apache, шторм затих сам (см. раздел выше)."
  },
  "status": "applied",
  "created_at": "2026-10-18T22:35:04Z",
  "updated_at": "2026-10-18T22:35:05Z",
  "applied_at": "2026-10-18T22:35:05Z",
  "validation": {
    "status": "ok",
    "issue_count": 0,
    "issues": []
  }
}