diff --git a/10-systems/hosts/nextcloud.md b/10-systems/hosts/nextcloud.md index 03d8658..502e152 100644 --- a/10-systems/hosts/nextcloud.md +++ b/10-systems/hosts/nextcloud.md @@ -115,6 +115,17 @@ - Верификация восстановления (19:54 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 6.5%, RAM 3.3/31.3 GiB, load 1.89). - Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 3). +## Incident 2026-10-11 20:10 UTC (четвёртый ConnectTimeout-эпизод, тот же почерк) + +- 20:10:14–20:10:45 UTC: hard-panel четвёртый раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php (события #435 down / #436 recovered). Идентичная длительность и характер, как в 17:28, 19:35 и 19:52. +- Регулярность: интервалы между тремя последними эпизодами (19:35 → 19:52 → 20:10) составляют ~17,5 мин — это уже паттерн, а не случайные сбои; похоже на периодический тяжёлый процесс на гипервизоре (кандидат: 3-минутные cron-прогоны с тяжёлыми фоновыми задачами recognize/previewgenerator на фоне свопинга). +- VM в окне инцидента здорова: uptime 4 дня непрерывен, load 1.07, RAM 2.5/32 GiB, swap 322/1327 MB (дрейф, не шторм). Остановок/рестартов внутри VM нет. +- Логи VM чисты: journal с 20:05 пуст; apache error.log после 19:32 пуст (в 19:32 — всплеск сканерских проб несуществующих .php через прокси, интернет-шум); в nextcloud.log за 20:00+ только повторяющийся фоновый эффор recognize `ClassifyMovinetJob` («Movinet does not support WASM mode») на каждом cron-прогоне — к инциденту отношения не имеет. Cron выполняется штатно каждые 3 мин. +- Гипервизор bserv (проверка 20:12 UTC): RAM 117/120.8 GiB, swap 8191/8191 MB (100%, 0 свободно), available 2.3 GB, load ~4.6; dmesg чист (последний OOM — 6 окт, новых нет). Топ swap-потребители: qemu mine (2.3 GB), llama-server (1.17 GB); qemu nextcloud RSS 33.5 GB. +- Вывод: четвёртый транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Четыре эпизода за вечер + регулярный интервал ~17,5 мин — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным. +- Верификация восстановления (20:12 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (load 1.07). +- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 4). + ## Incident 2026-10-06 (OOM crash) - 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).