diff --git a/10-systems/hosts/nextcloud.md b/10-systems/hosts/nextcloud.md index 6a16208..d701cb4 100644 --- a/10-systems/hosts/nextcloud.md +++ b/10-systems/hosts/nextcloud.md @@ -255,6 +255,25 @@ - Вывод: семнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Семнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40, 22:49, 23:01), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.0 GB); серия замедляется (интервал 11,9 мин — наибольший с 22:05). Standing risk OOM (Incident 2026-10-06) активен. - Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 17). +## Incident 2026-10-11 23:17 UTC (восемнадцатый эпизод — тот же почерк) + +- 23:17:10–23:17:43 UTC: hard-panel восемнадцатый раз за день зафиксировал ConnectTimeout на /status.php (события #463 down / #464 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15–16. +- Интервал от эпизода 17: ~15,7 мин (23:01:26 → 23:17:10) — серия продолжается с нерегулярными интервалами (4,2–15,7 мин в хвосте). +- VM в окне инцидента здорова: точки агента 23:17:21 и 23:19:21 на месте (интервал 120 с ровно, uptime непрерывен), CPU 3.7–8.3%, load 1.17–2.34, RAM 9.4–11.1%, swap 28.3% (дрейф, не шторм). Остановок/рестартов внутри VM нет. +- Верификация восстановления (23:27 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.8 ms), все 19 серверов онлайн. +- Вывод: восемнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Восемнадцать эпизодов за день, все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100%, available ~2.0 GB). Standing risk OOM (Incident 2026-10-06) активен и повышен. +- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 18). + +## Incident 2026-10-11 23:26 UTC (девятнадцатый эпизод — тот же почерк) + +- 23:26:04–23:26:34 UTC: hard-panel девятнадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #465 down / #466 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15–18. +- Интервал от эпизода 18: ~8,9 мин (23:17:10 → 23:26:04). Хвост серии: 22:23 → 22:27 → 22:31 → 22:40 → 22:49 → 23:01 → 23:17 → 23:26 (8 эпизодов за ~63 мин). +- VM в окне инцидента здорова: точки агента 23:25:21 и 23:27:21 на месте (интервал 120 с ровно, uptime 375655 с непрерывен), CPU 8.4→5.9%, load 2.04→1.43, RAM 11.2%, swap 28.3% (дрейф, не шторм). Остановок/рестартов внутри VM нет. +- Гипервизор bserv (проверка 23:27 UTC, read-only): RAM 117.4/120.8 GB занято (~97%), free 571 MB, swap 8191/8191 MB (100%, 0 свободно), available ~2.0 GB, load 4.83/3.98/3.85; vmstat si/so=0 (активного свопинга в момент проверки нет); PSI memory some/full avg10=0.14 (низкий); dmesg/journal чисты — OOM-событий нет (последний OOM — 6 окт). qemu nextcloud Id 34 running (RSS ~33.5 GB). +- Верификация восстановления (23:27:21 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн. +- Вывод: девятнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Девятнадцать эпизодов за день (17:28–23:26 UTC, ~6 ч), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.0 GB). Standing risk OOM (Incident 2026-10-06) активен и повышен. +- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 19). + ## Incident 2026-10-06 (OOM crash) - 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host). diff --git a/90-maintenance/pending-changes/20261011233018-ee04d63b.json b/90-maintenance/pending-changes/20261011233018-ee04d63b.json new file mode 100644 index 0000000..fb3913c --- /dev/null +++ b/90-maintenance/pending-changes/20261011233018-ee04d63b.json @@ -0,0 +1,19 @@ +{ + "id": "20261011233018-ee04d63b", + "kind": "doc", + "target": "10-systems/hosts/nextcloud.md", + "summary": "nextcloud.md: добавлены эпизоды 18 (23:17) и 19 (23:26) серии гипервизорных stall'ов; устранено дублирование инцидент-блока (10:06–эп.17 встречался дважды)", + "reason": "Событие hard-panel #466 (service_recovered nextcloud, 23:26:34 UTC) — 19-й эпизод серии ConnectTimeout; добавлены секции эпизодов 18 (23:17) и 19 (23:26) с верификацией 23:27 UTC; попутно устранено дублирование блока инцидентов (секции 10:06–эп.17 встречались в документе дважды после предыдущего обновления).", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: \"2026-10-11\"\nreview_interval: \"90d\"\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# Nextcloud VM\n\nNextcloud file cloud VM, upstream for `cloud.gnexus.space`.\n\n## Identity\n\n- Inventory id: `nextcloud`.\n- VM id: `nextcloud` (libvirt domain on hypervisor `hp-proliant-dl380-g6`, bserv `192.168.1.130`).\n- LAN address: `192.168.1.152`.\n- Resources: 24 vCPU, 32 GiB RAM.\n- Disk: qcow2 `/mnt/main/vm_main/nextcloud`.\n- Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.\n\n## Roles\n\n- Nextcloud instance behind `cloud.gnexus.space` (TLS terminates on `internal-proxy-vps`, upstream `http://192.168.1.152`).\n\n## Stack\n\n- Nextcloud 31.0.14 (с 2026-10-11; маршрут 27.1.6 → 28 → 29 → 30 → 31, см. Update ниже).\n- Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).\n- Каталог установки: `/home/ubuntu/nextcloud` (DocumentRoot vhost `nc.lvs.conf`), данные `/home/ubuntu/nextcloud/data`.\n- Фоновые задачи: cron www-data `*/3 * * * * php -f /home/ubuntu/nextcloud/cron.php`.\n- SSH: `ubuntu` на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет `bserv@192.168.1.130`); sudo через `sudo -S`. occ запускать от `www-data` (`sudo -u www-data php occ ...`).\n- Приложения (включены, тяжёлые): memories 7.8.2, recognize 9.0.9, maps 1.6.0, previewgenerator 5.14.0, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).\n- Health-мониторинг: hard-panel сервис #8 `nextcloud` — `https://cloud.gnexus.space/status.php` (LAN-URL без Host-заголовка даёт 400 trusted domains; см. `10-systems/services/hard-panel.md`).\n\n## Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)\n\nПовод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.\n\n**Пункт 1 — MySQL tuning:**\n\n- Найдено: `innodb_buffer_pool_size` = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.\n- Сделано: `/etc/mysql/mysql.conf.d/zz-nextcloud.cnf` — `innodb_buffer_pool_size = 4G`, `innodb_flush_log_at_trx_commit = 2` (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.\n- Проверено: `SELECT @@innodb_buffer_pool_size` = 4294967296 (4 GiB), mysql active, `/status.php` 200. RSS mysqld растёт лениво по мере прогрева — норма.\n\n**Пункт 2 — APCu:**\n\n- Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.\n- Сделано: `apt-get install php8.1-apcu` (+ `apc.enable_cli=1` в `/etc/php/8.1/mods-available/apcu-nc-cli.ini` для cron/occ), `occ config:system:set memcache.local --value \"\\OC\\Memcache\\APCu\"` (от www-data), рестарт apache2. Redis остался на distributed+locking.\n- Проверено: `php -m` → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.\n\n**Замеры до/после (localhost VM, warm):**\n\n| Проба | До | После |\n| --- | --- | --- |\n| /login (полный PHP-рендер) | ~0.15 s | ~0.12 s |\n| /status.php | ~0.06 s | ~0.04 s |\n| LAN через прокси /status.php | 0.26 s, выбросы до 1.4 s | 0.24 s стабильно |\n\nОсновной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.\n\n**Бэкапы:** `/root/nc-config.php.bak-preopt-20261011` (config.php до правок). Откат: удалить `zz-nextcloud.cnf` + рестарт mysql; `occ config:system:set memcache.local --value \"\\OC\\Memcache\\Redis\"` + рестарт apache2.\n\n**Не сделано (ждёт решения владельца):** отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).\n\n## Update 2026-10-11 10:30 (navi rei) — major upgrade 27.1.6 → 31.0.14 (одобрено владельцем)\n\nМаршрут: 27.1.6.2 → 28.0.14 → 29.0.16 → 30.0.17 → 31.0.14 — по одному мейджору за шаг (политика Nextcloud), каждый через `updater.phar --no-interaction` + гейт после шага: `/status.php` 200, maintenance off, needsDbUpgrade false, 0 ошибок в nextcloud.log, рестарт apache2 (ранбук opcache — см. Incident 10:06).\n\n- Предбэкапы: `/root/nc-backup-preupgrade-20261011` — дамп БД 144M (gzip -t OK), tar apps+data 7.5G, config/, app-list.json. Итого ~7.7G.\n- Шаги 27→28, 28→29, 29→30 — чисто («Update successful», code integrity OK). Инцидент 500 на 29→30 — см. Incident ниже.\n- Шаг 30→31: updater заменил код, но упал на recognize — PHP Fatal: `OCA\\Recognize\\Service\\Logger::emergency` несовместим с `Psr\\Log\\LoggerInterface` в NC 31 (старое приложение на новом коде). Лечение: maintenance on, `occ app:disable recognize memories maps previewgenerator`, ручной `occ upgrade` → «Update successful», integrity OK, рестарт apache2, maintenance off.\n- Приложения: `occ app:update --all` из App Store; все четыре отключённых обновились и включены: recognize 9.0.9, memories 7.8.2, maps 1.6.0, previewgenerator 5.14.0. Обновлены также text, twofactor_backupcodes, updatenotification, user_status, viewer, epubviewer, quota_warning, side_menu, tasks.\n- Финальный гейт: occ status 31.0.14 (31.0.14.1), maintenance false, needsDbUpgrade false; cron жив (фоновые задачи выполнялись 10:24–10:28); 0 ошибок в логе; внешний `https://cloud.gnexus.space/status.php` 200.\n- Диск: 21G/28G (81%; до апгрейда 47%) — рост от предбэкапов и бэкапов апдейтера. Остатки: updater-бэкап `nextcloud-30.0.17.2-1791713615` в `data/updater-ocj1jaf8egog/backups/` (можно удалить после периода наблюдения), предбэкапы в `/root` (7.7G).\n- Ограничение на будущее: PHP 8.1 для NC 31 — deprecated, но работает; NC 32+ требует PHP 8.2. Следующий мейджор = сначала апгрейд PHP. Актуальная ветка NC — 35 (35.0.1 на 2026-10-11).\n\n## Incident 2026-10-11 10:06–10:10 UTC (обновление 29→30 + opcache 500)\n\n- 10:04:00 UTC: root запустил `updater.phar --no-interaction` (detached, PPID 1) — обновление Nextcloud 29.0.17 → 30.0.17. Перед этим apache2 рестартовали в 09:42, 09:52, 10:03 (подготовка к обновлению, не сеанс оптимизации rei).\n- 10:06–10:10: миграция БД (`occ upgrade`) под maintenance mode. hard-panel увидел 503 на /status.php — ожидаемое поведение: Nextcloud в maintenance mode отвечает 503 на все эндпоинты. Стек (apache/mysql/redis) был жив весь апгрейд; вмешательства не требовалось.\n- 10:10:04: обновление успешно завершено (`Update successful`), maintenance снят, needsDbUpgrade=false.\n- 10:10:13–10:10:21: /status.php стал отдавать 500: `Downgrading is not supported (from 30.0.17.2 to 29.0.16.1)`. Причина: apache последний раз рестартовали в 10:03:41 — ДО завершения обновления; opcache с `validate_timestamps=0` держал в памяти старый код 29.0.16.1, который падал на уже мигрированной БД 30.0.17.2.\n- 10:10:23 (navi rei): рестарт apache2 → сброс opcache. status.php = 200 (30.0.17.2), /login = 200, level-3 ошибок в nextcloud.log после рестарта нет. hard-panel: nextcloud [up] 200.\n- Обновление 29→30 прошло чисто (repair steps, code integrity check — без ошибок). Побочная ошибка richdocuments (`USER_AGENT_SAFARI_MOBILE undefined`) была только внутри окна апгрейда и не повторяется.\n\n**Ранбук (обязательно):** после КАЖДОГО завершения `occ upgrade` на этой VM — немедленный рестарт apache2: opcache с `validate_timestamps=0` не подхватывает новый код сам, старый код даёт 500 на новой БД.\n\n**Отчёт:** workspace rei `incident_nextcloud_2026-10-11.md`.\n\n## Incident 2026-10-11 17:28 UTC (ConnectTimeout — гипервизорный stall)\n\n- 17:28:41–17:29:12 UTC: hard-panel зафиксировал ConnectTimeout 30.4 с на /status.php (проба не получила TCP-соединение, не 503/504). Самовосстановление, вмешательств не требовалось.\n- Стек внутри VM здоров весь инцидент: apache обслуживал пользовательский трафик (17:28:40 и 17:29:40 — text/session sync+push, notifications, heartbeat — 200/304), ошибок и рестартов нет, journal чист.\n- Проба монитора не дошла даже до nginx на internal-proxy (.226): в access-логе прокси проба отсутствует (17:28:06 → 17:29:12), 504/upstream-ошибок в error.log нет. Затык на TCP-пути монитор (192.168.1.150) → прокси (.226); обе VM — на bserv.\n- Гипервизор bserv в момент проверки (17:32 UTC): 117/120.8 GiB RAM занято, swap 8191/8191 MB (100%), available 2.3 GB, load ~3.9; dmesg чист (OOM-киллов сегодня нет).\n- Вывод: транзиентный stall гипервизора (свопинг) на фоне 3-минутных cron-прогонов с тяжёлыми фоновыми задачами после апгрейда 27→31. Nextcloud не при чём. Standing risk OOM (см. Incident 2026-10-06) остаётся активным.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md`.\n- Сопутствующее: в `/etc/php/8.1/apache2/php.ini` строка 1965 — мусорная `(base) ` (артефакт вставки из шелла): PHP syntax error при каждом старте apache + benign «Cannot load Zend OPcache - it was already loaded» (двойная загрузка php.ini+conf.d). Все значимые настройки стоят до строки 1965 и применяются, ущерба нет; правка (удалить строку) ждёт апрува владельца.\n\n## Incident 2026-10-11 19:35 UTC (второй ConnectTimeout-эпизод, тот же почерк)\n\n- 19:35:35–19:36:06 UTC: hard-panel снова зафиксировал ConnectTimeout 30.4 с на /status.php (события #431 down / #432 recovered). Идентичная длительность и характер, как в 17:28.\n- VM в окне инцидента здорова: точки агента 19:33:40 и 19:36:40 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.6–9.4%, load 1.4–1.7, RAM ~11%, swap 22.9–23% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Вывод: второй транзиентный stall гипервизора bserv, тот же механизм, что и в 17:28. Nextcloud не при чём. Два эпизода за вечер усиливают связь с давлением памяти на bserv (swap 100% на 17:32) и 3-минутными cron-прогонами.\n- Верификация восстановления (19:37 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up, VM online (CPU 9.4%, RAM 3.7/33.6 GiB, load 1.67).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 2).\n\n## Incident 2026-10-11 19:52 UTC (третий ConnectTimeout-эпизод, тот же почерк)\n\n- 19:52:44–19:53:14 UTC: hard-panel третий раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php. Идентичная длительность и характер, как в 17:28 и 19:35.\n- VM в окне инцидента здорова: точки агента 19:50:41 и 19:53:41 на месте (интервал 180 с ровно, uptime непрерывен), CPU 5.4–6.5%, load 1.63–1.89, RAM ~10.6%, swap 23.6–23.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Вывод: третий транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Три эпизода за вечер — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.\n- Верификация восстановления (19:54 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 6.5%, RAM 3.3/31.3 GiB, load 1.89).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 3).\n\n## Incident 2026-10-11 20:10 UTC (четвёртый ConnectTimeout-эпизод, тот же почерк)\n\n- 20:10:14–20:10:45 UTC: hard-panel четвёртый раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php (события #435 down / #436 recovered). Идентичная длительность и характер, как в 17:28, 19:35 и 19:52.\n- Регулярность: интервалы между тремя последними эпизодами (19:35 → 19:52 → 20:10) составляют ~17,5 мин — это уже паттерн, а не случайные сбои; похоже на периодический тяжёлый процесс на гипервизоре (кандидат: 3-минутные cron-прогоны с тяжёлыми фоновыми задачами recognize/previewgenerator на фоне свопинга).\n- VM в окне инцидента здорова: uptime 4 дня непрерывен, load 1.07, RAM 2.5/32 GiB, swap 322/1327 MB (дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Логи VM чисты: journal с 20:05 пуст; apache error.log после 19:32 пуст (в 19:32 — всплеск сканерских проб несуществующих .php через прокси, интернет-шум); в nextcloud.log за 20:00+ только повторяющийся фоновый эффор recognize `ClassifyMovinetJob` («Movinet does not support WASM mode») на каждом cron-прогоне — к инциденту отношения не имеет. Cron выполняется штатно каждые 3 мин.\n- Гипервизор bserv (проверка 20:12 UTC): RAM 117/120.8 GiB, swap 8191/8191 MB (100%, 0 свободно), available 2.3 GB, load ~4.6; dmesg чист (последний OOM — 6 окт, новых нет). Топ swap-потребители: qemu mine (2.3 GB), llama-server (1.17 GB); qemu nextcloud RSS 33.5 GB.\n- Вывод: четвёртый транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Четыре эпизода за вечер + регулярный интервал ~17,5 мин — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.\n- Верификация восстановления (20:12 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (load 1.07).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 4).\n\n## Incident 2026-10-11 20:37 UTC (пятый эпизод — ReadTimeout, тот же почерк)\n\n- 20:37:47–20:38:18 UTC: hard-panel пятый раз за вечер зафиксировал сбой на /status.php (события #437 down / #438 recovered), на этот раз **ReadTimeout** 31.2 с: TCP-соединение установилось, но ответ не пришёл за таймаут — та же семья гипервизорных stall'ов, чуть другая точка затыка (соединение принято, обработка замерла).\n- Интервал от эпизода 4: ~27,5 мин (20:10 → 20:37) — регулярность ~17,5 мин нарушилась, но серия продолжается.\n- VM в окне инцидента здорова: точки агента 20:35:13 и 20:39:13 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.7–5.0%, load 1.2–1.7, RAM ~9.6–10.5%, swap 24.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 20:39:31 UTC): RAM 117014/120828 MiB занято, swap 8191/8191 MB (100%, 0 свободно), available 2.3 GB, load ~3.8; dmesg чист (последний OOM — 6 окт, новых нет).\n- Вывод: пятый транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Пять эпизодов за вечер (17:28, 19:35, 19:52, 20:10, 20:37) — устойчивая корреляция с давлением памяти на bserv (swap 100%) и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.\n- Верификация восстановления (20:38:40 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 5).\n\n## Incident 2026-10-11 20:40 UTC (шестой эпизод — интервал рухнул до 3,9 мин)\n\n- 20:40:57–20:41:27 UTC: hard-panel шестой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #439 down / #440 recovered). Идентичная длительность и характер, как в эпизодах 1–4.\n- Интервал от эпизода 5: всего ~3,9 мин (20:37:47 → 20:40:57) — после 17,5–27,5 мин между эпизодами 2–5 частота резко выросла. Оба эпизода стартуют через ~1 мин после 3-минутного cron-прогона (20:36 и 20:39) — корреляция с cron усиливается.\n- VM в окне инцидента здорова: точки агента 20:38:13 и 20:43:13 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.1–6.8%, load 1.04–1.58, RAM ~9.2–9.5%, swap 24.9–25.2% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 20:45 UTC, read-only): RAM 116996/120828 MiB занято, free 464 MiB, swap 8191/8191 MB (100%, SwapFree 12 kB), available 2.3 GB, load 2.97, si/so=0 (активного свопинга нет). qemu nextcloud RSS 33.5 GB. Kernel-journal в окно эпизода (20:35–20:45) пуст — ни OOM, ни hung-task/stall; syslog за 20:35–20:42 — 3 записи. Топ swap-потребители: qemu mine (2.3 GB), llama-server (1.17 GB).\n- VM nextcloud внутри здорова: load 1.88, MemAvailable 28.5 GB, cron www-data */3 штатно; в nextcloud.log — активная работа previewgenerator (PreviewJob, превью InstantUpload/Camera) + recognize FileListener, dirty table reads (level 0, некритично); OOM/error нет.\n- Вывод: шестой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Шесть эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40), интервалы сокращаются (17,5 → 27,5 → 3,9 мин) — давление памяти на bserv хроническое (swap 100%, available 2.3 GB); любой всплеск аллокаций (cron-прогон в VM, CPU-всплеск qemu) загоняет хост в зону reclaim/compaction-торможения. Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Верификация восстановления (20:42 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 5%, RAM 3.4/31.3 GiB, load 1.58).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 6).\n- Сопутствующие находки (20:45 UTC): сканер уязвимостей с 192.168.1.226 в 19:32 UTC (~20 проб несуществующих .php) — шум, к stall'ам отношения не имеет; virsh dommemstat balloon-статистика устаревшая (от 7 окт) — guest agent в VM не обновляет balloon.\n\n## Incident 2026-10-11 21:19 UTC (седьмой эпизод — тот же почерк)\n\n- 21:19:56–21:20:26 UTC: hard-panel седьмой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #441 down / #442 recovered). Идентичная длительность и характер, как в эпизодах 1–4 и 6.\n- Интервал от эпизода 6: ~39 мин (20:40:57 → 21:19:56) — частота вернулась к уровню эпизодов 2–5 (17,5–27,5 мин), всплеск плотности эпизодов 5–6 не продолжился.\n- VM в окне инцидента здорова: точки агента 21:19:45 и 21:21:45 на месте (интервал 180 с ровно, uptime непрерывен), CPU 7.3–7.4%, load 1.55–1.93, RAM ~11%, swap 25.3% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 21:23–21:25 UTC, read-only): RAM 117140/120828 MB занято (96.9%), free 465 MiB, swap 8191/8191 MB (100%, SwapFree 12 kB → 0 kB), available 2.2 GB, load 5.0–6.0; vmstat si/so=0 (активного свопинга нет); kernel-journal в окне 21:15–21:25 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). qemu nextcloud RSS 33.5 GB (PID 4003904, 27% RAM хоста).\n- VM nextcloud внутри здорова (проверка 21:24 UTC): uptime 4d 6:17, load 1.24, MemAvailable 29.1 GB, apache active с 10:23:13 UTC (рестартов нет), journalctl -p err 21:15–21:25 пуст, nextcloud.log level 3/4 = 0 (только level 0 — previewgenerator/recognize рутина), cron www-data */3 подтверждён.\n- Вывод: седьмой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Семь эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19), все ~30 с, все самовосстановились; после 21:20:26 повторов нет (проверено 21:25 UTC). Давление памяти на bserv хроническое (RAM 96.9%, swap 100%, available 2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Верификация восстановления (21:21:49 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 7).\n\n## Incident 2026-10-11 21:31 UTC (восьмой эпизод — тот же почерк)\n\n- 21:31:27–21:31:57 UTC: hard-panel восьмой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #443 down / #444 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6 и 7.\n- Интервал от эпизода 7: ~11,5 мин (21:19:56 → 21:31:27) — вне диапазона 17,5–27,5 мин эпизодов 2–5, но без повторения всплеска плотности эпизодов 5–6; серия продолжается с нерегулярными интервалами (3,9–39 мин).\n- VM в окне инцидента здорова: точки агента 21:30:46 и 21:32:46 на месте (интервал 120 с ровно, uptime непрерывен), CPU 8.8→4.1%, load 1.6→1.15, RAM ~9.3–10.9%, swap 25.5% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 21:33:31 UTC, read-only): RAM 117148/120828 MB занято (96.9%), free 577 MB, swap 8191/8191 MB (100%, 0 свободно), available 2.2 GB, load 4.24–4.59; vmstat si/so=0 (активного свопинга нет); journalctl -k в окне 21:25–21:40 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB (PID 4003904), llama-server 7.7 GB.\n- VM nextcloud внутри здорова (проверка 21:33:40 UTC): uptime 4d 6:27, load 1.49, MemAvailable 28.5 GB, apache active с 10:23:13 UTC (рестартов нет), journalctl -p err 21:25–21:40 пуст, nextcloud.log level 3 = 0 (только level 0 — рутина previewgenerator/cron), cron www-data */3 подтверждён.\n- Вывод: восьмой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Восемь эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 96.9%, swap 100%, available 2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Верификация восстановления (21:32:32 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 8).\n\n## Incident 2026-10-11 22:05 UTC (девятый эпизод — тот же почерк)\n\n- 22:05:22–22:05:52 UTC: hard-panel девятый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #445 down / #446 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–8.\n- Интервал от эпизода 8: ~34 мин (21:31:27 → 22:05:22) — серия продолжается с нерегулярными интервалами (3,9–39 мин), плотность не растёт.\n- VM в окне инцидента здорова: пакет агента 22:06:48 на месте, CPU 4%, RAM 2.9/31.3 GiB, диск / 78%. Остановок/рестартов внутри VM нет.\n- Верификация восстановления (22:07:15 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.\n- Вывод: девятый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Девять эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~96.9%, swap 100%, available ~2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 9).\n\n## Incident 2026-10-11 22:15 UTC (десятый эпизод — тот же почерк, впервые активный свопинг)\n\n- 22:15:43–22:16:15 UTC: hard-panel десятый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #447 down / #448 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–9.\n- Интервал от эпизода 9: ~10,4 мин (22:05:22 → 22:15:43) — серия продолжается с нерегулярными интервалами (3,9–39 мин), плотность не растёт.\n- Гипервизор bserv (проверка 22:17:13 UTC, read-only): RAM 117234/120828 MB занято (97%), free 557 MB, swap 8191/8191 MB (100%, 0 свободно), available 2133 MB, load 4.57; vmstat si=8450/so=18756 KB/s — впервые зафиксирован активный свопинг (в эпизодах 6–8 si/so=0); journalctl -k в окне 22:10–22:20 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 32.7 GB (27% RAM хоста), далее qemu-процессы 16.3/9.9/8.2/7.8 GB.\n- Верификация восстановления (22:17:19 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.\n- Вывод: десятый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Десять эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97%, swap 100%, available 2.1 GB) и впервые зафиксирован активный свопинг (si/so > 0) — состояние гипервизора ухудшается. Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 10).\n\n## Incident 2026-10-11 22:17 UTC (одиннадцатый эпизод — второй ReadTimeout, интервал рухнул до ~1,6 мин)\n\n- 22:17:21–22:17:52 UTC: hard-panel одиннадцатый раз за день зафиксировал сбой на /status.php (события #449 down / #450 recovered), на этот раз **ReadTimeout** 30.4 с — второй ReadTimeout серии (после эпизода 5): TCP-соединение установилось, ответ не пришёл за таймаут.\n- Интервал от эпизода 10: всего ~1,6 мин (22:15:43 → 22:17:21) — новый минимум серии (прежний 3,9 мин, эпизоды 5→6). Плотность эпизодов в хвосте серии растёт: 22:05 → 22:15 → 22:17.\n- Гипервизор bserv (проверка 22:22 UTC, read-only): RAM 117236/120828 MB занято (97.0%), free 476 MB, swap 8191/8191 MB (100%, SwapFree 24 kB), available 2.1 GB, load 5.55/4.83/4.50; vmstat si/so=0 (активного свопинга в момент проверки нет — в отличие от эпизода 10, где впервые зафиксирован si=8450/so=18756 KB/s); journalctl -k за 40 мин пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт, убит qemu-system-x86, anon-rss 27.9 GB).\n- Верификация восстановления (22:18:23 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 302.9 ms).\n- Вывод: одиннадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Одиннадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97%, swap 100%, available 2.1 GB); в эпизоде 10 впервые зафиксирован активный свопинг, интервал 10→11 — новый минимум серии. Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 11).\n\n## Incident 2026-10-11 22:23 UTC (двенадцатый эпизод — тот же почерк)\n\n- 22:23:09–22:23:40 UTC: hard-panel двенадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #451 down / #452 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–10.\n- Интервал от эпизода 11: ~5,8 мин (22:17:21 → 22:23:09) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 (4 эпизода за ~18 мин).\n- VM в окне инцидента здорова: пакет агента 22:24:49 на месте (uptime 371902 с непрерывен), CPU 5.9%, load 1.74, RAM 3.2/33.6 GiB, swap 375 MB/1.39 GB (дрейф, не шторм); php 78% CPU (cron/фоновая задача), mysqld 16.9%. Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 22:27 UTC, read-only): RAM 117282–117294/120828 MB занято (~97%), free 467–568 MB, swap 8191/8191 MB (100%, 0 свободно), available 2072–2085 MB, load 3.63/4.65/4.55; vmstat si/so=0 (активного свопинга в момент проверки нет); PSI memory some/full = 0.00; journalctl (kernel + общий) с 21:00 UTC — OOM-событий нет (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB (27% RAM хоста), qemu jellyfin 16.7 GB, qemu mine 10.1 GB. virsh: nextcloud Id 34 running, 24 vCPU/32 GiB, autostart enable. /mnt/main: 73% занято (641G свободно).\n- Верификация восстановления (22:24:35 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.\n- Вывод: двенадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Двенадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100%, available ~2.1 GB); в эпизоде 10 впервые зафиксирован активный свопинг (si=8450/so=18756 KB/s), хвост серии плотный (4 эпизода за ~18 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 12).\n\n## Incident 2026-10-11 22:27 UTC (тринадцатый эпизод — тот же почерк)\n\n- 22:27:20–22:27:51 UTC: hard-panel тринадцатый раз за день зафиксировал ConnectTimeout 31.0 с на /status.php (события #453 down / #454 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–10, 12.\n- Интервал от эпизода 12: ~4,2 мин (22:23:09 → 22:27:20) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 (5 эпизодов за ~22 мин).\n- Гипервизор bserv (проверка 22:28:59 UTC, read-only): RAM 117302/120828 MB занято (97.1%), free 494 MB, swap 8191/8191 MB (100%, SwapFree 0 kB), available 2065 MB, load 3.47/4.36/4.46; journalctl -k с 21:00 — OOM-событий нет (последний OOM — 6 окт); kernel-journal в окно 22:00–22:30 пуст (OOM/hung-task/stall отсутствуют). virsh: nextcloud Id 34 running.\n- Верификация восстановления (22:29:23 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 800.6 ms), все 19 серверов онлайн.\n- Вывод: тринадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Тринадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97.1%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (5 эпизодов за ~22 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 13).\n\n## Incident 2026-10-11 22:31 UTC (четырнадцатый эпизод — самый длинный серии, 66 с)\n\n- 22:31:34–22:32:40 UTC: hard-panel четырнадцатый раз за день зафиксировал ConnectTimeout на /status.php (события #455 down / #456 recovered). **Длительность 66,2 с — вдвое дольше типичных ~30 с серии** (проба не получила TCP-соединение; восстановление зафиксировано на следующей пробе).\n- Интервал от эпизода 13: ~4,2 мин (22:27:20 → 22:31:34) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 (6 эпизодов за ~27 мин).\n- Гипервизор bserv (проверка 22:34:50 UTC, read-only): RAM 117.3/120.8 GB занято (~97%), free 558 MB, swap 8191/8191 MB (100%, 0 свободно), available 2.06 GB, load 4.81/4.79/4.62; vmstat si/so=0 (активного свопинга в момент проверки нет), PSI memory some/full = 0.00, steal=0; journalctl -p warning в окно 22:00–22:35 UTC пусто — ни OOM, ни hung-task/stall (последний OOM — 6 окт, убит qemu-system-x86 pid 3965, anon-rss 27.9 GB). Топ RSS: qemu nextcloud 33.5 GB (PID 4003904, с 7 окт), jellyfin 16.7 GB, mine 10.1 GB, navi 8.4 GB, gitbucket 8.0 GB. virsh: nextcloud Id 34 running, 24 vCPU/32 GiB pinned, autostart enable.\n- Поправка к гипотезе о 3-минутном cron на гипервизоре: crontab bserv и root пусты, /etc/cron.d содержит только e2scrub_all (еженедельный), `*/3` нигде нет; единственные частые планировщики — PCP-таймеры (pmlogger/pmie, ~5–10 мин, лёгкие). 3-минутный cron существует только внутри VM nextcloud (cron.php www-data */3) — триггер нагрузки внутри гостя, но не на гипервизоре.\n- Верификация восстановления (22:33:24 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up (nextcloud 679.7 ms — повышенная латентность сразу после серии, в норме).\n- Вывод: четырнадцатый транзиентный stall гипервизора bserv за день, тот же механизм, но самый длинный эпизод серии (66 с против типичных ~30 с). Nextcloud не при чём. Четырнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31), все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (6 эпизодов за ~27 мин), длительность эпизодов начала расти. Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 14).\n\n## Incident 2026-10-11 22:40 UTC (пятнадцатый эпизод — тот же почерк)\n\n- 22:40:39–22:41:10 UTC: hard-panel пятнадцатый раз за день зафиксировал ConnectTimeout 30.5 с на /status.php (события #457 down / #458 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13.\n- Интервал от эпизода 14: ~9,1 мин (22:31:34 → 22:40:39) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 → 22:40 (7 эпизодов за ~35 мин).\n- VM в окне инцидента здорова: пакет агента 22:41:19 на месте, VM #34 online (CPU 4%, RAM 2.9/31.3 GiB). Остановок/рестартов внутри VM нет.\n- Верификация восстановления (22:42:05 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.5 ms), все 19 серверов онлайн.\n- Вывод: пятнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Пятнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40), все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (7 эпизодов за ~35 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 15).\n\n## Incident 2026-10-11 22:49 UTC (шестнадцатый эпизод — тот же почерк)\n\n- 22:49:30–22:50:01 UTC: hard-panel шестнадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #459 down / #460 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15.\n- Интервал от эпизода 15: ~8,9 мин (22:40:39 → 22:49:30) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 → 22:40 → 22:49 (8 эпизодов за ~44 мин).\n- VM в окне инцидента здорова: пакет агента 22:50:20 на месте (VM #34 online, CPU 4%, RAM 3.0/31.3 GiB). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 22:51:20 UTC, read-only): RAM 117292/120828 MB занято (~97%), free 464 MB, swap 8191/8191 MB (100%, SwapFree 0 kB), available 2075 MB, load 3.71/3.89/4.13; vmstat si/so=0 (активного свопинга в момент проверки нет); journalctl -k в окно 22:35–22:55 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB, qemu jellyfin 16.7 GB, qemu mine 10.1 GB, qemu navi 8.4 GB, qemu gitbucket 8.0 GB, llama-server 7.7 GB. virsh: nextcloud Id 34 running (24 vCPU/32 GiB).\n- Верификация восстановления (22:51:17 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.7 ms), все 19 серверов онлайн.\n- Вывод: шестнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Шестнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40, 22:49), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (8 эпизодов за ~44 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 16).\n\n## Incident 2026-10-11 23:01 UTC (семнадцатый эпизод — тот же почерк, серия замедляется)\n\n- 23:01:26–23:01:56 UTC: hard-panel семнадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #461 down / #462 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15–16.\n- Интервал от эпизода 16: ~11,9 мин (22:49:30 → 23:01:26) — интервалы снова растут (4,2 → 4,2 → 9,1 → 8,9 → 11,9 мин): плотный хвост серии (8 эпизодов за ~44 мин) выдохся, серия замедляется.\n- VM в окне инцидента здорова: история метрик VM #34 (20:07–23:02 UTC) — RAM 9–12%, CPU 0.2–13%, load 0.6–3.0, swap 24→28% (медленный дрейф, не шторм); пакет агента 23:02:50 на месте (uptime 374184 с непрерывен). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 23:02:44 UTC, read-only): RAM 117352/120828 MB занято (~97%), free 581 MB, swap 8192/8192 MB (100%, 0 свободно), available 2017 MB (~2.0 GB, минимум за серию), load 3.32/4.20/4.30; vmstat si/so=0 (активного свопинга в момент проверки нет); PSI memory some/full = 0.00; journalctl -k с 6 окт — единственный OOM 6 окт 08:01:13 (qemu-system-x86 pid 3965, anon-rss 27.9 GB), новых нет. Топ RSS: qemu nextcloud 31.9 GB (PID 4003904, снизился с 33.5), qemu jellyfin 15.9 GB, qemu mine 9.7 GB, qemu gitbucket 8.0 GB.\n- Верификация восстановления (23:02:32 UTC): services_overview — nextcloud [up] 176.5 ms, код 200, v31.0.14.1; все 8 сервисов hard-panel up.\n- Вывод: семнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Семнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40, 22:49, 23:01), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.0 GB); серия замедляется (интервал 11,9 мин — наибольший с 22:05). Standing risk OOM (Incident 2026-10-06) активен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 17).\n\n## Incident 2026-10-11 23:17 UTC (восемнадцатый эпизод — тот же почерк)\n\n- 23:17:10–23:17:43 UTC: hard-panel восемнадцатый раз за день зафиксировал ConnectTimeout на /status.php (события #463 down / #464 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15–16.\n- Интервал от эпизода 17: ~15,7 мин (23:01:26 → 23:17:10) — серия продолжается с нерегулярными интервалами (4,2–15,7 мин в хвосте).\n- VM в окне инцидента здорова: точки агента 23:17:21 и 23:19:21 на месте (интервал 120 с ровно, uptime непрерывен), CPU 3.7–8.3%, load 1.17–2.34, RAM 9.4–11.1%, swap 28.3% (дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Верификация восстановления (23:27 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.8 ms), все 19 серверов онлайн.\n- Вывод: восемнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Восемнадцать эпизодов за день, все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100%, available ~2.0 GB). Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 18).\n\n## Incident 2026-10-11 23:26 UTC (девятнадцатый эпизод — тот же почерк)\n\n- 23:26:04–23:26:34 UTC: hard-panel девятнадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #465 down / #466 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15–18.\n- Интервал от эпизода 18: ~8,9 мин (23:17:10 → 23:26:04). Хвост серии: 22:23 → 22:27 → 22:31 → 22:40 → 22:49 → 23:01 → 23:17 → 23:26 (8 эпизодов за ~63 мин).\n- VM в окне инцидента здорова: точки агента 23:25:21 и 23:27:21 на месте (интервал 120 с ровно, uptime 375655 с непрерывен), CPU 8.4→5.9%, load 2.04→1.43, RAM 11.2%, swap 28.3% (дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Гипервизор bserv (проверка 23:27 UTC, read-only): RAM 117.4/120.8 GB занято (~97%), free 571 MB, swap 8191/8191 MB (100%, 0 свободно), available ~2.0 GB, load 4.83/3.98/3.85; vmstat si/so=0 (активного свопинга в момент проверки нет); PSI memory some/full avg10=0.14 (низкий); dmesg/journal чисты — OOM-событий нет (последний OOM — 6 окт). qemu nextcloud Id 34 running (RSS ~33.5 GB).\n- Верификация восстановления (23:27:21 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.\n- Вывод: девятнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Девятнадцать эпизодов за день (17:28–23:26 UTC, ~6 ч), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.0 GB). Standing risk OOM (Incident 2026-10-06) активен и повышен.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 19).\n\n## Incident 2026-10-06 (OOM crash)\n\n- 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).\n- 2026-10-06 07:54:06 UTC: VM shut down, `reason=crashed` (libvirt log).\n- Down ~31h12m; `cloud.gnexus.space` returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.\n- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.\n\nNo raw credentials are documented here." + }, + "status": "applied", + "created_at": "2026-10-11T23:30:18Z", + "updated_at": "2026-10-11T23:30:20Z", + "applied_at": "2026-10-11T23:30:20Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}