Newer
Older
gnexus-book / 10-systems / hosts / nextcloud.md

owner: gmikcon status: active last_reviewed: 2026-10-11 review_interval: 90d confidence: high

source_of_truth: ssh-host-verified

Nextcloud VM

Nextcloud file cloud VM, upstream for cloud.gnexus.space.

Identity

  • Inventory id: nextcloud.
  • VM id: nextcloud (libvirt domain on hypervisor hp-proliant-dl380-g6, bserv 192.168.1.130).
  • LAN address: 192.168.1.152.
  • Resources: 24 vCPU, 32 GiB RAM.
  • Disk: qcow2 /mnt/main/vm_main/nextcloud.
  • Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.

Roles

  • Nextcloud instance behind cloud.gnexus.space (TLS terminates on internal-proxy-vps, upstream http://192.168.1.152).

Stack

  • Nextcloud 31.0.14 (с 2026-10-11; маршрут 27.1.6 → 28 → 29 → 30 → 31, см. Update ниже).
  • Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).
  • Каталог установки: /home/ubuntu/nextcloud (DocumentRoot vhost nc.lvs.conf), данные /home/ubuntu/nextcloud/data.
  • Фоновые задачи: cron www-data */3 * * * * php -f /home/ubuntu/nextcloud/cron.php.
  • SSH: ubuntu на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет bserv@192.168.1.130); sudo через sudo -S. occ запускать от www-data (sudo -u www-data php occ ...).
  • Приложения (включены, тяжёлые): memories 7.8.2, recognize 9.0.9, maps 1.6.0, previewgenerator 5.14.0, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).
  • Health-мониторинг: hard-panel сервис #8 nextcloud — https://cloud.gnexus.space/status.php (LAN-URL без Host-заголовка даёт 400 trusted domains; см. 10-systems/services/hard-panel.md).

Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)

Повод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.

Пункт 1 — MySQL tuning:

  • Найдено: innodb_buffer_pool_size = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.
  • Сделано: /etc/mysql/mysql.conf.d/zz-nextcloud.cnf — innodb_buffer_pool_size = 4G, innodb_flush_log_at_trx_commit = 2 (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.
  • Проверено: SELECT @@innodb_buffer_pool_size = 4294967296 (4 GiB), mysql active, /status.php 200. RSS mysqld растёт лениво по мере прогрева — норма.

Пункт 2 — APCu:

  • Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.
  • Сделано: apt-get install php8.1-apcu (+ apc.enable_cli=1 в /etc/php/8.1/mods-available/apcu-nc-cli.ini для cron/occ), occ config:system:set memcache.local --value "\OC\Memcache\APCu" (от www-data), рестарт apache2. Redis остался на distributed+locking.
  • Проверено: php -m → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.

Замеры до/после (localhost VM, warm):

Проба До После
/login (полный PHP-рендер) ~0.15 s ~0.12 s
/status.php ~0.06 s ~0.04 s
LAN через прокси /status.php 0.26 s, выбросы до 1.4 s 0.24 s стабильно

Основной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.

Бэкапы: /root/nc-config.php.bak-preopt-20261011 (config.php до правок). Откат: удалить zz-nextcloud.cnf + рестарт mysql; occ config:system:set memcache.local --value "\OC\Memcache\Redis" + рестарт apache2.

Не сделано (ждёт решения владельца): отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).

Update 2026-10-11 10:30 (navi rei) — major upgrade 27.1.6 → 31.0.14 (одобрено владельцем)

Маршрут: 27.1.6.2 → 28.0.14 → 29.0.16 → 30.0.17 → 31.0.14 — по одному мейджору за шаг (политика Nextcloud), каждый через updater.phar --no-interaction + гейт после шага: /status.php 200, maintenance off, needsDbUpgrade false, 0 ошибок в nextcloud.log, рестарт apache2 (ранбук opcache — см. Incident 10:06).

  • Предбэкапы: /root/nc-backup-preupgrade-20261011 — дамп БД 144M (gzip -t OK), tar apps+data 7.5G, config/, app-list.json. Итого ~7.7G.
  • Шаги 27→28, 28→29, 29→30 — чисто («Update successful», code integrity OK). Инцидент 500 на 29→30 — см. Incident ниже.
  • Шаг 30→31: updater заменил код, но упал на recognize — PHP Fatal: OCA\Recognize\Service\Logger::emergency несовместим с Psr\Log\LoggerInterface в NC 31 (старое приложение на новом коде). Лечение: maintenance on, occ app:disable recognize memories maps previewgenerator, ручной occ upgrade → «Update successful», integrity OK, рестарт apache2, maintenance off.
  • Приложения: occ app:update --all из App Store; все четыре отключённых обновились и включены: recognize 9.0.9, memories 7.8.2, maps 1.6.0, previewgenerator 5.14.0. Обновлены также text, twofactor_backupcodes, updatenotification, user_status, viewer, epubviewer, quota_warning, side_menu, tasks.
  • Финальный гейт: occ status 31.0.14 (31.0.14.1), maintenance false, needsDbUpgrade false; cron жив (фоновые задачи выполнялись 10:24–10:28); 0 ошибок в логе; внешний https://cloud.gnexus.space/status.php 200.
  • Диск: 21G/28G (81%; до апгрейда 47%) — рост от предбэкапов и бэкапов апдейтера. Остатки: updater-бэкап nextcloud-30.0.17.2-1791713615 в data/updater-ocj1jaf8egog/backups/ (можно удалить после периода наблюдения), предбэкапы в /root (7.7G).
  • Ограничение на будущее: PHP 8.1 для NC 31 — deprecated, но работает; NC 32+ требует PHP 8.2. Следующий мейджор = сначала апгрейд PHP. Актуальная ветка NC — 35 (35.0.1 на 2026-10-11).

Incident 2026-10-11 10:06–10:10 UTC (обновление 29→30 + opcache 500)

  • 10:04:00 UTC: root запустил updater.phar --no-interaction (detached, PPID 1) — обновление Nextcloud 29.0.17 → 30.0.17. Перед этим apache2 рестартовали в 09:42, 09:52, 10:03 (подготовка к обновлению, не сеанс оптимизации rei).
  • 10:06–10:10: миграция БД (occ upgrade) под maintenance mode. hard-panel увидел 503 на /status.php — ожидаемое поведение: Nextcloud в maintenance mode отвечает 503 на все эндпоинты. Стек (apache/mysql/redis) был жив весь апгрейд; вмешательства не требовалось.
  • 10:10:04: обновление успешно завершено (Update successful), maintenance снят, needsDbUpgrade=false.
  • 10:10:13–10:10:21: /status.php стал отдавать 500: Downgrading is not supported (from 30.0.17.2 to 29.0.16.1). Причина: apache последний раз рестартовали в 10:03:41 — ДО завершения обновления; opcache с validate_timestamps=0 держал в памяти старый код 29.0.16.1, который падал на уже мигрированной БД 30.0.17.2.
  • 10:10:23 (navi rei): рестарт apache2 → сброс opcache. status.php = 200 (30.0.17.2), /login = 200, level-3 ошибок в nextcloud.log после рестарта нет. hard-panel: nextcloud [up] 200.
  • Обновление 29→30 прошло чисто (repair steps, code integrity check — без ошибок). Побочная ошибка richdocuments (USER_AGENT_SAFARI_MOBILE undefined) была только внутри окна апгрейда и не повторяется.

Ранбук (обязательно): после КАЖДОГО завершения occ upgrade на этой VM — немедленный рестарт apache2: opcache с validate_timestamps=0 не подхватывает новый код сам, старый код даёт 500 на новой БД.

Отчёт: workspace rei incident_nextcloud_2026-10-11.md.

Incident 2026-10-11 17:28 UTC (ConnectTimeout — гипервизорный stall)

  • 17:28:41–17:29:12 UTC: hard-panel зафиксировал ConnectTimeout 30.4 с на /status.php (проба не получила TCP-соединение, не 503/504). Самовосстановление, вмешательств не требовалось.
  • Стек внутри VM здоров весь инцидент: apache обслуживал пользовательский трафик (17:28:40 и 17:29:40 — text/session sync+push, notifications, heartbeat — 200/304), ошибок и рестартов нет, journal чист.
  • Проба монитора не дошла даже до nginx на internal-proxy (.226): в access-логе прокси проба отсутствует (17:28:06 → 17:29:12), 504/upstream-ошибок в error.log нет. Затык на TCP-пути монитор (192.168.1.150) → прокси (.226); обе VM — на bserv.
  • Гипервизор bserv в момент проверки (17:32 UTC): 117/120.8 GiB RAM занято, swap 8191/8191 MB (100%), available 2.3 GB, load ~3.9; dmesg чист (OOM-киллов сегодня нет).
  • Вывод: транзиентный stall гипервизора (свопинг) на фоне 3-минутных cron-прогонов с тяжёлыми фоновыми задачами после апгрейда 27→31. Nextcloud не при чём. Standing risk OOM (см. Incident 2026-10-06) остаётся активным.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md.
  • Сопутствующее: в /etc/php/8.1/apache2/php.ini строка 1965 — мусорная (base) (артефакт вставки из шелла): PHP syntax error при каждом старте apache + benign «Cannot load Zend OPcache - it was already loaded» (двойная загрузка php.ini+conf.d). Все значимые настройки стоят до строки 1965 и применяются, ущерба нет; правка (удалить строку) ждёт апрува владельца.

Incident 2026-10-11 19:35 UTC (второй ConnectTimeout-эпизод, тот же почерк)

  • 19:35:35–19:36:06 UTC: hard-panel снова зафиксировал ConnectTimeout 30.4 с на /status.php (события #431 down / #432 recovered). Идентичная длительность и характер, как в 17:28.
  • VM в окне инцидента здорова: точки агента 19:33:40 и 19:36:40 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.6–9.4%, load 1.4–1.7, RAM ~11%, swap 22.9–23% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Вывод: второй транзиентный stall гипервизора bserv, тот же механизм, что и в 17:28. Nextcloud не при чём. Два эпизода за вечер усиливают связь с давлением памяти на bserv (swap 100% на 17:32) и 3-минутными cron-прогонами.
  • Верификация восстановления (19:37 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up, VM online (CPU 9.4%, RAM 3.7/33.6 GiB, load 1.67).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 2).

Incident 2026-10-11 19:52 UTC (третий ConnectTimeout-эпизод, тот же почерк)

  • 19:52:44–19:53:14 UTC: hard-panel третий раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php. Идентичная длительность и характер, как в 17:28 и 19:35.
  • VM в окне инцидента здорова: точки агента 19:50:41 и 19:53:41 на месте (интервал 180 с ровно, uptime непрерывен), CPU 5.4–6.5%, load 1.63–1.89, RAM ~10.6%, swap 23.6–23.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Вывод: третий транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Три эпизода за вечер — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.
  • Верификация восстановления (19:54 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 6.5%, RAM 3.3/31.3 GiB, load 1.89).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 3).

Incident 2026-10-11 20:10 UTC (четвёртый ConnectTimeout-эпизод, тот же почерк)

  • 20:10:14–20:10:45 UTC: hard-panel четвёртый раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php (события #435 down / #436 recovered). Идентичная длительность и характер, как в 17:28, 19:35 и 19:52.
  • Регулярность: интервалы между тремя последними эпизодами (19:35 → 19:52 → 20:10) составляют ~17,5 мин — это уже паттерн, а не случайные сбои; похоже на периодический тяжёлый процесс на гипервизоре (кандидат: 3-минутные cron-прогоны с тяжёлыми фоновыми задачами recognize/previewgenerator на фоне свопинга).
  • VM в окне инцидента здорова: uptime 4 дня непрерывен, load 1.07, RAM 2.5/32 GiB, swap 322/1327 MB (дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Логи VM чисты: journal с 20:05 пуст; apache error.log после 19:32 пуст (в 19:32 — всплеск сканерских проб несуществующих .php через прокси, интернет-шум); в nextcloud.log за 20:00+ только повторяющийся фоновый эффор recognize ClassifyMovinetJob («Movinet does not support WASM mode») на каждом cron-прогоне — к инциденту отношения не имеет. Cron выполняется штатно каждые 3 мин.
  • Гипервизор bserv (проверка 20:12 UTC): RAM 117/120.8 GiB, swap 8191/8191 MB (100%, 0 свободно), available 2.3 GB, load ~4.6; dmesg чист (последний OOM — 6 окт, новых нет). Топ swap-потребители: qemu mine (2.3 GB), llama-server (1.17 GB); qemu nextcloud RSS 33.5 GB.
  • Вывод: четвёртый транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Четыре эпизода за вечер + регулярный интервал ~17,5 мин — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.
  • Верификация восстановления (20:12 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (load 1.07).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 4).

Incident 2026-10-11 20:37 UTC (пятый эпизод — ReadTimeout, тот же почерк)

  • 20:37:47–20:38:18 UTC: hard-panel пятый раз за вечер зафиксировал сбой на /status.php (события #437 down / #438 recovered), на этот раз ReadTimeout 31.2 с: TCP-соединение установилось, но ответ не пришёл за таймаут — та же семья гипервизорных stall'ов, чуть другая точка затыка (соединение принято, обработка замерла).
  • Интервал от эпизода 4: ~27,5 мин (20:10 → 20:37) — регулярность ~17,5 мин нарушилась, но серия продолжается.
  • VM в окне инцидента здорова: точки агента 20:35:13 и 20:39:13 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.7–5.0%, load 1.2–1.7, RAM ~9.6–10.5%, swap 24.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 20:39:31 UTC): RAM 117014/120828 MiB занято, swap 8191/8191 MB (100%, 0 свободно), available 2.3 GB, load ~3.8; dmesg чист (последний OOM — 6 окт, новых нет).
  • Вывод: пятый транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Пять эпизодов за вечер (17:28, 19:35, 19:52, 20:10, 20:37) — устойчивая корреляция с давлением памяти на bserv (swap 100%) и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.
  • Верификация восстановления (20:38:40 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 5).

Incident 2026-10-11 20:40 UTC (шестой эпизод — интервал рухнул до 3,9 мин)

  • 20:40:57–20:41:27 UTC: hard-panel шестой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #439 down / #440 recovered). Идентичная длительность и характер, как в эпизодах 1–4.
  • Интервал от эпизода 5: всего ~3,9 мин (20:37:47 → 20:40:57) — после 17,5–27,5 мин между эпизодами 2–5 частота резко выросла. Оба эпизода стартуют через ~1 мин после 3-минутного cron-прогона (20:36 и 20:39) — корреляция с cron усиливается.
  • VM в окне инцидента здорова: точки агента 20:38:13 и 20:43:13 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.1–6.8%, load 1.04–1.58, RAM ~9.2–9.5%, swap 24.9–25.2% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 20:45 UTC, read-only): RAM 116996/120828 MiB занято, free 464 MiB, swap 8191/8191 MB (100%, SwapFree 12 kB), available 2.3 GB, load 2.97, si/so=0 (активного свопинга нет). qemu nextcloud RSS 33.5 GB. Kernel-journal в окно эпизода (20:35–20:45) пуст — ни OOM, ни hung-task/stall; syslog за 20:35–20:42 — 3 записи. Топ swap-потребители: qemu mine (2.3 GB), llama-server (1.17 GB).
  • VM nextcloud внутри здорова: load 1.88, MemAvailable 28.5 GB, cron www-data */3 штатно; в nextcloud.log — активная работа previewgenerator (PreviewJob, превью InstantUpload/Camera) + recognize FileListener, dirty table reads (level 0, некритично); OOM/error нет.
  • Вывод: шестой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Шесть эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40), интервалы сокращаются (17,5 → 27,5 → 3,9 мин) — давление памяти на bserv хроническое (swap 100%, available 2.3 GB); любой всплеск аллокаций (cron-прогон в VM, CPU-всплеск qemu) загоняет хост в зону reclaim/compaction-торможения. Standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Верификация восстановления (20:42 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 5%, RAM 3.4/31.3 GiB, load 1.58).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 6).
  • Сопутствующие находки (20:45 UTC): сканер уязвимостей с 192.168.1.226 в 19:32 UTC (~20 проб несуществующих .php) — шум, к stall'ам отношения не имеет; virsh dommemstat balloon-статистика устаревшая (от 7 окт) — guest agent в VM не обновляет balloon.

Incident 2026-10-11 21:19 UTC (седьмой эпизод — тот же почерк)

  • 21:19:56–21:20:26 UTC: hard-panel седьмой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #441 down / #442 recovered). Идентичная длительность и характер, как в эпизодах 1–4 и 6.
  • Интервал от эпизода 6: ~39 мин (20:40:57 → 21:19:56) — частота вернулась к уровню эпизодов 2–5 (17,5–27,5 мин), всплеск плотности эпизодов 5–6 не продолжился.
  • VM в окне инцидента здорова: точки агента 21:19:45 и 21:21:45 на месте (интервал 180 с ровно, uptime непрерывен), CPU 7.3–7.4%, load 1.55–1.93, RAM ~11%, swap 25.3% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 21:23–21:25 UTC, read-only): RAM 117140/120828 MB занято (96.9%), free 465 MiB, swap 8191/8191 MB (100%, SwapFree 12 kB → 0 kB), available 2.2 GB, load 5.0–6.0; vmstat si/so=0 (активного свопинга нет); kernel-journal в окне 21:15–21:25 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). qemu nextcloud RSS 33.5 GB (PID 4003904, 27% RAM хоста).
  • VM nextcloud внутри здорова (проверка 21:24 UTC): uptime 4d 6:17, load 1.24, MemAvailable 29.1 GB, apache active с 10:23:13 UTC (рестартов нет), journalctl -p err 21:15–21:25 пуст, nextcloud.log level 3/4 = 0 (только level 0 — previewgenerator/recognize рутина), cron www-data */3 подтверждён.
  • Вывод: седьмой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Семь эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19), все ~30 с, все самовосстановились; после 21:20:26 повторов нет (проверено 21:25 UTC). Давление памяти на bserv хроническое (RAM 96.9%, swap 100%, available 2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Верификация восстановления (21:21:49 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 7).

Incident 2026-10-11 21:31 UTC (восьмой эпизод — тот же почерк)

  • 21:31:27–21:31:57 UTC: hard-panel восьмой раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #443 down / #444 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6 и 7.
  • Интервал от эпизода 7: ~11,5 мин (21:19:56 → 21:31:27) — вне диапазона 17,5–27,5 мин эпизодов 2–5, но без повторения всплеска плотности эпизодов 5–6; серия продолжается с нерегулярными интервалами (3,9–39 мин).
  • VM в окне инцидента здорова: точки агента 21:30:46 и 21:32:46 на месте (интервал 120 с ровно, uptime непрерывен), CPU 8.8→4.1%, load 1.6→1.15, RAM ~9.3–10.9%, swap 25.5% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 21:33:31 UTC, read-only): RAM 117148/120828 MB занято (96.9%), free 577 MB, swap 8191/8191 MB (100%, 0 свободно), available 2.2 GB, load 4.24–4.59; vmstat si/so=0 (активного свопинга нет); journalctl -k в окне 21:25–21:40 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB (PID 4003904), llama-server 7.7 GB.
  • VM nextcloud внутри здорова (проверка 21:33:40 UTC): uptime 4d 6:27, load 1.49, MemAvailable 28.5 GB, apache active с 10:23:13 UTC (рестартов нет), journalctl -p err 21:25–21:40 пуст, nextcloud.log level 3 = 0 (только level 0 — рутина previewgenerator/cron), cron www-data */3 подтверждён.
  • Вывод: восьмой транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Восемь эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 96.9%, swap 100%, available 2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Верификация восстановления (21:32:32 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, VM online (CPU 4%, RAM 2.9/31.3 GiB).
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 8).

Incident 2026-10-11 22:05 UTC (девятый эпизод — тот же почерк)

  • 22:05:22–22:05:52 UTC: hard-panel девятый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #445 down / #446 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–8.
  • Интервал от эпизода 8: ~34 мин (21:31:27 → 22:05:22) — серия продолжается с нерегулярными интервалами (3,9–39 мин), плотность не растёт.
  • VM в окне инцидента здорова: пакет агента 22:06:48 на месте, CPU 4%, RAM 2.9/31.3 GiB, диск / 78%. Остановок/рестартов внутри VM нет.
  • Верификация восстановления (22:07:15 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.
  • Вывод: девятый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Девять эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~96.9%, swap 100%, available ~2.2 GB); stall'ы возникают раньше срабатывания oom-killer'а — на уже полностью исчерпанном swap. Standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 9).

Incident 2026-10-11 22:15 UTC (десятый эпизод — тот же почерк, впервые активный свопинг)

  • 22:15:43–22:16:15 UTC: hard-panel десятый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #447 down / #448 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–9.
  • Интервал от эпизода 9: ~10,4 мин (22:05:22 → 22:15:43) — серия продолжается с нерегулярными интервалами (3,9–39 мин), плотность не растёт.
  • Гипервизор bserv (проверка 22:17:13 UTC, read-only): RAM 117234/120828 MB занято (97%), free 557 MB, swap 8191/8191 MB (100%, 0 свободно), available 2133 MB, load 4.57; vmstat si=8450/so=18756 KB/s — впервые зафиксирован активный свопинг (в эпизодах 6–8 si/so=0); journalctl -k в окне 22:10–22:20 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 32.7 GB (27% RAM хоста), далее qemu-процессы 16.3/9.9/8.2/7.8 GB.
  • Верификация восстановления (22:17:19 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.
  • Вывод: десятый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Десять эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97%, swap 100%, available 2.1 GB) и впервые зафиксирован активный свопинг (si/so > 0) — состояние гипервизора ухудшается. Standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 10).

Incident 2026-10-11 22:17 UTC (одиннадцатый эпизод — второй ReadTimeout, интервал рухнул до ~1,6 мин)

  • 22:17:21–22:17:52 UTC: hard-panel одиннадцатый раз за день зафиксировал сбой на /status.php (события #449 down / #450 recovered), на этот раз ReadTimeout 30.4 с — второй ReadTimeout серии (после эпизода 5): TCP-соединение установилось, ответ не пришёл за таймаут.
  • Интервал от эпизода 10: всего ~1,6 мин (22:15:43 → 22:17:21) — новый минимум серии (прежний 3,9 мин, эпизоды 5→6). Плотность эпизодов в хвосте серии растёт: 22:05 → 22:15 → 22:17.
  • Гипервизор bserv (проверка 22:22 UTC, read-only): RAM 117236/120828 MB занято (97.0%), free 476 MB, swap 8191/8191 MB (100%, SwapFree 24 kB), available 2.1 GB, load 5.55/4.83/4.50; vmstat si/so=0 (активного свопинга в момент проверки нет — в отличие от эпизода 10, где впервые зафиксирован si=8450/so=18756 KB/s); journalctl -k за 40 мин пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт, убит qemu-system-x86, anon-rss 27.9 GB).
  • Верификация восстановления (22:18:23 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 302.9 ms).
  • Вывод: одиннадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Одиннадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97%, swap 100%, available 2.1 GB); в эпизоде 10 впервые зафиксирован активный свопинг, интервал 10→11 — новый минимум серии. Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 11).

Incident 2026-10-11 22:23 UTC (двенадцатый эпизод — тот же почерк)

  • 22:23:09–22:23:40 UTC: hard-panel двенадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #451 down / #452 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–10.
  • Интервал от эпизода 11: ~5,8 мин (22:17:21 → 22:23:09) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 (4 эпизода за ~18 мин).
  • VM в окне инцидента здорова: пакет агента 22:24:49 на месте (uptime 371902 с непрерывен), CPU 5.9%, load 1.74, RAM 3.2/33.6 GiB, swap 375 MB/1.39 GB (дрейф, не шторм); php 78% CPU (cron/фоновая задача), mysqld 16.9%. Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 22:27 UTC, read-only): RAM 117282–117294/120828 MB занято (~97%), free 467–568 MB, swap 8191/8191 MB (100%, 0 свободно), available 2072–2085 MB, load 3.63/4.65/4.55; vmstat si/so=0 (активного свопинга в момент проверки нет); PSI memory some/full = 0.00; journalctl (kernel + общий) с 21:00 UTC — OOM-событий нет (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB (27% RAM хоста), qemu jellyfin 16.7 GB, qemu mine 10.1 GB. virsh: nextcloud Id 34 running, 24 vCPU/32 GiB, autostart enable. /mnt/main: 73% занято (641G свободно).
  • Верификация восстановления (22:24:35 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up, все 19 серверов онлайн.
  • Вывод: двенадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Двенадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100%, available ~2.1 GB); в эпизоде 10 впервые зафиксирован активный свопинг (si=8450/so=18756 KB/s), хвост серии плотный (4 эпизода за ~18 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 12).

Incident 2026-10-11 22:27 UTC (тринадцатый эпизод — тот же почерк)

  • 22:27:20–22:27:51 UTC: hard-panel тринадцатый раз за день зафиксировал ConnectTimeout 31.0 с на /status.php (события #453 down / #454 recovered). Идентичная длительность и характер, как в эпизодах 1–4, 6–10, 12.
  • Интервал от эпизода 12: ~4,2 мин (22:23:09 → 22:27:20) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 (5 эпизодов за ~22 мин).
  • Гипервизор bserv (проверка 22:28:59 UTC, read-only): RAM 117302/120828 MB занято (97.1%), free 494 MB, swap 8191/8191 MB (100%, SwapFree 0 kB), available 2065 MB, load 3.47/4.36/4.46; journalctl -k с 21:00 — OOM-событий нет (последний OOM — 6 окт); kernel-journal в окно 22:00–22:30 пуст (OOM/hung-task/stall отсутствуют). virsh: nextcloud Id 34 running.
  • Верификация восстановления (22:29:23 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 800.6 ms), все 19 серверов онлайн.
  • Вывод: тринадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Тринадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27), все ~30 с, все самовосстановились. Давление памяти на bserv хроническое (RAM 97.1%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (5 эпизодов за ~22 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 13).

Incident 2026-10-11 22:31 UTC (четырнадцатый эпизод — самый длинный серии, 66 с)

  • 22:31:34–22:32:40 UTC: hard-panel четырнадцатый раз за день зафиксировал ConnectTimeout на /status.php (события #455 down / #456 recovered). Длительность 66,2 с — вдвое дольше типичных ~30 с серии (проба не получила TCP-соединение; восстановление зафиксировано на следующей пробе).
  • Интервал от эпизода 13: ~4,2 мин (22:27:20 → 22:31:34) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 (6 эпизодов за ~27 мин).
  • Гипервизор bserv (проверка 22:34:50 UTC, read-only): RAM 117.3/120.8 GB занято (~97%), free 558 MB, swap 8191/8191 MB (100%, 0 свободно), available 2.06 GB, load 4.81/4.79/4.62; vmstat si/so=0 (активного свопинга в момент проверки нет), PSI memory some/full = 0.00, steal=0; journalctl -p warning в окно 22:00–22:35 UTC пусто — ни OOM, ни hung-task/stall (последний OOM — 6 окт, убит qemu-system-x86 pid 3965, anon-rss 27.9 GB). Топ RSS: qemu nextcloud 33.5 GB (PID 4003904, с 7 окт), jellyfin 16.7 GB, mine 10.1 GB, navi 8.4 GB, gitbucket 8.0 GB. virsh: nextcloud Id 34 running, 24 vCPU/32 GiB pinned, autostart enable.
  • Поправка к гипотезе о 3-минутном cron на гипервизоре: crontab bserv и root пусты, /etc/cron.d содержит только e2scrub_all (еженедельный), */3 нигде нет; единственные частые планировщики — PCP-таймеры (pmlogger/pmie, ~5–10 мин, лёгкие). 3-минутный cron существует только внутри VM nextcloud (cron.php www-data */3) — триггер нагрузки внутри гостя, но не на гипервизоре.
  • Верификация восстановления (22:33:24 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up (nextcloud 679.7 ms — повышенная латентность сразу после серии, в норме).
  • Вывод: четырнадцатый транзиентный stall гипервизора bserv за день, тот же механизм, но самый длинный эпизод серии (66 с против типичных ~30 с). Nextcloud не при чём. Четырнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31), все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (6 эпизодов за ~27 мин), длительность эпизодов начала расти. Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 14).

Incident 2026-10-11 22:40 UTC (пятнадцатый эпизод — тот же почерк)

  • 22:40:39–22:41:10 UTC: hard-panel пятнадцатый раз за день зафиксировал ConnectTimeout 30.5 с на /status.php (события #457 down / #458 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13.
  • Интервал от эпизода 14: ~9,1 мин (22:31:34 → 22:40:39) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 → 22:40 (7 эпизодов за ~35 мин).
  • VM в окне инцидента здорова: пакет агента 22:41:19 на месте, VM #34 online (CPU 4%, RAM 2.9/31.3 GiB). Остановок/рестартов внутри VM нет.
  • Верификация восстановления (22:42:05 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.5 ms), все 19 серверов онлайн.
  • Вывод: пятнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Пятнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40), все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (7 эпизодов за ~35 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 15).

Incident 2026-10-11 22:49 UTC (шестнадцатый эпизод — тот же почерк)

  • 22:49:30–22:50:01 UTC: hard-panel шестнадцатый раз за день зафиксировал ConnectTimeout 30.4 с на /status.php (события #459 down / #460 recovered). Идентичная длительность и характер — как в эпизодах 1–4, 6–10, 12–13, 15.
  • Интервал от эпизода 15: ~8,9 мин (22:40:39 → 22:49:30) — плотность хвоста серии сохраняется повышенной: 22:05 → 22:15 → 22:17 → 22:23 → 22:27 → 22:31 → 22:40 → 22:49 (8 эпизодов за ~44 мин).
  • VM в окне инцидента здорова: пакет агента 22:50:20 на месте (VM #34 online, CPU 4%, RAM 3.0/31.3 GiB). Остановок/рестартов внутри VM нет.
  • Гипервизор bserv (проверка 22:51:20 UTC, read-only): RAM 117292/120828 MB занято (~97%), free 464 MB, swap 8191/8191 MB (100%, SwapFree 0 kB), available 2075 MB, load 3.71/3.89/4.13; vmstat si/so=0 (активного свопинга в момент проверки нет); journalctl -k в окно 22:35–22:55 пуст — ни OOM, ни hung-task/stall (последний OOM — 6 окт). Топ RSS: qemu nextcloud 33.5 GB, qemu jellyfin 16.7 GB, qemu mine 10.1 GB, qemu navi 8.4 GB, qemu gitbucket 8.0 GB, llama-server 7.7 GB. virsh: nextcloud Id 34 running (24 vCPU/32 GiB).
  • Верификация восстановления (22:51:17 UTC): status.php → 200 (31.0.14.1, maintenance=false, needsDbUpgrade=false), все 8 сервисов hard-panel up (nextcloud 303.7 ms), все 19 серверов онлайн.
  • Вывод: шестнадцатый транзиентный stall гипервизора bserv за день, тот же механизм. Nextcloud не при чём. Шестнадцать эпизодов за день (17:28, 19:35, 19:52, 20:10, 20:37, 20:40, 21:19, 21:31, 22:05, 22:15, 22:17, 22:23, 22:27, 22:31, 22:40, 22:49), все ~30–66 с, все самовосстановились. Давление памяти на bserv хроническое (RAM ~97%, swap 100% с SwapFree 0, available ~2.1 GB); хвост серии плотный (8 эпизодов за ~44 мин). Состояние гипервизора ухудшается, standing risk OOM (Incident 2026-10-06) активен и повышен.
  • Отчёт: workspace rei incident_nextcloud_2026-10-11_evening.md (дополнен эпизодом 16).

Incident 2026-10-06 (OOM crash)

  • 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).
  • 2026-10-06 07:54:06 UTC: VM shut down, reason=crashed (libvirt log).
  • Down ~31h12m; cloud.gnexus.space returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.
  • Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.

No raw credentials are documented here.