Newer
Older
gnexus-book / 10-systems / hosts / nextcloud.md

owner: gmikcon status: active last_reviewed: 2026-10-19 review_interval: 90d confidence: high

source_of_truth: ssh-host-verified

Nextcloud VM

Nextcloud file cloud VM, upstream for cloud.gnexus.space.

Identity

  • Inventory id: nextcloud.
  • VM id: nextcloud (libvirt domain on hypervisor hp-proliant-dl380-g6, bserv 192.168.1.130).
  • LAN address: 192.168.1.152.
  • Resources: 24 vCPU, 32 GiB RAM.
  • Disk: qcow2 /mnt/main/vm_main/nextcloud.
  • Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.

Roles

  • Nextcloud instance behind cloud.gnexus.space (TLS terminates on internal-proxy-vps, upstream http://192.168.1.152).

Stack

  • Nextcloud 31.0.14 (с 2026-10-11; маршрут 27.1.6 → 28 → 29 → 30 → 31, см. Update ниже).
  • Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).
  • Каталог установки: /home/ubuntu/nextcloud (DocumentRoot vhost nc.lvs.conf), данные /home/ubuntu/nextcloud/data.
  • Фоновые задачи: cron www-data */3 * * * * php -f /home/ubuntu/nextcloud/cron.php.
  • SSH: ubuntu на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет bserv@192.168.1.130); sudo через sudo -S. occ запускать от www-data (sudo -u www-data php occ ...).
  • Приложения (включены, тяжёлые): memories 7.8.2, recognize 9.0.9, maps 1.6.0, previewgenerator 5.14.0, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).
  • Health-мониторинг: hard-panel сервис #8 nextcloud — https://cloud.gnexus.space/status.php (LAN-URL без Host-заголовка даёт 400 trusted domains; см. 10-systems/services/hard-panel.md).

Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)

Повод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.

Пункт 1 — MySQL tuning:

  • Найдено: innodb_buffer_pool_size = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.
  • Сделано: /etc/mysql/mysql.conf.d/zz-nextcloud.cnf — innodb_buffer_pool_size = 4G, innodb_flush_log_at_trx_commit = 2 (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.
  • Проверено: SELECT @@innodb_buffer_pool_size = 4294967296 (4 GiB), mysql active, /status.php 200. RSS mysqld растёт лениво по мере прогрева — норма.

Пункт 2 — APCu:

  • Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.
  • Сделано: apt-get install php8.1-apcu (+ apc.enable_cli=1 в /etc/php/8.1/mods-available/apcu-nc-cli.ini для cron/occ), occ config:system:set memcache.local --value "\OC\Memcache\APCu" (от www-data), рестарт apache2. Redis остался на distributed+locking.
  • Проверено: php -m → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.

Замеры до/после (localhost VM, warm):

Проба До После
/login (полный PHP-рендер) ~0.15 s ~0.12 s
/status.php ~0.06 s ~0.04 s
LAN через прокси /status.php 0.26 s, выбросы до 1.4 s 0.24 s стабильно

Основной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.

Бэкапы: /root/nc-config.php.bak-preopt-20261011 (config.php до правок). Откат: удалить zz-nextcloud.cnf + рестарт mysql; occ config:system:set memcache.local --value "\OC\Memcache\Redis" + рестарт apache2.

Не сделано (ждёт решения владельца): отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).

Update 2026-10-11 10:30 (navi rei) — major upgrade 27.1.6 → 31.0.14 (одобрено владельцем)

Маршрут: 27.1.6.2 → 28.0.14 → 29.0.16 → 30.0.17 → 31.0.14 — по одному мейджору за шаг (политика Nextcloud), каждый через updater.phar --no-interaction + гейт после шага: /status.php 200, maintenance off, needsDbUpgrade false, 0 ошибок в nextcloud.log, рестарт apache2 (ранбук opcache — см. Incident 10:06).

  • Предбэкапы: /root/nc-backup-preupgrade-20261011 — дамп БД 144M (gzip -t OK), tar apps+data 7.5G, config/, app-list.json. Итого ~7.7G.
  • Шаги 27→28, 28→29, 29→30 — чисто («Update successful», code integrity OK). Инцидент 500 на 29→30 — см. Incident ниже.
  • Шаг 30→31: updater заменил код, но упал на recognize — PHP Fatal: OCA\Recognize\Service\Logger::emergency несовместим с Psr\Log\LoggerInterface в NC 31 (старое приложение на новом коде). Лечение: maintenance on, occ app:disable recognize memories maps previewgenerator, ручной occ upgrade → «Update successful», integrity OK, рестарт apache2, maintenance off.
  • Приложения: occ app:update --all из App Store; все четыре отключённых обновились и включены: recognize 9.0.9, memories 7.8.2, maps 1.6.0, previewgenerator 5.14.0. Обновлены также text, twofactor_backupcodes, updatenotification, user_status, viewer, epubviewer, quota_warning, side_menu, tasks.
  • Финальный гейт: occ status 31.0.14 (31.0.14.1), maintenance false, needsDbUpgrade false; cron жив (фоновые задачи выполнялись 10:24–10:28); 0 ошибок в логе; внешний https://cloud.gnexus.space/status.php 200.
  • Диск: 21G/28G (81%; до апгрейда 47%) — рост от предбэкапов и бэкапов апдейтера. Остатки: updater-бэкап nextcloud-30.0.17.2-1791713615 в data/updater-ocj1jaf8egog/backups/ (можно удалить после периода наблюдения), предбэкапы в /root (7.7G).
  • Ограничение на будущее: PHP 8.1 для NC 31 — deprecated, но работает; NC 32+ требует PHP 8.2. Следующий мейджор = сначала апгрейд PHP. Актуальная ветка NC — 35 (35.0.1 на 2026-10-11).

Incident 2026-10-11 10:06–10:10 UTC (обновление 29→30 + opcache 500)

  • 10:04:00 UTC: root запустил updater.phar --no-interaction (detached, PPID 1) — обновление Nextcloud 29.0.17 → 30.0.17. Перед этим apache2 рестартовали в 09:42, 09:52, 10:03 (подготовка к обновлению, не сеанс оптимизации rei).
  • 10:06–10:10: миграция БД (occ upgrade) под maintenance mode. hard-panel увидел 503 на /status.php — ожидаемое поведение: Nextcloud в maintenance mode отвечает 503 на все эндпоинты. Стек (apache/mysql/redis) был жив весь апгрейд; вмешательства не требовалось.
  • 10:10:04: обновление успешно завершено (Update successful), maintenance снят, needsDbUpgrade=false.
  • 10:10:13–10:10:21: /status.php стал отдавать 500: Downgrading is not supported (from 30.0.17.2 to 29.0.16.1). Причина: apache последний раз рестартовали в 10:03:41 — ДО завершения обновления; opcache с validate_timestamps=0 держал в памяти старый код 29.0.16.1, который падал на уже мигрированной БД 30.0.17.2.
  • 10:10:23 (navi rei): рестарт apache2 → сброс opcache. status.php = 200 (30.0.17.2), /login = 200, level-3 ошибок в nextcloud.log после рестарта нет. hard-panel: nextcloud [down] 500.
  • Обновление 29→30 прошло чисто (repair steps, code integrity check — без ошибок). Побочная ошибка richdocuments (USER_AGENT_SAFARI_MOBILE undefined) была только внутри окна апгрейда и не повторяется.

Ранбук (обязательно): после КАЖДОГО завершения occ upgrade на этой VM — немедленный рестарт apache2: opcache с validate_timestamps=0 не подхватывает новый код сам, старый код даёт 500 на новой БД.

Отчёт: workspace rei incident_nextcloud_2026-10-11.md.

Incident series 2026-10-11 17:28 – 2026-10-12 00:07 UTC (26 эпизодов — гипервизорные stall'ы bserv)

Серия транзиентных недоступностей cloud.gnexus.space для монитора: hard-panel 26 раз за сутки зафиксировал сбой пробы /status.php (ConnectTimeout ~30 с, дважды ReadTimeout, один эпизод 66 с), каждый раз с самовосстановлением через ~30–66 с. Механизм во всех эпизодах один: проба монитора (192.168.1.150 → internal-proxy .226 → VM nextcloud .152, обе VM на bserv) не проходит TCP-путь на фоне хронического давления памяти на гипервизоре bserv (RAM ~97%, swap 100%, available 1.65–2.3 GB). Nextcloud не при чём: стек внутри VM здоров во всех эпизодах (apache обслуживает пользовательский трафик, cron /3 штатно, логи чисты, uptime непрерывен, пакеты агента без пропусков). Kernel-журнал bserv чист (OOM-событий с 6 окт нет, hung-task/stall нет). Поправка к ранней гипотезе: 3-минутного cron на гипервизоре нет (crontab bserv/root пусты, /etc/cron.d — только e2scrub_all) — триггер нагрузки внутри гостя (cron.php www-data /3 с тяжёлыми recognize/previewgenerator); всплески аллокаций в VM загоняют хост в reclaim/compaction-торможение.

# Окно (UTC) Тип Длит. Интервал События
1 17:28:41–17:29:12 ConnectTimeout 30.4 с — —
2 19:35:35–19:36:06 ConnectTimeout 30.4 с ~2 ч 07 м #431/#432
3 19:52:44–19:53:14 ConnectTimeout 30.4 с ~17.3 м —
4 20:10:14–20:10:45 ConnectTimeout 30.4 с ~17.5 м #435/#436
5 20:37:47–20:38:18 ReadTimeout 31.2 с ~27.5 м #437/#438
6 20:40:57–20:41:27 ConnectTimeout 30.4 с ~3.9 м #439/#440
7 21:19:56–21:20:26 ConnectTimeout 30.4 с ~39 м #441/#442
8 21:31:27–21:31:57 ConnectTimeout 30.4 с ~11.5 м #443/#444
9 22:05:22–22:05:52 ConnectTimeout 30.4 с ~34 м #445/#446
10 22:15:43–22:16:15 ConnectTimeout 30.4 с ~10.4 м #447/#448
11 22:17:21–22:17:52 ReadTimeout 30.4 с ~1.6 м #449/#450
12 22:23:09–22:23:40 ConnectTimeout 30.4 с ~5.8 м #451/#452
13 22:27:20–22:27:51 ConnectTimeout 31.0 с ~4.2 м #453/#454
14 22:31:34–22:32:40 ConnectTimeout 66.2 с ~4.2 м #455/#456
15 22:40:39–22:41:10 ConnectTimeout 30.5 с ~9.1 м #457/#458
16 22:49:30–22:50:01 ConnectTimeout 30.4 с ~8.9 м #459/#460
17 23:01:26–23:01:56 ConnectTimeout 30.4 с ~11.9 м #461/#462
18 23:17:10–23:17:43 ConnectTimeout ~33 с ~15.7 м #463/#464
19 23:26:04–23:26:34 ConnectTimeout 30.4 с ~8.9 м #465/#466
20 23:40:54–23:41:25 ConnectTimeout 30.4 с ~14.8 м #467/#468
21 23:45:11–23:45:42 ConnectTimeout 30.4 с ~4.3 м #469/#470
22 23:50:59–23:51:32 ConnectTimeout 32.6 с ~5.8 м #471/#472
23 23:55:19–23:55:50 ConnectTimeout 30.6 с ~4.3 м #473/#474
24 00:00:01–00:00:34 (12 окт) ConnectTimeout ~30 с ~4.8 м #475/#476
25 00:04:14–00:04:44 (12 окт) ConnectTimeout 30.4 с ~4.2 м #477/#478
26 00:06:56–00:07:29 (12 окт) ConnectTimeout 32.8 с ~2.7 м #479/#480
27 12:13:23–12:15:55 (12 окт) ConnectError 152 с ~12.1 ч (после OOM/рестарта VM) #783/#784
28 12:17:27–12:17:57 (12 окт) ConnectError 30 с ~4.1 м #785/#786
29 12:19:29–12:20:30 (12 окт) ConnectError 61 с ~2.0 м #787/#788
30 12:22:01–12:22:32 (12 окт) ConnectError 31 с ~2.5 м #789/#790

Плотность: эпизоды 1–5 редкие (интервалы 17,5–39 мин), хвост серии плотный — 8 эпизодов за ~44 мин (22:05–22:49), далее интервалы 9–16 мин с отдельными провалами до 4,2–4,3 мин (эпизоды 13–14, 21); после 23:45 интервалы снова нерегулярные (4,3–5,8–4,8 мин). Хвост серии ускоряется: эпизоды 24–26 с интервалами 4.8 → 4.2 → 2.7 мин — 2.7 мин (эпизод 26) минимум серии и первый интервал <4 мин. Длительности стабильны (~30 с), кроме эпизода 14 (66 с — максимум серии).

Сопутствующее: сканер уязвимостей с 192.168.1.226 в 19:32 UTC (~20 проб несуществующих .php) — шум, к серии отношения не имеет; virsh dommemstat balloon-статистика устаревшая (guest agent в VM не обновляет balloon).

Эпизоды 22–26 (23:50–00:07 UTC) — детали последних проверок

  • Эпизод 22 (23:50:59–23:51:32 UTC, 32.6 с, #471/#472, интервал 5.8 мин): VM #34 online в окне (пакет агента 23:51:53, CPU 0%, RAM 2.9/31.3 GiB). Верификация 23:52: services_overview — nextcloud [up] 200, v31.0.14.1 (latency 2370–3963 ms — повышенная, но отвечает); все 19 серверов online, 8/8 сервисов up.
  • Эпизод 23 (23:55:19–23:55:50 UTC, 30.6 с, #473/#474, интервал 4.3 мин): VM #34 online (пакет агента 23:55:53, CPU 5%, RAM 3.4/31.3 GiB). bserv 23:57 (read-only SSH): RAM 117667/120828 MB (~97%), swap 8191/8191 MB (100%, 0 свободно), available 1700 MB, load 4.69/4.95/4.41, vmstat si/so=0, kernel-journal 23:40–23:58 пуст (OOM нет). Верификация 23:56: panel_overview — все 19 серверов online, 8/8 сервисов up (nextcloud 316.8 ms).
  • Эпизод 24 (00:00:01–00:00:34 UTC 12 окт, ~30 с, #475/#476, интервал 4.8 мин): событие обработано в реакционной сессии rei. Верификация 00:01:26 UTC: curl https://cloud.gnexus.space/status.php → 200 за 0.26 с (maintenance=false, needsDbUpgrade=false, v31.0.14.1). bserv 00:03:19 (read-only SSH): RAM 117698/120828 MB (~97%), available 1668 MB — минимум серии (тренд за вечер 2.3 → 2.07 → 1.73 → 1.67 GB), swap free 564 KB, load 4.85/5.00/4.66, vmstat si/so=0, kernel-journal с 23:40 — 0 OOM-событий. Топ RSS qemu: 33.5 GB (nextcloud), 16.7 GB (jellyfin), 10.1 GB (mine).
  • Эпизод 25 (00:04:14–00:04:44 UTC, 30.4 с, #477/#478, интервал 4.2 мин): событие #478 (recovered) пришло в реакционную сессию rei как повод; в ходе обработки по events_recent найдены оба эпизода. Верификация 00:05:20 UTC: curl status.php → 200 за 0.23 с (maintenance=false, needsDbUpgrade=false, v31.0.14.1). bserv 00:05:25 (read-only SSH): RAM 117714/120828 MB (~97%), available 1652 MB — новый минимум серии, swap 8191/8191 MB (100%, 0 свободно), load 3.64/4.36/4.45, vmstat si/so=0, kernel-journal с 23:40 — 0 OOM-событий. VM nextcloud здорова (SSH 00:06:37): uptime 4 д 9 ч непрерывен, apache active с 10:23:13 UTC (без рестартов), mysql/redis active, cron */3 отработал 00:06:37, nextcloud.log 0 ошибок level≥3.
  • Эпизод 26 (00:06:56–00:07:29 UTC, 32.8 с, #479/#480, интервал 2.7 мин — минимум серии, впервые <4 мин): в окне stall'а services_overview показывал nextcloud [down] ConnectTimeout 6184 ms (остальные 7 сервисов up); проба 00:07:10 уже 200, но за 4.36 с (норма 0.23 с — латентность деградирует в окнах stall'ов). MCP-тулы hard-panel в сессии не зарегистрированы — панель опрошена прямым JSON-RPC на http://192.168.1.176:8000/mcp (ключ из .env navi-1, Host override localhost:8000) — обходной путь работает.
  • Поправка к ранним записям (ре-чек №2, 23:52 UTC): vmstat-колонки 12168/20991, ранее записанные как si/so («активный свопинг» в записях 22:17 и 22:50), — это колонки in/cs (interrupts/context switches); si/so в тех же выборках были 0. Активный свопинг на bserv в вечер серии не подтверждён; корректная картина — хроническая нехватка памяти (swap 100%, available 1.65–2.2 GB) без активного свопинга в точках замера.
  • Мониторинг серии: notify level=warning отправлен и доставлен 22:51 UTC (первое уведомление по серии; до этого тишина по политике транзиентов, далее не дублировалось). Intervention-критерий «интервалы <4 мин» сработал в эпизоде 26 (2.7 мин) → notify level=intervention отправлен и доставлен 00:08 UTC 12 окт: владельцу предложено решение по разгрузке bserv (кандидаты: отключить тяжёлые NC-приложения recognize/previewgenerator, урезать RAM jellyfin/mine, снизить RAM nextcloud VM 32→24 GB). Recalls каждые 1 ч (следующий 01:08 UTC); стоп-критерий — 4 ч без новых эпизодов; остальные intervention-критерии — VM down / SSH недоступен / новый OOM.

Standing risk OOM (Incident 2026-10-06) активен и повышен: серия stall'ов возникает раньше срабатывания oom-killer'а на полностью исчерпанном swap; available опустился до ~1.65 GB (минимум серии, тренд вниз за вечер 2.3 → 2.07 → 1.73 → 1.67 → 1.65 GB). Детальный лог всех эпизодов: workspace rei incident_nextcloud_2026-10-11_evening.md.

Incident 2026-10-06 (OOM crash)

  • 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).
  • 2026-10-06 07:54:06 UTC: VM shut down, reason=crashed (libvirt log).
  • Down ~31h12m; cloud.gnexus.space returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.
  • Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.

Incident 2026-10-12 (OOM kill + series resume)

  • 2026-10-12 11:32:06 UTC: global OOM on bserv — kernel killed qemu nextcloud (pid 4003904, anon-rss 33.4 GB, cgroup machine-qemu\x2d34\x2dnextcloud.scope) — первый OOM-килл VM с 2026-10-06, standing risk реализовался.
  • 2026-10-12 11:40:36 UTC: VM поднята вручную другим инстансом улья (sudo bserv → virsh start nextcloud; systemd Started Virtual Machine qemu-35-nextcloud, pid 888712, Id 35, -m 32768 — конфиг памяти НЕ изменён).
  • После OOM гипервизор разгрузился: RAM 91.1/120.8 GB (75%), available 28 GB (минимум серии был 1.65 GB), swap 98–99% (остаточный); свопинг стих к 13:44 (si=0); замер 17:31:39 UTC с явной шапкой vmstat: si=0/so=0 — свопинг неактивен (значение «si=24736 KB/s» из замера ~17:30 — повторная ошибка парсинга колонок in/cs, см. поправку ниже) — RSS qemu nextcloud растёт (4.8 → 5.34 GB за 4 ч), при прогреве к ~33 GB давление вернётся.
  • Серия stall'ов: пауза 12:22:32 → 16:16:44 UTC (3 ч 54 мин), затем эпизод #807/#808 (16:16:44–16:17:16, ConnectTimeout ~32 с, самовосстановился) — стоп-критерий «4 ч без эпизодов» сорван за ~6 мин. gitbucket crawler-шторм закончился 14:37 UTC (последний флап #801/#802); эпизод 16:16 уже без корреляции с gitbucket-CPU — механизм вернулся к своп-давлению гипервизора.
  • Кластер 12:13–12:22 UTC 12 окт (эпизоды 27–30, продолжение нумерации таблицы; ориентир — ID событий #783–#790): 12:13:23 / 12:17:27 / 12:19:29 / 12:22:01 — ConnectError (не ConnectTimeout), интервалы 4.1 / 2.0 / 2.5 мин — дважды <4 мин (intervention-критерий); длительности 152 / 30 / 61 / 31 с (эпизод 26 — самый длинный серии), все self-recovered, последний recovered 12:22:32. Кластер пришёлся на ~33 мин после ручного подъёма VM (11:40:36) — VM ещё прогревалась. Задокументировано ре-чеком №3 (recall-сессия rei, выполнена 17:38 UTC с задержкой ~17 ч от планирования 00:56 UTC).
  • Серия завершена (closure-ре-чек rei 20:24–20:27 UTC): после #808 тишина 4 ч 9 мин ≥ 4 ч — стоп-критерий выполнен, recalls цепочки прекращены; итог — 148 эпизодов за ~22.8 ч (17:28:41 UTC 11 окт → 16:17:16 UTC 12 окт); финальный срез: status.php 200 (31.0.14.1), bserv RAM 75% (available 28.5 GB), si/so=0, OOM нет, qemu RSS 6.64 GB (плато ~6.5 GB подтверждено четырьмя замерами, прогрев к ~33 GB не материализовался). Открытая задача владельца: разгрузка bserv (task_bserv_ram_overcommit).
  • Мониторинг: notify level=warning доставлен ~13:44 UTC (параллельная recall-сессия, серия возобновилась после OOM); recalls цепочкой +2h; intervention-критерии прежние (VM down / SSH недоступен / новый OOM / интервалы <4 мин).
  • Ре-чек 17:38:45 UTC (recall-сессия rei, дубль-чек параллельно с Ре-чек №3): тишина серии ~1 ч 21 мин после #808 — новых эпизодов нет; bserv RAM 91152/120828 MB (75%), available 28127 MB, swap 8049/8191 MB (142 MB free), load 7.57/5.34/3.30, si/so=0; RSS qemu nextcloud (pid 888712) 6.1 GB — прогрев продолжается (4.8 → 5.34 → 6.1 GB); VM #34 online (uptime 21452 с, last_seen 17:38:13). Closure-recall +3h (~20:40 UTC, за дедлайном стоп-критерия 20:17:16): тишина 4 ч+ → наблюдение закрывается; возобновление → стандартный паттерн + recall +1ч.
  • Ре-чек №4 18:42:58 UTC (recall-сессия rei): тишина серии 2 ч 26 мин после #808 — новых эпизодов нет; bserv RAM 91004/120828 MB (75%), available 28275 MB, swap 8043/8191 MB (148 MB free), si/so=0, OOM нет (kernel-journal с 16:00 пуст), load 4.66/3.39/3.13; RSS qemu nextcloud (pid 888712) 6.54 GB — прогрев продолжается (4.8 → 5.34 → 6.1 → 6.54 GB за 7 ч); VM #35 running. Стоп-критерий 4 ч тишины — 20:17:16 UTC; closure-recall 20:44 UTC назначен параллельной сессией, резервный closure-recall 20:20 UTC — сессия rei.
  • Серия закрыта (closure-ре-чек 20:24 UTC, сессия rei, резервный recall bedbafe8): тишина 4 ч 7 мин (16:17:16 → 20:24:29 UTC) ≥ 4 ч — стоп-критерий выполнен, цепочка recalls прекращена. Финальный срез: status.php 200 (31.0.14.1), bserv RAM 75% (available 28.5 GB), si/so=0, OOM нет, VM #35 running, qemu nextcloud RSS 6.33 GB (плато ~6.2–6.5 GB подтверждено тремя замерами). Итог: 148 эпизодов за ~22.8 ч (17:28 11 окт → 16:17:16 12 окт UTC), OOM-килл VM 11:32:06 12 окт реализовал standing risk; после подъёма VM (11:40:36) гипервизор разгрузился (97%→75%), серия затухла за 4 ч 37 мин. Незакрытое решение владельца о разгрузке bserv остаётся системным долгом — при повторном прогреве qemu к ~33 GB цикл может повториться.
  • Closure-подтверждение 20:44:44 UTC (recall d25de2b5, сессия rei): тишина серии 4 ч 27 мин (16:17:16 → 20:44:44 UTC) — новых эпизодов нет (после #808 только cpu_high/recovered сервера navi — артефакт параллельных сессий); финальный срез: bserv RAM 90657/120828 MB (75%), available 28621 MB, swap 8032/8191 MB (159 MB free), si=32/so=0, OOM с 16:00 нет, load 3.62/3.12/3.30; RSS qemu nextcloud (pid 888712) 6492 MB (6.34 GB) — плато ~6.2–6.6 GB подтверждено повторным замером через 9 ч post-OOM. Наблюдение закрыто окончательно, recalls обеих цепочек прекращены.
  • Вмешательства (php.ini строка 1965, разгрузка памяти bserv) — ждут решения владельца.

  • Поправка vmstat (rei, 17:36 UTC): колонки vmstat 12168/20991 (замеры 22:17/22:50 11 окт), 13548/27212 (13:44 12 окт) и 24736 (~17:30 12 окт) ошибочно принимались за si/so («активный свопинг») — на деле это in/cs (interrupts/context switches). Все замеры с явной шапкой vmstat показывают si=0/so=0: активного свопинга на bserv в серии НЕ зафиксировано; корректная картина — хроническая нехватка памяти (swap ~98–100%) без активного свопинга в точках замера.

  • Гигиена отчёта: пара #807/#808 задокументирована в отчёте дважды (ep148 и ep153, разные сессии) — нумерация эпизодов между параллельными сессиями не консистентна, ориентир — ID событий панели.

Incident series 2026-10-19 08:22–10:59 UTC (65 эпизодов, ЗАКРЫТА 12:06 UTC — флап публичного пути к внешнему VPS; НЕ рецидив bserv)

Повод: Synapse-событие service_recovered (event 21148f3a, панель #916, 08:29:08 UTC) в реакционную сессию rei. В ходе обработки по events_recent найдена серия: 6 пар down/recovered за 14 мин — 08:22:41–08:23:11 (30.4 с, #909/#910), 08:24:49–08:25:55 (65.8 с, #911/#912), 08:27:00–08:27:31 (30.4 с, #913/#914), 08:28:37–08:29:07 (30.7 с, #915/#916), 08:31:47–08:32:18 (30.4 с, #917/#918), 08:36:03–08:36:37 (34.4 с, #919/#920). Все ConnectTimeout ~30 с, все self-recovered; интервалы 1.6–2.2 мин — все <4 мин (intervention-критерий серии 11–12 окт).

Механизм другой, чем в серии 11–12 окт — НЕ bserv. Триаж rei 08:30–08:40 UTC:

  • bserv (SSH read-only, 08:34:42 UTC): RAM 57.4/120.8 GB (47%), available 61.7 GB, swap 414/8191 MB (5%), si/so=0, load 6.16/3.44/2.49, kernel-journal 08:00–08:35 — 0 OOM/hung/stall. Гипервизор здоров — своп-давление серии 11–12 окт отсутствует.
  • VM nextcloud и стек здоровы: LAN-пробы http://192.168.1.152/status.php (Host: cloud.gnexus.space) — 4/4 HTTP 200 за 0.033–0.048 с; VM #34 online (панель, CPU 0%, RAM 2.4/31.3 GiB, диск / 79%).
  • Флапает публичный путь: curl https://cloud.gnexus.space/status.php с хоста navi (rei) — 9/19 таймаутs (HTTP 000, TCP connect не проходит) при успешных пробах 0.14–0.15 с; raw TCP к 51.83.131.93:443 — 4/10 FAIL; контрольный хост 1.1.1.1:443 в тех же раундах — OK во всех пробах (аплинк чист). Панель мониторит nextcloud по публичному URL (см. hard-panel.md) — потому и видит эти дауны.
  • Другие сервисы за тем же публичным IP: инцидентов у #1 gntodo, #2 creds, #4 hpanel, #6 book, #7 jellyfin в этот день нет (проверено service_incidents по каждому); synapse #3 — только старый эпизод 17 окт. Сигнатура «только cloud» — вероятно, совпадение окна (пробы других сервисов не попали в окна флапа), а не селективность пути.
  • Прямой путь с хоста rei к internal-proxy (192.168.1.226) не работает — адрес устарел: после блэкаута 16–17 окт VM ovpn_reserv переехала на 192.168.1.183 (см. internal-proxy-vps.md). Проба с --resolve на .226 — 6/6 fail (нет маршрута), тест невалиден, отброшен.
  • Внешний VPS (51.83.131.93) по SSH в этой сессии не проверялся (нет подтверждённого доступа в доке) — причина флапа на стороне VPS/маршрута не установлена. Кандидаты: conntrack/NAT-таблицы, SYN-flood/лимиты, сетевые проблемы OVH, hairpin-NAT. Требуется SSH-триаж владельцем или инстансом с доступом.

Итог серии: 6 эпизодов за ~14 мин, все self-recovered, стек nextcloud не пострадал. Вмешательства не потребовалось; notify не отправлялся (транзиентные self-recovered эпизоды, политика no-noise; на момент триажа серия выглядела оборвавшейся к 08:36:37 — продолжение ниже). Задача владельцу на триаж внешнего VPS создана в gntodo (id 506, проект GHard Monitor). Детали: workspace rei incident_nextcloud_2026-10-19_publicpath.md.

Продолжение серии (реакционная сессия rei, 08:58–09:00 UTC)

Повод: Synapse-событие service_recovered (event 328396a3, панель #934, 08:56:17 UTC) в реакционную сессию rei. Серия НЕ оборвалась к 08:36:37 — по events_recent найдено ещё 8 эпизодов (#921–#938):

# Окно (UTC) Длит. События
7 08:38:13–08:41:05 171.8 с #921/#922
8 08:42:11–08:42:41 30.4 с #923/#924
9 08:45:19–08:46:24 65.9 с #927/#928
10 08:48:31–08:49:01 30.4 с #929/#930
11 08:51:09–08:54:36 206.9 с #931/#932
12 08:55:12–08:56:17 65.7 с #933/#934
13 08:58:25–08:58:55 30.4 с #935/#936
14 08:59:31–09:00:01 30.4 с #937/#938

Итог на 09:00 UTC: 14 эпизодов за ~38 мин (08:22:41–09:00:01), все ConnectTimeout, все self-recovered; длительности 30.4–206.9 с (максимумы серии: 171.8 с эп.7, 206.9 с эп.11); интервалы 0.6–2.6 мин — все <4 мин. Механизм прежний (флап публичного пути к VPS 51.83.131.93): верификация 08:59–09:00 UTC — публичные пробы https://cloud.gnexus.space/status.php 6/10 таймаутов (HTTP 000, TCP connect не проходит; успешные 200 за 0.21–0.23 с), raw TCP к 51.83.131.93:443 4/10 FAIL, контроль 1.1.1.1:443 5/5 OK (аплинк чист), LAN-проба VM 3/3 200 за 0.036–0.042 с; VM #34 online (CPU 0–1%, RAM 2.4/31.3 GiB, uptime непрерывный ~1 д 22 ч, диски / 79% / /home 65%), server_history #34 за 3 ч без аномалий, panel 8/8 сервисов up (nextcloud [up] 149.6 ms, v31.0.14.1). Стек и VM не пострадали; вмешательства нет. notify по серии не отправлялся (политика no-noise); recall +30 мин с критериями эскалации (интервалы <4 мин → notify warning; VM down / SSH недоступен / новый OOM → intervention). Задача gntodo 506 (триаж VPS) актуальна.

Продолжение серии (реакционная сессия rei, 09:08–09:13 UTC) — эпизоды 15–21

Повод: Synapse-событие service_recovered (event 78c45e3f, панель #950, 09:08:52 UTC) в реакционную сессию rei. Серия продолжается: по events_recent и service_incidents найдены эпизоды 15–21 (#939–#953; #944/#945 между ними — cpu_high/recovered хоста navi, не nextcloud):

# Окно (UTC) Длит. События
15 09:00:36–09:01:42 65.7 с #939/#940
16 09:02:17–09:02:48 30.6 с #941/#942
17 09:03:23–09:04:29 65.7 с #943/#946
18 09:06:05–09:07:11 65.8 с #947/#948
19 09:07:46–09:08:52 65.7 с #949/#950
20 09:10:59–09:11:29 30.5 с #951/#952
21 09:12:35–… — #953 (down; recovery на момент проверки 09:13 не зафиксирован)

Итог на 09:13 UTC: 21 эпизод за ~50 мин (08:22:41–09:12:35+), все ConnectTimeout, все self-recovered (эп. 21 в процессе); интервалы 0.6–2.1 мин — все <4 мин. Механизм прежний (флап публичного пути к VPS 51.83.131.93): верификация 09:09–09:13 UTC — публичные пробы https://cloud.gnexus.space/status.php 5×200 (0.207–0.255 с) + 3 таймаута (флаттер подтверждён в реальном времени), LAN-проба VM http://192.168.1.152/status.php (Host: cloud.gnexus.space) 3/3 200 за 0.034–0.039 с (installed=true, maintenance=false, needsDbUpgrade=false, v31.0.14.1); VM #34 online (CPU 0–0.3%, RAM 2.4–2.6/31.3 GiB, swap 0, uptime непрерывный ~1 д 22 ч, пакеты агента каждые 30 с без пропусков), server_history #34 за 1 ч (40 точек) без аномалий — VM здорова на протяжении всего окна флаттера; gitbucket #44 спокоен (CPU 6.7%, java 19.1% — шторма нет), internal-proxy #33 спокоен (CPU 1.2–1.9%, load ≤0.16). cpu_high 100% хоста navi #45 09:03:25 (#944) → cpu_recovered 09:04:25 (#945) — причина ollama (embeddings, 155.6% CPU); хост navi не в пути пробы монитора (192.168.1.150 → VPS 51.83.131.93 → ovpn → internal-proxy .183 → VM .152) — совпадение по времени, к серии отношения не имеет. Стек и VM не пострадали; вмешательства нет; notify не отправлялся (no-noise; критерий «интервалы <4 мин → notify warning» остаётся на recall-чеке ~09:30 UTC активной цепочки предыдущей сессии — не дублируется). Задача gntodo 506 (триаж VPS) актуальна. SSH-логи VM в этой сессии не проверялись (SSH-ключа на хосте rei нет; парольный доступ из gnexus-creds не запрашивался — не требовался для верификации).

Продолжение серии (реакционная сессия rei, recall 10:52–10:53 UTC) — эпизоды 22–61

Повод: recall 09:33 UTC сработал с задержкой ~1 ч 20 мин (доставка в сессию ~10:52 UTC). За это время серия разрослась с 21 до 61 эпизода: по events_recent (limit 120) 46 завершённых пар после 09:00:01 UTC, последняя #1033 (down 10:50:58) → #1036 (recovered 10:53:14, 136.2 с). Эпизоды 22–61 (40 пар, #955–#1036): интервалы 0.6–5.2 мин (единственный >4 мин — 5.2 мин, 09:29:25→09:34:34), длительности 30.4–206.9 с. Полная таблица 40 пар — workspace/incident_nextcloud_2026-10-19_publicpath.md, секция «Эпизоды 22–61».

Верификация 10:52–10:53 UTC (пробы с хоста navi/rei): публичный путь https://cloud.gnexus.space/status.php — 1 таймаут + 4×200 (0.14–0.15 с); raw TCP 51.83.131.93:443 — 4/5 FAIL TimeoutError (точка флапа прежняя); контроль 1.1.1.1:443 — 3/3 OK; LAN VM http://192.168.1.152/status.php (Host: cloud.gnexus.space) — 3/3 200 (0.04–0.06 с); VM #34 online (CPU 0%, RAM 2.4/31.3 GiB, диск / 79%). Механизм прежний — TCP-флап на внешнем VPS/маршруте, стек nextcloud не пострадал.

Действия (10:52–10:53 UTC): notify warning отправлен (критерий recall «интервалы <4 мин» выполнен: 61 эпизод за 2.5 ч; доставлен в app; предыдущий warning по бёрсту — 09:05 UTC, параллельная сессия). Intervention-критериев нет: VM #34 online, LAN здоров, нового OOM на bserv нет. Stale recall 09:33 отменён, назначен новый +30 мин. Попутно navi #45 cpu_high 100% 10:51:01 (#1034) → cpu_recovered 10:51:31 (#1035) — транзиент, к серии не относится.

Итог на 10:53 UTC: 61 эпизод за ~2 ч 30 мин (08:22:41–10:53:14 UTC), все ConnectTimeout, все self-recovered; серия НЕ затухает — равномерный флап без признаков затухания. Приоритет владельца без изменений: SSH-триаж external VPS 51.83.131.93 (gntodo 506, доступа нет).

Пауза серии (реакционная сессия rei, recall 11:34 UTC) — эпизоды 62–65

Повод: recall 11:33:41 UTC. После #1036 (10:53:14) серия дала ещё 4 пары и встала на паузу: #1037/#1038 (10:54:50–10:55:20, 30.4 с), #1039/#1041 (10:56:26–10:57:32, 65.7 с), #1043/#1045 (10:58:07–10:58:38, 30.5 с), #1046/#1048 (10:59:13–10:59:43, 30.4 с); интервалы 0.6–1.1 мин. После #1048 (10:59:43) тишина 35 мин (на 11:34:44) — первая существенная пауза серии (прежний максимум межэпизодного интервала 5.2 мин).

Верификация 11:34 UTC: публичный путь 5/5 HTTP 200 (0.14–0.15 с); raw TCP 51.83.131.93:443 5/5 OK (0.03 с); контроль 1.1.1.1 3/3 OK; LAN VM 3/3 200; VM #34 online (CPU 0%, RAM 2.4/31.3 GiB). notify НЕ отправлялся (warning уже 10:52 UTC; политика no-noise для пауз). Intervention-критериев нет.

Итог на 11:34 UTC: 65 эпизодов за ~2 ч 37 мин (08:22:41–10:59:43), все ConnectTimeout, все self-recovered; серия на паузе — стоп-критерий тишина ≥1 ч (после 11:59:43 UTC). Параллельный трекинг: сессия rei recall d75778e2 ведёт ту же серию в workspace/incident_nextcloud_2026-10-19_flapping.md (стоп-критерий 4 ч, дедлайн ~14:59:43 UTC); канон — события панели. Приоритет владельца: SSH-триаж external VPS 51.83.131.93 (gntodo 506, доступа нет).

Закрытие серии (реакционная сессия rei, recall 12:06 UTC)

Срез 12:06:50 UTC: 0 новых эпизодов после #1048 (10:59:43), тишина 67.1 мин — стоп-критерий «тишина ≥1 ч» выполнен, серия ЗАТУХЛА. Мониторинг по recall прекращён (новый recall не назначен).

Верификация 12:06 UTC: публичный путь https://cloud.gnexus.space/status.php 5/5 HTTP 200 (0.14–0.16 с); raw TCP 51.83.131.93:443 5/5 OK (0.03 с); контроль 1.1.1.1 3/3 OK; LAN VM 3/3 200 (0.03–0.04 с); VM #34 online (CPU 3%, RAM 2.4/31.3 GiB, диск / 79%). Попутно navi #45 cpu_high/recovered #1049/#1050 (11:42:34–11:43:04, 90%→1%) — транзиент, к серии не относится.

Итог серии: 65 эпизодов за ~2 ч 37 мин (08:22:41–10:59:43 UTC 19 окт), все ConnectTimeout, все self-recovered; длительности 30.4–206.9 с; интервалы 0.6–5.2 мин (максимум 5.2 мин, 09:29:25→09:34:34); финальная пауза 67+ мин. Механизм: TCP-флап публичного пути к внешнему VPS 51.83.131.93:443 — НЕ bserv, НЕ стек nextcloud; VM #34 online на протяжении всей серии, LAN-пробы 200 на каждом ре-чеке. Notify: warning 10:52 UTC (61 эпизод на момент отправки), повторных нет (no-noise); intervention-критерии ни разу не выполнены.

Причина на стороне VPS/маршрута НЕ установлена: SSH-триаж external VPS 51.83.131.93 не выполнен (доступа нет) — задача владельцу gntodo 506 остаётся открытой. Кандидаты: conntrack/NAT-таблицы, SYN-лимиты, проблемы сети OVH, hairpin-NAT. Параллельный трекинг: сессия rei recall d75778e2 ведёт ту же серию в workspace/incident_nextcloud_2026-10-19_flapping.md (стоп-критерий 4 ч, дедлайн ~14:59:43 UTC); канон — события панели. Полный отчёт: workspace/incident_nextcloud_2026-10-19_publicpath.md.

No raw credentials are documented here.