diff --git a/10-systems/hosts/nextcloud.md b/10-systems/hosts/nextcloud.md index f80ffac..a47447f 100644 --- a/10-systems/hosts/nextcloud.md +++ b/10-systems/hosts/nextcloud.md @@ -1,13 +1,14 @@ --- owner: gmikcon status: active -last_reviewed: "2026-10-12" +last_reviewed: 2026-10-12 review_interval: 90d confidence: high source_of_truth: ssh-host-verified --- + # Nextcloud VM Nextcloud file cloud VM, upstream for `cloud.gnexus.space`. @@ -150,9 +151,12 @@ - 2026-10-12 11:32:06 UTC: global OOM on bserv — kernel killed qemu nextcloud (pid 4003904, anon-rss 33.4 GB, cgroup `machine-qemu\x2d34\x2dnextcloud.scope`) — первый OOM-килл VM с 2026-10-06, standing risk реализовался. - 2026-10-12 11:40:36 UTC: VM поднята вручную другим инстансом улья (sudo bserv → `virsh start nextcloud`; systemd `Started Virtual Machine qemu-35-nextcloud`, pid 888712, Id 35, `-m 32768` — конфиг памяти НЕ изменён). -- После OOM гипервизор разгрузился: RAM 91.1/120.8 GB (75%), available 28 GB (минимум серии был 1.65 GB), swap 98–99% (остаточный); свопинг стих к 13:44 (si=0), возобновился к 17:30 (si=24736 KB/s) — RSS qemu nextcloud растёт (4.8 → 5.34 GB за 4 ч), при прогреве к ~33 GB давление вернётся. +- После OOM гипервизор разгрузился: RAM 91.1/120.8 GB (75%), available 28 GB (минимум серии был 1.65 GB), swap 98–99% (остаточный); свопинг стих к 13:44 (si=0); замер 17:31:39 UTC с явной шапкой vmstat: si=0/so=0 — свопинг неактивен (значение «si=24736 KB/s» из замера ~17:30 — повторная ошибка парсинга колонок in/cs, см. поправку ниже) — RSS qemu nextcloud растёт (4.8 → 5.34 GB за 4 ч), при прогреве к ~33 GB давление вернётся. - Серия stall'ов: пауза 12:22:32 → 16:16:44 UTC (3 ч 54 мин), затем эпизод #807/#808 (16:16:44–16:17:16, ConnectTimeout ~32 с, самовосстановился) — стоп-критерий «4 ч без эпизодов» сорван за ~6 мин. gitbucket crawler-шторм закончился 14:37 UTC (последний флап #801/#802); эпизод 16:16 уже без корреляции с gitbucket-CPU — механизм вернулся к своп-давлению гипервизора. - Мониторинг: notify level=warning доставлен ~13:44 UTC (параллельная recall-сессия, серия возобновилась после OOM); recalls цепочкой +2h; intervention-критерии прежние (VM down / SSH недоступен / новый OOM / интервалы <4 мин). - Вмешательства (php.ini строка 1965, разгрузка памяти bserv) — ждут решения владельца. +- Поправка vmstat (rei, 17:36 UTC): колонки vmstat 12168/20991 (замеры 22:17/22:50 11 окт), 13548/27212 (13:44 12 окт) и 24736 (~17:30 12 окт) ошибочно принимались за si/so («активный свопинг») — на деле это in/cs (interrupts/context switches). Все замеры с явной шапкой vmstat показывают si=0/so=0: активного свопинга на bserv в серии НЕ зафиксировано; корректная картина — хроническая нехватка памяти (swap ~98–100%) без активного свопинга в точках замера. +- Гигиена отчёта: пара #807/#808 задокументирована в отчёте дважды (ep148 и ep153, разные сессии) — нумерация эпизодов между параллельными сессиями не консистентна, ориентир — ID событий панели. + No raw credentials are documented here. diff --git a/90-maintenance/pending-changes/20261012173536-ab123ab6.json b/90-maintenance/pending-changes/20261012173536-ab123ab6.json new file mode 100644 index 0000000..b3e2c3f --- /dev/null +++ b/90-maintenance/pending-changes/20261012173536-ab123ab6.json @@ -0,0 +1,19 @@ +{ + "id": "20261012173536-ab123ab6", + "kind": "doc", + "target": "10-systems/hosts/nextcloud.md", + "summary": "Поправка vmstat в Incident 2026-10-12: si/so -> in/cs (свопинг неактивен, si=0/so=0 по замеру 17:31:39 с явной шапкой); гигиена нумерации эпизодов (ep148/ep153 дубль)", + "reason": "", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-12\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n\n\n# Nextcloud VM\n\nNextcloud file cloud VM, upstream for `cloud.gnexus.space`.\n\n## Identity\n\n- Inventory id: `nextcloud`.\n- VM id: `nextcloud` (libvirt domain on hypervisor `hp-proliant-dl380-g6`, bserv `192.168.1.130`).\n- LAN address: `192.168.1.152`.\n- Resources: 24 vCPU, 32 GiB RAM.\n- Disk: qcow2 `/mnt/main/vm_main/nextcloud`.\n- Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.\n\n## Roles\n\n- Nextcloud instance behind `cloud.gnexus.space` (TLS terminates on `internal-proxy-vps`, upstream `http://192.168.1.152`).\n\n## Stack\n\n- Nextcloud 31.0.14 (с 2026-10-11; маршрут 27.1.6 → 28 → 29 → 30 → 31, см. Update ниже).\n- Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).\n- Каталог установки: `/home/ubuntu/nextcloud` (DocumentRoot vhost `nc.lvs.conf`), данные `/home/ubuntu/nextcloud/data`.\n- Фоновые задачи: cron www-data `*/3 * * * * php -f /home/ubuntu/nextcloud/cron.php`.\n- SSH: `ubuntu` на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет `bserv@192.168.1.130`); sudo через `sudo -S`. occ запускать от `www-data` (`sudo -u www-data php occ ...`).\n- Приложения (включены, тяжёлые): memories 7.8.2, recognize 9.0.9, maps 1.6.0, previewgenerator 5.14.0, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).\n- Health-мониторинг: hard-panel сервис #8 `nextcloud` — `https://cloud.gnexus.space/status.php` (LAN-URL без Host-заголовка даёт 400 trusted domains; см. `10-systems/services/hard-panel.md`).\n\n## Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)\n\nПовод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.\n\n**Пункт 1 — MySQL tuning:**\n\n- Найдено: `innodb_buffer_pool_size` = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.\n- Сделано: `/etc/mysql/mysql.conf.d/zz-nextcloud.cnf` — `innodb_buffer_pool_size = 4G`, `innodb_flush_log_at_trx_commit = 2` (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.\n- Проверено: `SELECT @@innodb_buffer_pool_size` = 4294967296 (4 GiB), mysql active, `/status.php` 200. RSS mysqld растёт лениво по мере прогрева — норма.\n\n**Пункт 2 — APCu:**\n\n- Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.\n- Сделано: `apt-get install php8.1-apcu` (+ `apc.enable_cli=1` в `/etc/php/8.1/mods-available/apcu-nc-cli.ini` для cron/occ), `occ config:system:set memcache.local --value \"\\OC\\Memcache\\APCu\"` (от www-data), рестарт apache2. Redis остался на distributed+locking.\n- Проверено: `php -m` → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.\n\n**Замеры до/после (localhost VM, warm):**\n\n| Проба | До | После |\n| --- | --- | --- |\n| /login (полный PHP-рендер) | ~0.15 s | ~0.12 s |\n| /status.php | ~0.06 s | ~0.04 s |\n| LAN через прокси /status.php | 0.26 s, выбросы до 1.4 s | 0.24 s стабильно |\n\nОсновной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.\n\n**Бэкапы:** `/root/nc-config.php.bak-preopt-20261011` (config.php до правок). Откат: удалить `zz-nextcloud.cnf` + рестарт mysql; `occ config:system:set memcache.local --value \"\\OC\\Memcache\\Redis\"` + рестарт apache2.\n\n**Не сделано (ждёт решения владельца):** отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).\n\n## Update 2026-10-11 10:30 (navi rei) — major upgrade 27.1.6 → 31.0.14 (одобрено владельцем)\n\nМаршрут: 27.1.6.2 → 28.0.14 → 29.0.16 → 30.0.17 → 31.0.14 — по одному мейджору за шаг (политика Nextcloud), каждый через `updater.phar --no-interaction` + гейт после шага: `/status.php` 200, maintenance off, needsDbUpgrade false, 0 ошибок в nextcloud.log, рестарт apache2 (ранбук opcache — см. Incident 10:06).\n\n- Предбэкапы: `/root/nc-backup-preupgrade-20261011` — дамп БД 144M (gzip -t OK), tar apps+data 7.5G, config/, app-list.json. Итого ~7.7G.\n- Шаги 27→28, 28→29, 29→30 — чисто («Update successful», code integrity OK). Инцидент 500 на 29→30 — см. Incident ниже.\n- Шаг 30→31: updater заменил код, но упал на recognize — PHP Fatal: `OCA\\Recognize\\Service\\Logger::emergency` несовместим с `Psr\\Log\\LoggerInterface` в NC 31 (старое приложение на новом коде). Лечение: maintenance on, `occ app:disable recognize memories maps previewgenerator`, ручной `occ upgrade` → «Update successful», integrity OK, рестарт apache2, maintenance off.\n- Приложения: `occ app:update --all` из App Store; все четыре отключённых обновились и включены: recognize 9.0.9, memories 7.8.2, maps 1.6.0, previewgenerator 5.14.0. Обновлены также text, twofactor_backupcodes, updatenotification, user_status, viewer, epubviewer, quota_warning, side_menu, tasks.\n- Финальный гейт: occ status 31.0.14 (31.0.14.1), maintenance false, needsDbUpgrade false; cron жив (фоновые задачи выполнялись 10:24–10:28); 0 ошибок в логе; внешний `https://cloud.gnexus.space/status.php` 200.\n- Диск: 21G/28G (81%; до апгрейда 47%) — рост от предбэкапов и бэкапов апдейтера. Остатки: updater-бэкап `nextcloud-30.0.17.2-1791713615` в `data/updater-ocj1jaf8egog/backups/` (можно удалить после периода наблюдения), предбэкапы в `/root` (7.7G).\n- Ограничение на будущее: PHP 8.1 для NC 31 — deprecated, но работает; NC 32+ требует PHP 8.2. Следующий мейджор = сначала апгрейд PHP. Актуальная ветка NC — 35 (35.0.1 на 2026-10-11).\n\n## Incident 2026-10-11 10:06–10:10 UTC (обновление 29→30 + opcache 500)\n\n- 10:04:00 UTC: root запустил `updater.phar --no-interaction` (detached, PPID 1) — обновление Nextcloud 29.0.17 → 30.0.17. Перед этим apache2 рестартовали в 09:42, 09:52, 10:03 (подготовка к обновлению, не сеанс оптимизации rei).\n- 10:06–10:10: миграция БД (`occ upgrade`) под maintenance mode. hard-panel увидел 503 на /status.php — ожидаемое поведение: Nextcloud в maintenance mode отвечает 503 на все эндпоинты. Стек (apache/mysql/redis) был жив весь апгрейд; вмешательства не требовалось.\n- 10:10:04: обновление успешно завершено (`Update successful`), maintenance снят, needsDbUpgrade=false.\n- 10:10:13–10:10:21: /status.php стал отдавать 500: `Downgrading is not supported (from 30.0.17.2 to 29.0.16.1)`. Причина: apache последний раз рестартовали в 10:03:41 — ДО завершения обновления; opcache с `validate_timestamps=0` держал в памяти старый код 29.0.16.1, который падал на уже мигрированной БД 30.0.17.2.\n- 10:10:23 (navi rei): рестарт apache2 → сброс opcache. status.php = 200 (30.0.17.2), /login = 200, level-3 ошибок в nextcloud.log после рестарта нет. hard-panel: nextcloud [up] 200.\n- Обновление 29→30 прошло чисто (repair steps, code integrity check — без ошибок). Побочная ошибка richdocuments (`USER_AGENT_SAFARI_MOBILE undefined`) была только внутри окна апгрейда и не повторяется.\n\n**Ранбук (обязательно):** после КАЖДОГО завершения `occ upgrade` на этой VM — немедленный рестарт apache2: opcache с `validate_timestamps=0` не подхватывает новый код сам, старый код даёт 500 на новой БД.\n\n**Отчёт:** workspace rei `incident_nextcloud_2026-10-11.md`.\n\n## Incident series 2026-10-11 17:28 – 2026-10-12 00:07 UTC (26 эпизодов — гипервизорные stall'ы bserv)\n\nСерия транзиентных недоступностей `cloud.gnexus.space` для монитора: hard-panel 26 раз за сутки зафиксировал сбой пробы /status.php (ConnectTimeout ~30 с, дважды ReadTimeout, один эпизод 66 с), каждый раз с самовосстановлением через ~30–66 с. Механизм во всех эпизодах один: проба монитора (192.168.1.150 → internal-proxy .226 → VM nextcloud .152, обе VM на bserv) не проходит TCP-путь на фоне хронического давления памяти на гипервизоре bserv (RAM ~97%, swap 100%, available 1.65–2.3 GB). Nextcloud не при чём: стек внутри VM здоров во всех эпизодах (apache обслуживает пользовательский трафик, cron */3 штатно, логи чисты, uptime непрерывен, пакеты агента без пропусков). Kernel-журнал bserv чист (OOM-событий с 6 окт нет, hung-task/stall нет). Поправка к ранней гипотезе: 3-минутного cron на гипервизоре нет (crontab bserv/root пусты, /etc/cron.d — только e2scrub_all) — триггер нагрузки внутри гостя (cron.php www-data */3 с тяжёлыми recognize/previewgenerator); всплески аллокаций в VM загоняют хост в reclaim/compaction-торможение.\n\n| # | Окно (UTC) | Тип | Длит. | Интервал | События |\n| --- | --- | --- | --- | --- | --- |\n| 1 | 17:28:41–17:29:12 | ConnectTimeout | 30.4 с | — | — |\n| 2 | 19:35:35–19:36:06 | ConnectTimeout | 30.4 с | ~2 ч 07 м | #431/#432 |\n| 3 | 19:52:44–19:53:14 | ConnectTimeout | 30.4 с | ~17.3 м | — |\n| 4 | 20:10:14–20:10:45 | ConnectTimeout | 30.4 с | ~17.5 м | #435/#436 |\n| 5 | 20:37:47–20:38:18 | ReadTimeout | 31.2 с | ~27.5 м | #437/#438 |\n| 6 | 20:40:57–20:41:27 | ConnectTimeout | 30.4 с | ~3.9 м | #439/#440 |\n| 7 | 21:19:56–21:20:26 | ConnectTimeout | 30.4 с | ~39 м | #441/#442 |\n| 8 | 21:31:27–21:31:57 | ConnectTimeout | 30.4 с | ~11.5 м | #443/#444 |\n| 9 | 22:05:22–22:05:52 | ConnectTimeout | 30.4 с | ~34 м | #445/#446 |\n| 10 | 22:15:43–22:16:15 | ConnectTimeout | 30.4 с | ~10.4 м | #447/#448 |\n| 11 | 22:17:21–22:17:52 | ReadTimeout | 30.4 с | ~1.6 м | #449/#450 |\n| 12 | 22:23:09–22:23:40 | ConnectTimeout | 30.4 с | ~5.8 м | #451/#452 |\n| 13 | 22:27:20–22:27:51 | ConnectTimeout | 31.0 с | ~4.2 м | #453/#454 |\n| 14 | 22:31:34–22:32:40 | ConnectTimeout | 66.2 с | ~4.2 м | #455/#456 |\n| 15 | 22:40:39–22:41:10 | ConnectTimeout | 30.5 с | ~9.1 м | #457/#458 |\n| 16 | 22:49:30–22:50:01 | ConnectTimeout | 30.4 с | ~8.9 м | #459/#460 |\n| 17 | 23:01:26–23:01:56 | ConnectTimeout | 30.4 с | ~11.9 м | #461/#462 |\n| 18 | 23:17:10–23:17:43 | ConnectTimeout | ~33 с | ~15.7 м | #463/#464 |\n| 19 | 23:26:04–23:26:34 | ConnectTimeout | 30.4 с | ~8.9 м | #465/#466 |\n| 20 | 23:40:54–23:41:25 | ConnectTimeout | 30.4 с | ~14.8 м | #467/#468 |\n| 21 | 23:45:11–23:45:42 | ConnectTimeout | 30.4 с | ~4.3 м | #469/#470 |\n| 22 | 23:50:59–23:51:32 | ConnectTimeout | 32.6 с | ~5.8 м | #471/#472 |\n| 23 | 23:55:19–23:55:50 | ConnectTimeout | 30.6 с | ~4.3 м | #473/#474 |\n| 24 | 00:00:01–00:00:34 (12 окт) | ConnectTimeout | ~30 с | ~4.8 м | #475/#476 |\n| 25 | 00:04:14–00:04:44 (12 окт) | ConnectTimeout | 30.4 с | ~4.2 м | #477/#478 |\n| 26 | 00:06:56–00:07:29 (12 окт) | ConnectTimeout | 32.8 с | ~2.7 м | #479/#480 |\n\nПлотность: эпизоды 1–5 редкие (интервалы 17,5–39 мин), хвост серии плотный — 8 эпизодов за ~44 мин (22:05–22:49), далее интервалы 9–16 мин с отдельными провалами до 4,2–4,3 мин (эпизоды 13–14, 21); после 23:45 интервалы снова нерегулярные (4,3–5,8–4,8 мин). Хвост серии ускоряется: эпизоды 24–26 с интервалами 4.8 → 4.2 → 2.7 мин — 2.7 мин (эпизод 26) минимум серии и первый интервал <4 мин. Длительности стабильны (~30 с), кроме эпизода 14 (66 с — максимум серии).\n\nСопутствующее: сканер уязвимостей с 192.168.1.226 в 19:32 UTC (~20 проб несуществующих .php) — шум, к серии отношения не имеет; virsh dommemstat balloon-статистика устаревшая (guest agent в VM не обновляет balloon).\n\n### Эпизоды 22–26 (23:50–00:07 UTC) — детали последних проверок\n\n- Эпизод 22 (23:50:59–23:51:32 UTC, 32.6 с, #471/#472, интервал 5.8 мин): VM #34 online в окне (пакет агента 23:51:53, CPU 4%, RAM 2.9/31.3 GiB). Верификация 23:52: services_overview — nextcloud [up] 200, v31.0.14.1 (latency 2370–3963 ms — повышенная, но отвечает); все 19 серверов online, 8/8 сервисов up.\n- Эпизод 23 (23:55:19–23:55:50 UTC, 30.6 с, #473/#474, интервал 4.3 мин): VM #34 online (пакет агента 23:55:53, CPU 5%, RAM 3.4/31.3 GiB). bserv 23:57 (read-only SSH): RAM 117667/120828 MB (~97%), swap 8191/8191 MB (100%, 0 свободно), available 1700 MB, load 4.69/4.95/4.41, vmstat si/so=0, kernel-journal 23:40–23:58 пуст (OOM нет). Верификация 23:56: panel_overview — все 19 серверов online, 8/8 сервисов up (nextcloud 316.8 ms).\n- Эпизод 24 (00:00:01–00:00:34 UTC 12 окт, ~30 с, #475/#476, интервал 4.8 мин): событие обработано в реакционной сессии rei. Верификация 00:01:26 UTC: curl `https://cloud.gnexus.space/status.php` → 200 за 0.26 с (maintenance=false, needsDbUpgrade=false, v31.0.14.1). bserv 00:03:19 (read-only SSH): RAM 117698/120828 MB (~97%), available 1668 MB — минимум серии (тренд за вечер 2.3 → 2.07 → 1.73 → 1.67 GB), swap free 564 KB, load 4.85/5.00/4.66, vmstat si/so=0, kernel-journal с 23:40 — 0 OOM-событий. Топ RSS qemu: 33.5 GB (nextcloud), 16.7 GB (jellyfin), 10.1 GB (mine).\n- Эпизод 25 (00:04:14–00:04:44 UTC, 30.4 с, #477/#478, интервал 4.2 мин): событие #478 (recovered) пришло в реакционную сессию rei как повод; в ходе обработки по events_recent найдены оба эпизода. Верификация 00:05:20 UTC: curl status.php → 200 за 0.23 с (maintenance=false, needsDbUpgrade=false, v31.0.14.1). bserv 00:05:25 (read-only SSH): RAM 117714/120828 MB (~97%), available 1652 MB — новый минимум серии, swap 8191/8191 MB (100%, 0 свободно), load 3.64/4.36/4.45, vmstat si/so=0, kernel-journal с 23:40 — 0 OOM-событий. VM nextcloud здорова (SSH 00:06:37): uptime 4 д 9 ч непрерывен, apache active с 10:23:13 UTC (без рестартов), mysql/redis active, cron */3 отработал 00:06:37, nextcloud.log 0 ошибок level≥3.\n- Эпизод 26 (00:06:56–00:07:29 UTC, 32.8 с, #479/#480, интервал 2.7 мин — минимум серии, впервые <4 мин): в окне stall'а services_overview показывал nextcloud [down] ConnectTimeout 6184 ms (остальные 7 сервисов up); проба 00:07:10 уже 200, но за 4.36 с (норма 0.23 с — латентность деградирует в окнах stall'ов). MCP-тулы hard-panel в сессии не зарегистрированы — панель опрошена прямым JSON-RPC на `http://192.168.1.176:8000/mcp` (ключ из .env navi-1, Host override `localhost:8000`) — обходной путь работает.\n- Поправка к ранним записям (ре-чек №2, 23:52 UTC): vmstat-колонки 12168/20991, ранее записанные как si/so («активный свопинг» в записях 22:17 и 22:50), — это колонки in/cs (interrupts/context switches); si/so в тех же выборках были 0. Активный свопинг на bserv в вечер серии не подтверждён; корректная картина — хроническая нехватка памяти (swap 100%, available 1.65–2.3 GB) без активного свопинга в точках замера.\n- Мониторинг серии: notify level=warning отправлен и доставлен 22:51 UTC (первое уведомление по серии; до этого тишина по политике транзиентов, далее не дублировалось). Intervention-критерий «интервалы <4 мин» сработал в эпизоде 26 (2.7 мин) → notify level=intervention отправлен и доставлен 00:08 UTC 12 окт: владельцу предложено решение по разгрузке bserv (кандидаты: отключить тяжёлые NC-приложения recognize/previewgenerator, урезать RAM jellyfin/mine, снизить RAM nextcloud VM 32→24 GB). Recalls каждые 1 ч (следующий 01:08 UTC); стоп-критерий — 4 ч без новых эпизодов; остальные intervention-критерии — VM down / SSH недоступен / новый OOM.\n\nStanding risk OOM (Incident 2026-10-06) активен и повышен: серия stall'ов возникает раньше срабатывания oom-killer'а на полностью исчерпанном swap; available опустился до ~1.65 GB (минимум серии, тренд вниз за вечер 2.3 → 2.07 → 1.73 → 1.67 → 1.65 GB). Детальный лог всех эпизодов: workspace rei `incident_nextcloud_2026-10-11_evening.md`.\n\n## Incident 2026-10-06 (OOM crash)\n\n- 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).\n- 2026-10-06 07:54:06 UTC: VM shut down, `reason=crashed` (libvirt log).\n- Down ~31h12m; `cloud.gnexus.space` returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.\n- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.\n\n## Incident 2026-10-12 (OOM kill + series resume)\n\n- 2026-10-12 11:32:06 UTC: global OOM on bserv — kernel killed qemu nextcloud (pid 4003904, anon-rss 33.4 GB, cgroup `machine-qemu\\x2d34\\x2dnextcloud.scope`) — первый OOM-килл VM с 2026-10-06, standing risk реализовался.\n- 2026-10-12 11:40:36 UTC: VM поднята вручную другим инстансом улья (sudo bserv → `virsh start nextcloud`; systemd `Started Virtual Machine qemu-35-nextcloud`, pid 888712, Id 35, `-m 32768` — конфиг памяти НЕ изменён).\n- После OOM гипервизор разгрузился: RAM 91.1/120.8 GB (75%), available 28 GB (минимум серии был 1.65 GB), swap 98–99% (остаточный); свопинг стих к 13:44 (si=0); замер 17:31:39 UTC с явной шапкой vmstat: si=0/so=0 — свопинг неактивен (значение «si=24736 KB/s» из замера ~17:30 — повторная ошибка парсинга колонок in/cs, см. поправку ниже) — RSS qemu nextcloud растёт (4.8 → 5.34 GB за 4 ч), при прогреве к ~33 GB давление вернётся.\n- Серия stall'ов: пауза 12:22:32 → 16:16:44 UTC (3 ч 54 мин), затем эпизод #807/#808 (16:16:44–16:17:16, ConnectTimeout ~32 с, самовосстановился) — стоп-критерий «4 ч без эпизодов» сорван за ~6 мин. gitbucket crawler-шторм закончился 14:37 UTC (последний флап #801/#802); эпизод 16:16 уже без корреляции с gitbucket-CPU — механизм вернулся к своп-давлению гипервизора.\n- Мониторинг: notify level=warning доставлен ~13:44 UTC (параллельная recall-сессия, серия возобновилась после OOM); recalls цепочкой +2h; intervention-критерии прежние (VM down / SSH недоступен / новый OOM / интервалы <4 мин).\n- Вмешательства (php.ini строка 1965, разгрузка памяти bserv) — ждут решения владельца.\n\n- Поправка vmstat (rei, 17:36 UTC): колонки vmstat 12168/20991 (замеры 22:17/22:50 11 окт), 13548/27212 (13:44 12 окт) и 24736 (~17:30 12 окт) ошибочно принимались за si/so («активный свопинг») — на деле это in/cs (interrupts/context switches). Все замеры с явной шапкой vmstat показывают si=0/so=0: активного свопинга на bserv в серии НЕ зафиксировано; корректная картина — хроническая нехватка памяти (swap ~98–100%) без активного свопинга в точках замера.\n- Гигиена отчёта: пара #807/#808 задокументирована в отчёте дважды (ep148 и ep153, разные сессии) — нумерация эпизодов между параллельными сессиями не консистентна, ориентир — ID событий панели.\n\nNo raw credentials are documented here.\n" + }, + "status": "applied", + "created_at": "2026-10-12T17:35:36Z", + "updated_at": "2026-10-12T17:35:38Z", + "applied_at": "2026-10-12T17:35:38Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}