diff --git a/10-systems/hosts/nextcloud.md b/10-systems/hosts/nextcloud.md index e4269a2..03d8658 100644 --- a/10-systems/hosts/nextcloud.md +++ b/10-systems/hosts/nextcloud.md @@ -107,6 +107,14 @@ - Верификация восстановления (19:37 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up, VM online (CPU 9.4%, RAM 3.7/33.6 GiB, load 1.67). - Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 2). +## Incident 2026-10-11 19:52 UTC (третий ConnectTimeout-эпизод, тот же почерк) + +- 19:52:44–19:53:14 UTC: hard-panel третий раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php. Идентичная длительность и характер, как в 17:28 и 19:35. +- VM в окне инцидента здорова: точки агента 19:50:41 и 19:53:41 на месте (интервал 180 с ровно, uptime непрерывен), CPU 5.4–6.5%, load 1.63–1.89, RAM ~10.6%, swap 23.6–23.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет. +- Вывод: третий транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Три эпизода за вечер — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным. +- Верификация восстановления (19:54 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 6.5%, RAM 3.3/31.3 GiB, load 1.89). +- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 3). + ## Incident 2026-10-06 (OOM crash) - 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host). diff --git a/90-maintenance/pending-changes/20261011195450-2d25413d.json b/90-maintenance/pending-changes/20261011195450-2d25413d.json new file mode 100644 index 0000000..585fb81 --- /dev/null +++ b/90-maintenance/pending-changes/20261011195450-2d25413d.json @@ -0,0 +1,19 @@ +{ + "id": "20261011195450-2d25413d", + "kind": "doc", + "target": "10-systems/hosts/nextcloud.md", + "summary": "Добавлен Incident 2026-10-11 19:52 UTC — третий ConnectTimeout-эпизод за вечер, тот же механизм (stall гипервизора bserv)", + "reason": "Третий ConnectTimeout-эпизод 19:52:44–19:53:14 UTC (30.4 с, тот же почерк) — VM здорова, механизм тот же (транзиентный stall гипервизора bserv). Зафиксировано по событию hard-panel service_recovered и метрикам server_history.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-11\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# Nextcloud VM\n\nNextcloud file cloud VM, upstream for `cloud.gnexus.space`.\n\n## Identity\n\n- Inventory id: `nextcloud`.\n- VM id: `nextcloud` (libvirt domain on hypervisor `hp-proliant-dl380-g6`, bserv `192.168.1.130`).\n- LAN address: `192.168.1.152`.\n- Resources: 24 vCPU, 32 GiB RAM.\n- Disk: qcow2 `/mnt/main/vm_main/nextcloud`.\n- Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.\n\n## Roles\n\n- Nextcloud instance behind `cloud.gnexus.space` (TLS terminates on `internal-proxy-vps`, upstream `http://192.168.1.152`).\n\n## Stack\n\n- Nextcloud 31.0.14 (с 2026-10-11; маршрут 27.1.6 → 28 → 29 → 30 → 31, см. Update ниже).\n- Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).\n- Каталог установки: `/home/ubuntu/nextcloud` (DocumentRoot vhost `nc.lvs.conf`), данные `/home/ubuntu/nextcloud/data`.\n- Фоновые задачи: cron www-data `*/3 * * * * php -f /home/ubuntu/nextcloud/cron.php`.\n- SSH: `ubuntu` на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет `bserv@192.168.1.130`); sudo через `sudo -S`. occ запускать от `www-data` (`sudo -u www-data php occ ...`).\n- Приложения (включены, тяжёлые): memories 7.8.2, recognize 9.0.9, maps 1.6.0, previewgenerator 5.14.0, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).\n- Health-мониторинг: hard-panel сервис #8 `nextcloud` — `https://cloud.gnexus.space/status.php` (LAN-URL без Host-заголовка даёт 400 trusted domains; см. `10-systems/services/hard-panel.md`).\n\n## Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)\n\nПовод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.\n\n**Пункт 1 — MySQL tuning:**\n\n- Найдено: `innodb_buffer_pool_size` = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.\n- Сделано: `/etc/mysql/mysql.conf.d/zz-nextcloud.cnf` — `innodb_buffer_pool_size = 4G`, `innodb_flush_log_at_trx_commit = 2` (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.\n- Проверено: `SELECT @@innodb_buffer_pool_size` = 4294967296 (4 GiB), mysql active, `/status.php` 200. RSS mysqld растёт лениво по мере прогрева — норма.\n\n**Пункт 2 — APCu:**\n\n- Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.\n- Сделано: `apt-get install php8.1-apcu` (+ `apc.enable_cli=1` в `/etc/php/8.1/mods-available/apcu-nc-cli.ini` для cron/occ), `occ config:system:set memcache.local --value \"\\OC\\Memcache\\APCu\"` (от www-data), рестарт apache2. Redis остался на distributed+locking.\n- Проверено: `php -m` → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.\n\n**Замеры до/после (localhost VM, warm):**\n\n| Проба | До | После |\n| --- | --- | --- |\n| /login (полный PHP-рендер) | ~0.15 s | ~0.12 s |\n| /status.php | ~0.06 s | ~0.04 s |\n| LAN через прокси /status.php | 0.26 s, выбросы до 1.4 s | 0.24 s стабильно |\n\nОсновной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.\n\n**Бэкапы:** `/root/nc-config.php.bak-preopt-20261011` (config.php до правок). Откат: удалить `zz-nextcloud.cnf` + рестарт mysql; `occ config:system:set memcache.local --value \"\\OC\\Memcache\\Redis\"` + рестарт apache2.\n\n**Не сделано (ждёт решения владельца):** отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).\n\n## Update 2026-10-11 10:30 (navi rei) — major upgrade 27.1.6 → 31.0.14 (одобрено владельцем)\n\nМаршрут: 27.1.6.2 → 28.0.14 → 29.0.16 → 30.0.17 → 31.0.14 — по одному мейджору за шаг (политика Nextcloud), каждый через `updater.phar --no-interaction` + гейт после шага: `/status.php` 200, maintenance off, needsDbUpgrade false, 0 ошибок в nextcloud.log, рестарт apache2 (ранбук opcache — см. Incident 10:06).\n\n- Предбэкапы: `/root/nc-backup-preupgrade-20261011` — дамп БД 144M (gzip -t OK), tar apps+data 7.5G, config/, app-list.json. Итого ~7.7G.\n- Шаги 27→28, 28→29, 29→30 — чисто («Update successful», code integrity OK). Инцидент 500 на 29→30 — см. Incident ниже.\n- Шаг 30→31: updater заменил код, но упал на recognize — PHP Fatal: `OCA\\Recognize\\Service\\Logger::emergency` несовместим с `Psr\\Log\\LoggerInterface` в NC 31 (старое приложение на новом коде). Лечение: maintenance on, `occ app:disable recognize memories maps previewgenerator`, ручной `occ upgrade` → «Update successful», integrity OK, рестарт apache2, maintenance off.\n- Приложения: `occ app:update --all` из App Store; все четыре отключённых обновились и включены: recognize 9.0.9, memories 7.8.2, maps 1.6.0, previewgenerator 5.14.0. Обновлены также text, twofactor_backupcodes, updatenotification, user_status, viewer, epubviewer, quota_warning, side_menu, tasks.\n- Финальный гейт: occ status 31.0.14 (31.0.14.1), maintenance false, needsDbUpgrade false; cron жив (фоновые задачи выполнялись 10:24–10:28); 0 ошибок в логе; внешний `https://cloud.gnexus.space/status.php` 200.\n- Диск: 21G/28G (81%; до апгрейда 47%) — рост от предбэкапов и бэкапов апдейтера. Остатки: updater-бэкап `nextcloud-30.0.17.2-1791713615` в `data/updater-ocj1jaf8egog/backups/` (можно удалить после периода наблюдения), предбэкапы в `/root` (7.7G).\n- Ограничение на будущее: PHP 8.1 для NC 31 — deprecated, но работает; NC 32+ требует PHP 8.2. Следующий мейджор = сначала апгрейд PHP. Актуальная ветка NC — 35 (35.0.1 на 2026-10-11).\n\n## Incident 2026-10-11 10:06–10:10 UTC (обновление 29→30 + opcache 500)\n\n- 10:04:00 UTC: root запустил `updater.phar --no-interaction` (detached, PPID 1) — обновление Nextcloud 29.0.17 → 30.0.17. Перед этим apache2 рестартовали в 09:42, 09:52, 10:03 (подготовка к обновлению, не сеанс оптимизации rei).\n- 10:06–10:10: миграция БД (`occ upgrade`) под maintenance mode. hard-panel увидел 503 на /status.php — ожидаемое поведение: Nextcloud в maintenance mode отвечает 503 на все эндпоинты. Стек (apache/mysql/redis) был жив весь апгрейд; вмешательства не требовалось.\n- 10:10:04: обновление успешно завершено (`Update successful`), maintenance снят, needsDbUpgrade=false.\n- 10:10:13–10:10:21: /status.php стал отдавать 500: `Downgrading is not supported (from 30.0.17.2 to 29.0.16.1)`. Причина: apache последний раз рестартовали в 10:03:41 — ДО завершения обновления; opcache с `validate_timestamps=0` держал в памяти старый код 29.0.16.1, который падал на уже мигрированной БД 30.0.17.2.\n- 10:10:23 (navi rei): рестарт apache2 → сброс opcache. status.php = 200 (30.0.17.2), /login = 200, level-3 ошибок в nextcloud.log после рестарта нет. hard-panel: nextcloud [up] 200.\n- Обновление 29→30 прошло чисто (repair steps, code integrity check — без ошибок). Побочная ошибка richdocuments (`USER_AGENT_SAFARI_MOBILE undefined`) была только внутри окна апгрейда и не повторяется.\n\n**Ранбук (обязательно):** после КАЖДОГО завершения `occ upgrade` на этой VM — немедленный рестарт apache2: opcache с `validate_timestamps=0` не подхватывает новый код сам, старый код даёт 500 на новой БД.\n\n**Отчёт:** workspace rei `incident_nextcloud_2026-10-11.md`.\n\n## Incident 2026-10-11 17:28 UTC (ConnectTimeout — гипервизорный stall)\n\n- 17:28:41–17:29:12 UTC: hard-panel зафиксировал ConnectTimeout 30.4 с на /status.php (проба не получила TCP-соединение, не 503/504). Самовосстановление, вмешательств не требовалось.\n- Стек внутри VM здоров весь инцидент: apache обслуживал пользовательский трафик (17:28:40 и 17:29:40 — text/session sync+push, notifications, heartbeat — 200/304), ошибок и рестартов нет, journal чист.\n- Проба монитора не дошла даже до nginx на internal-proxy (.226): в access-логе прокси проба отсутствует (17:28:06 → 17:29:12), 504/upstream-ошибок в error.log нет. Затык на TCP-пути монитор (192.168.1.150) → прокси (.226); обе VM — на bserv.\n- Гипервизор bserv в момент проверки (17:32 UTC): 117/120.8 GiB RAM занято, swap 8191/8191 MB (100%), available 2.3 GB, load ~3.9; dmesg чист (OOM-киллов сегодня нет).\n- Вывод: транзиентный stall гипервизора (свопинг) на фоне 3-минутных cron-прогонов с тяжёлыми фоновыми задачами после апгрейда 27→31. Nextcloud не при чём. Standing risk OOM (см. Incident 2026-10-06) остаётся активным.\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md`.\n- Сопутствующее: в `/etc/php/8.1/apache2/php.ini` строка 1965 — мусорная `(base) ` (артефакт вставки из шелла): PHP syntax error при каждом старте apache + benign «Cannot load Zend OPcache - it was already loaded» (двойная загрузка php.ini+conf.d). Все значимые настройки стоят до строки 1965 и применяются, ущерба нет; правка (удалить строку) ждёт апрува владельца.\n\n## Incident 2026-10-11 19:35 UTC (второй ConnectTimeout-эпизод, тот же почерк)\n\n- 19:35:35–19:36:06 UTC: hard-panel снова зафиксировал ConnectTimeout 30.4 с на /status.php (события #431 down / #432 recovered). Идентичная длительность и характер, как в 17:28.\n- VM в окне инцидента здорова: точки агента 19:33:40 и 19:36:40 на месте (интервал 180 с ровно, uptime непрерывен), CPU 4.6–9.4%, load 1.4–1.7, RAM ~11%, swap 22.9–23% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Вывод: второй транзиентный stall гипервизора bserv, тот же механизм, что и в 17:28. Nextcloud не при чём. Два эпизода за вечер усиливают связь с давлением памяти на bserv (swap 100% на 17:32) и 3-минутными cron-прогонами.\n- Верификация восстановления (19:37 UTC): status.php → 200 (31.0.14.1, maintenance=false), все 8 сервисов hard-panel up, VM online (CPU 9.4%, RAM 3.7/33.6 GiB, load 1.67).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 2).\n\n## Incident 2026-10-11 19:52 UTC (третий ConnectTimeout-эпизод, тот же почерк)\n\n- 19:52:44–19:53:14 UTC: hard-panel третий раз за вечер зафиксировал ConnectTimeout 30.4 с на /status.php. Идентичная длительность и характер, как в 17:28 и 19:35.\n- VM в окне инцидента здорова: точки агента 19:50:41 и 19:53:41 на месте (интервал 180 с ровно, uptime непрерывен), CPU 5.4–6.5%, load 1.63–1.89, RAM ~10.6%, swap 23.6–23.9% (медленный дрейф, не шторм). Остановок/рестартов внутри VM нет.\n- Вывод: третий транзиентный stall гипервизора bserv за вечер, тот же механизм. Nextcloud не при чём. Три эпизода за вечер — устойчивая корреляция с давлением памяти на bserv и 3-минутными cron-прогонами; standing risk OOM (Incident 2026-10-06) остаётся активным.\n- Верификация восстановления (19:54 UTC): status.php → 200 (31.0.14.1), все 8 сервисов hard-panel up, VM online (CPU 6.5%, RAM 3.3/31.3 GiB, load 1.89).\n- Отчёт: workspace rei `incident_nextcloud_2026-10-11_evening.md` (дополнен эпизодом 3).\n\n## Incident 2026-10-06 (OOM crash)\n\n- 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).\n- 2026-10-06 07:54:06 UTC: VM shut down, `reason=crashed` (libvirt log).\n- Down ~31h12m; `cloud.gnexus.space` returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.\n- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.\n\nNo raw credentials are documented here." + }, + "status": "applied", + "created_at": "2026-10-11T19:54:50Z", + "updated_at": "2026-10-11T19:54:52Z", + "applied_at": "2026-10-11T19:54:52Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}