diff --git a/10-systems/hosts/nextcloud.md b/10-systems/hosts/nextcloud.md index 1396975..55d7b7d 100644 --- a/10-systems/hosts/nextcloud.md +++ b/10-systems/hosts/nextcloud.md @@ -1,7 +1,7 @@ --- owner: gmikcon status: active -last_reviewed: 2026-10-07 +last_reviewed: 2026-10-11 review_interval: 90d confidence: high source_of_truth: ssh-host-verified @@ -24,11 +24,50 @@ - Nextcloud instance behind `cloud.gnexus.space` (TLS terminates on `internal-proxy-vps`, upstream `http://192.168.1.152`). +## Stack + +- Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11). +- Каталог установки: `/home/ubuntu/nextcloud` (DocumentRoot vhost `nc.lvs.conf`), данные `/home/ubuntu/nextcloud/data`. +- Фоновые задачи: cron www-data `*/3 * * * * php -f /home/ubuntu/nextcloud/cron.php`. +- SSH: `ubuntu` на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет `bserv@192.168.1.130`); sudo через `sudo -S`. occ запускать от `www-data` (`sudo -u www-data php occ ...`). +- Приложения (включены, тяжёлые): memories, recognize, maps, previewgenerator, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец). +- Health-мониторинг: hard-panel сервис #8 `nextcloud` — `https://cloud.gnexus.space/status.php` (LAN-URL без Host-заголовка даёт 400 trusted domains; см. `10-systems/services/hard-panel.md`). + +## Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем) + +Повод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека. + +**Пункт 1 — MySQL tuning:** + +- Найдено: `innodb_buffer_pool_size` = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV. +- Сделано: `/etc/mysql/mysql.conf.d/zz-nextcloud.cnf` — `innodb_buffer_pool_size = 4G`, `innodb_flush_log_at_trx_commit = 2` (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql. +- Проверено: `SELECT @@innodb_buffer_pool_size` = 4294967296 (4 GiB), mysql active, `/status.php` 200. RSS mysqld растёт лениво по мере прогрева — норма. + +**Пункт 2 — APCu:** + +- Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал. +- Сделано: `apt-get install php8.1-apcu` (+ `apc.enable_cli=1` в `/etc/php/8.1/mods-available/apcu-nc-cli.ini` для cron/occ), `occ config:system:set memcache.local --value "\OC\Memcache\APCu"` (от www-data), рестарт apache2. Redis остался на distributed+locking. +- Проверено: `php -m` → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu. + +**Замеры до/после (localhost VM, warm):** + +| Проба | До | После | +| --- | --- | --- | +| /login (полный PHP-рендер) | ~0.15 s | ~0.12 s | +| /status.php | ~0.06 s | ~0.04 s | +| LAN через прокси /status.php | 0.26 s, выбросы до 1.4 s | 0.24 s стабильно | + +Основной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД. + +**Бэкапы:** `/root/nc-config.php.bak-preopt-20261011` (config.php до правок). Откат: удалить `zz-nextcloud.cnf` + рестарт mysql; `occ config:system:set memcache.local --value "\OC\Memcache\Redis"` + рестарт apache2. + +**Не сделано (ждёт решения владельца):** отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен). + ## Incident 2026-10-06 (OOM crash) - 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host). - 2026-10-06 07:54:06 UTC: VM shut down, `reason=crashed` (libvirt log). - Down ~31h12m; `cloud.gnexus.space` returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start. -- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. +- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv. No raw credentials are documented here. diff --git a/90-maintenance/pending-changes/20261011091335-d06dbc91.json b/90-maintenance/pending-changes/20261011091335-d06dbc91.json new file mode 100644 index 0000000..be01177 --- /dev/null +++ b/90-maintenance/pending-changes/20261011091335-d06dbc91.json @@ -0,0 +1,19 @@ +{ + "id": "20261011091335-d06dbc91", + "kind": "doc", + "target": "10-systems/hosts/nextcloud.md", + "summary": "Nextcloud: MySQL buffer pool 4G + flush 2, APCu memcache.local; замеры до/после", + "reason": "Применена оптимизация производительности Nextcloud (одобрено владельцем): MySQL buffer pool 4G + flush 2, APCu как memcache.local; замеры до/после зафиксированы.", + "payload": { + "content": "---\nowner: gmikcon\nstatus: active\nlast_reviewed: 2026-10-11\nreview_interval: 90d\nconfidence: high\nsource_of_truth: ssh-host-verified\n---\n\n# Nextcloud VM\n\nNextcloud file cloud VM, upstream for `cloud.gnexus.space`.\n\n## Identity\n\n- Inventory id: `nextcloud`.\n- VM id: `nextcloud` (libvirt domain on hypervisor `hp-proliant-dl380-g6`, bserv `192.168.1.130`).\n- LAN address: `192.168.1.152`.\n- Resources: 24 vCPU, 32 GiB RAM.\n- Disk: qcow2 `/mnt/main/vm_main/nextcloud`.\n- Autostart: enabled. Note: libvirt autostart only fires on host/libvirt start — it does NOT recover a VM killed by the OOM killer.\n\n## Roles\n\n- Nextcloud instance behind `cloud.gnexus.space` (TLS terminates on `internal-proxy-vps`, upstream `http://192.168.1.152`).\n\n## Stack\n\n- Ubuntu, Apache 2.4 (mpm_prefork + mod_php), PHP 8.1 (opcache настроен: 384 MB, interned 64, validate_timestamps=0), MySQL 8, Redis (memcache.distributed + memcache.locking), APCu (memcache.local, с 2026-10-11).\n- Каталог установки: `/home/ubuntu/nextcloud` (DocumentRoot vhost `nc.lvs.conf`), данные `/home/ubuntu/nextcloud/data`.\n- Фоновые задачи: cron www-data `*/3 * * * * php -f /home/ubuntu/nextcloud/cron.php`.\n- SSH: `ubuntu` на 192.168.1.152, пароль как у гипервизора (gnexus-creds, секрет `bserv@192.168.1.130`); sudo через `sudo -S`. occ запускать от `www-data` (`sudo -u www-data php occ ...`).\n- Приложения (включены, тяжёлые): memories, recognize, maps, previewgenerator, richdocuments (+richdocumentscode), drawio, forms, deck, calendar, contacts, notes, tasks, bookmarks. Вопрос об отключении неиспользуемых открыт (владелец).\n- Health-мониторинг: hard-panel сервис #8 `nextcloud` — `https://cloud.gnexus.space/status.php` (LAN-URL без Host-заголовка даёт 400 trusted domains; см. `10-systems/services/hard-panel.md`).\n\n## Update 2026-10-11 09:20 (navi rei) — оптимизация производительности (одобрено владельцем)\n\nПовод: жалоба владельца на медленный Nextcloud. Диагностика: ресурсы VM в норме (load 0.04, RAM 1.1/31 Gi), узкие места — конфигурация стека.\n\n**Пункт 1 — MySQL tuning:**\n\n- Найдено: `innodb_buffer_pool_size` = дефолт 128 MB при БД ~1 GB (451k записей oc_filecache) — главный тормоз листингов/WebDAV.\n- Сделано: `/etc/mysql/mysql.conf.d/zz-nextcloud.cnf` — `innodb_buffer_pool_size = 4G`, `innodb_flush_log_at_trx_commit = 2` (персональное облако: потеря последней секунды транзакций при падении ОС приемлема). Рестарт mysql.\n- Проверено: `SELECT @@innodb_buffer_pool_size` = 4294967296 (4 GiB), mysql active, `/status.php` 200. RSS mysqld растёт лениво по мере прогрева — норма.\n\n**Пункт 2 — APCu:**\n\n- Найдено: memcache.local был на Redis (каждый вызов по сети); APCu отсутствовал.\n- Сделано: `apt-get install php8.1-apcu` (+ `apc.enable_cli=1` в `/etc/php/8.1/mods-available/apcu-nc-cli.ini` для cron/occ), `occ config:system:set memcache.local --value \"\\OC\\Memcache\\APCu\"` (от www-data), рестарт apache2. Redis остался на distributed+locking.\n- Проверено: `php -m` → apcu, проба в Apache → APCU:yes, лог nextcloud.log без ошибок APCu.\n\n**Замеры до/после (localhost VM, warm):**\n\n| Проба | До | После |\n| --- | --- | --- |\n| /login (полный PHP-рендер) | ~0.15 s | ~0.12 s |\n| /status.php | ~0.06 s | ~0.04 s |\n| LAN через прокси /status.php | 0.26 s, выбросы до 1.4 s | 0.24 s стабильно |\n\nОсновной эффект ожидается на DB-тяжёлых операциях (листинги файлов, WebDAV, поиск) — buffer pool теперь вмещает всю БД.\n\n**Бэкапы:** `/root/nc-config.php.bak-preopt-20261011` (config.php до правок). Откат: удалить `zz-nextcloud.cnf` + рестарт mysql; `occ config:system:set memcache.local --value \"\\OC\\Memcache\\Redis\"` + рестарт apache2.\n\n**Не сделано (ждёт решения владельца):** отключение тяжёлых приложений (memories/recognize/maps/previewgenerator/richdocuments/drawio/forms — список уточняется), переезд на php-fpm + mpm_event (модули в наличии, php8.1-fpm не установлен).\n\n## Incident 2026-10-06 (OOM crash)\n\n- 2026-10-06 07:53:20 UTC: global OOM on hypervisor bserv — 117 GiB RAM exhausted and 8 GiB swap full. Kernel OOM killer killed the nextcloud qemu process (pid 3965, ~28 GiB RSS, largest allocation on the host).\n- 2026-10-06 07:54:06 UTC: VM shut down, `reason=crashed` (libvirt log).\n- Down ~31h12m; `cloud.gnexus.space` returned 502 from the internal proxy during the outage. Started manually by the owner 2026-10-07 15:06 UTC; service verified 200 after start.\n- Standing risk: hypervisor memory stays tight (90/117 GiB used, swap 8/8 GiB full at check 2026-10-07); the nextcloud VM is the largest single memory allocation (32 GiB) and the most likely OOM victim again. Note: MySQL buffer pool 4G внутри VM добавляет давление на гипервизор только при реальном прогреве кэша (RSS растёт лениво); следить за free на bserv.\n\nNo raw credentials are documented here." + }, + "status": "applied", + "created_at": "2026-10-11T09:13:35Z", + "updated_at": "2026-10-11T09:13:36Z", + "applied_at": "2026-10-11T09:13:36Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}