| 2026-10-11 |
Incident 2026-10-11 23:40 UTC: двадцатый ConnectTimeout-эпизод серии (30.4 с, самовосстановление); bserv RAM ~97%, swap 100%, available ~1.9 GB — минимум за серию
...
Серия гипервизорных stall'ов bserv продолжается; эпизод 20 зафиксирован hard-panel (события #467/#468), отчёт workspace дополнен
|
nextcloud.md: добавлены эпизоды 18 (23:17) и 19 (23:26) серии гипервизорных stall'ов; устранено дублирование инцидент-блока (10:06–эп.17 встречался дважды)
...
Событие hard-panel #466 (service_recovered nextcloud, 23:26:34 UTC) — 19-й эпизод серии ConnectTimeout; добавлены секции эпизодов 18 (23:17) и 19 (23:26) с верификацией 23:27 UTC; попутно устранено дублирование блока инцидентов (секции 10:06–эп.17 встречались в документе дважды после предыдущего обновления).
|
Дедупликация nextcloud.md (убрана случайная вторая копия тела документа) + добавлен Incident 2026-10-11 23:01 UTC (эпизод 17 серии ConnectTimeout)
...
Реакция на событие hard-panel service_recovered (nextcloud, эпизод 17 серии 23:01 UTC): тело документа содержало две почти полные копии контента (артефакт параллельных обновлений вечера) — дедупликация до одной копии; добавлен Incident 23:01 UTC (эпизод 17, серия замедляется, интервал 11,9 мин)
|
Add incidents 15–16 (22:40, 22:49 UTC hypervisor stalls, events #457–#460); remove duplicated body block left by previous update
...
Эпизод 16 серии stall'ов bserv (события hard-panel #459/#460, 22:49:30–22:50:01 UTC): восстановление верифицировано (status.php 200, VM Id 34 running, гипервизор read-only проверен). Попутно устранено дублирование тела документа — артефакт предыдущего update_doc (блок Stack→эпизод 13 повторялся дважды); тело пересобрано начисто с эпизодами 15–16 перед Incident 2026-10-06.
|
Incident series: added Episode 14 (22:31–22:32 UTC, 66s ConnectTimeout — longest of series); corrected 3-min cron hypothesis (no cron on bserv, only PCP timers)
...
Episode 14 of the 2026-10-11 hypervisor stall series (22:31:34–22:32:40 UTC, 66.2s ConnectTimeout, events #455/#456) verified via read-only SSH diagnostics on bserv at 22:34:50 UTC; also corrects the 3-min cron hypothesis (no cron on hypervisor, only PCP timers).
|
Добавлены эпизоды 12 (22:23 UTC) и 13 (22:27 UTC) серии гипервизорных stall'ов bserv: тот же почерк, bserv RAM 97.1%, swap 100%, OOM нет, VM здорова; хвост серии плотный — 5 эпизодов за ~22 мин.
...
Серия гипервизорных stall'ов bserv продолжается: добавлены эпизоды 12 (22:23, события #451/#452) и 13 (22:27, события #453/#454) — источник: hard-panel events + SSH-проверка bserv 22:28:59 UTC (RAM 97.1%, swap 100%, SwapFree 0, OOM нет, VM running).
|
Incident 2026-10-11 22:23 UTC: эпизод 12 серии гипервизорных stall'ов (ConnectTimeout 30.4с, #451/#452), плотный хвост серии, bserv RAM ~97%/swap 100%, VM здорова, самовосстановление.
...
Реакция на событие hard-panel #452 (service_recovered nextcloud, 22:23:40 UTC): добавлен эпизод 12 вечерней серии гипервизорных stall'ов с данными VM и read-only диагностикой bserv 22:27 UTC (RAM ~97%, swap 100%, PSI 0, OOM нет, VM running).
|
nextcloud: incident 2026-10-11 22:17 UTC — episode 11 of hypervisor stall series (2nd ReadTimeout, 1.6 min interval — new series minimum)
...
Episode 11 of the 2026-10-11 hypervisor stall series: hard-panel events #449 (down, ReadTimeout 30.4s, 22:17:21 UTC) / #450 (recovered, 22:17:52). Second ReadTimeout of the series; interval from episode 10 ~1.6 min — new series minimum. bserv check 22:22 UTC: RAM 97.0%, swap 100% (24 kB free), available 2.1 GB, load 5.55, si/so=0, no OOM (last Oct 6). Nextcloud healthy, self-recovered, no intervention. Source: hard-panel events + ssh bserv (rei reaction session).
|
Добавлен Incident 2026-10-11 22:15 UTC — десятый эпизод гипервизорного stall'а (тот же почерк), впервые зафиксирован активный свопинг на bserv (si/so > 0)
...
Эпизод 10 (22:15:43–22:16:15 UTC, события #447/#448): десятый ConnectTimeout-сталл гипервизора bserv за день; впервые зафиксирован активный свопинг (vmstat si=8450/so=18756 KB/s) при swap 100% и RAM 97%. Сервис самовосстановился, верифицировано 22:17:19 UTC. Источник: ssh bserv + hard-panel events + http status.php.
|
Incident 2026-10-11 22:05 UTC: девятый ConnectTimeout-эпизод серии гипервизорных stall'ов bserv (события #445/#446), самовосстановление, верификация 22:07 UTC
...
Эпизод 9 серии гипервизорных stall'ов bserv: 22:05:22–22:05:52 UTC, ConnectTimeout 30.4 с, события #445/#446, самовосстановление, верифицировано 22:07:15 UTC (status.php 200, v31.0.14.1). Источник: hard-panel service_incidents/events + прямой HTTP-чек.
|
Добавлен Incident 2026-10-11 21:31 UTC — восьмой ConnectTimeout-эпизод серии гипервизорных stall'ов bserv
...
Восьмой ConnectTimeout-эпизод серии 2026-10-11 (21:31:27–21:31:57 UTC, события #443/#444): тот же механизм гипервизорного stall на bserv, VM и стек здоровы, самовосстановление. Проверено read-only по SSH (гипервизор 21:33:31 UTC, VM 21:33:40 UTC).
|
nextcloud: incident 21:19 UTC — седьмой эпизод серии гипервизорных stall'ов bserv (ConnectTimeout 30.4 с, самовосстановление, тот же механизм давления памяти)
...
Эпизод 7 серии stall'ов bserv (21:19:56–21:20:26 UTC, ConnectTimeout 30.4 с, события #441/#442) подтверждён проверкой hard-panel + read-only SSH (bserv и VM nextcloud); отчёт workspace дополнен.
|
Добавлен Incident 2026-10-11 20:40 UTC — шестой эпизод серии гипервизорных stall'ов (интервал рухнул до 3,9 мин), данные read-only диагностики bserv 20:45 UTC
...
Эпизод 6 серии гипервизорных stall'ов 2026-10-11 (20:40:57–20:41:27 UTC, интервал от эпизода 5 всего 3,9 мин); read-only диагностика bserv 20:45 UTC подтвердила хронический memory-pressure (swap 100%, SwapFree 12 kB, available 2.3 GB, si/so=0, kernel-journal пуст). Источник: hard-panel events #439/#440 + ssh-диагностика rei.
|
nextcloud: добавлен Incident 2026-10-11 20:37 UTC — пятый эпизод серии (ReadTimeout 31.2 с), VM здорова, stall гипервизора bserv
...
Пятый эпизод серии гипервизорных stall'ов bserv вечером 2026-10-11: 20:37:47–20:38:18 UTC, ReadTimeout 31.2 с (события #437/#438). VM здорова (точки агента 20:35:13/20:39:13 на месте), bserv под давлением памяти (swap 100%, проверка 20:39:31 UTC), dmesg чист. Источник: hard-panel events + SSH-проверка bserv.
|
nextcloud.md: Incident 2026-10-11 20:10 UTC — четвёртый ConnectTimeout-эпизод за вечер
...
Четвёртый ConnectTimeout-эпизод 20:10:14–20:10:45 UTC (события hard-panel #435/#436), идентичный почерк предыдущих трёх. Регулярность ~17,5 мин между эпизодами. VM здорова (uptime 4 дня, логи чисты), bserv swap 100% (проверка 20:12 UTC), новых OOM нет. Верификация восстановления 20:12 UTC: status.php 200 (31.0.14.1). Отчёт workspace rei incident_nextcloud_2026-10-11_evening.md дополнен эпизодом 4.
|
Добавлен Incident 2026-10-11 19:52 UTC — третий ConnectTimeout-эпизод за вечер, тот же механизм (stall гипервизора bserv)
...
Третий ConnectTimeout-эпизод 19:52:44–19:53:14 UTC (30.4 с, тот же почерк) — VM здорова, механизм тот же (транзиентный stall гипервизора bserv). Зафиксировано по событию hard-panel service_recovered и метрикам server_history.
|
Добавлена секция Incident 2026-10-11 19:35 UTC — второй ConnectTimeout-эпизод (тот же гипервизорный stall bserv, VM здорова, самовосстановление)
...
Второй ConnectTimeout-эпизод 19:35–19:36 UTC 2026-10-11 (тот же гипервизорный stall, что и в 17:28); зафиксирован в отчёте workspace rei, требуется отражение в доке хоста.
|
Nextcloud major upgrade 27.1.6 → 31.0.14 documented: route, recognize incident on 30→31, app versions, disk state, PHP 8.1 constraint
...
Мейджор-апгрейд Nextcloud 27.1.6 → 31.0.14 завершён и проверен (SSH + внешний гейт); зафиксирован маршрут, инцидент recognize на 30→31, версии приложений, состояние диска и ограничение PHP 8.1 для следующих мейджоров.
|
Добавлен инцидент 2026-10-11 (обновление 29→30, 503 в maintenance mode, 500 из-за opcache после апгрейда, фикс рестартом apache2) и правило ранбука: рестарт apache2 после каждого occ upgrade.
...
Инцидент 2026-10-11: 503 во время планового обновления 29→30 (maintenance mode) и 500 после него из-за устаревшего opcache; зафиксировано правило ранбука — рестарт apache2 после каждого occ upgrade.
|
Nextcloud: MySQL buffer pool 4G + flush 2, APCu memcache.local; замеры до/после
...
Применена оптимизация производительности Nextcloud (одобрено владельцем): MySQL buffer pool 4G + flush 2, APCu как memcache.local; замеры до/после зафиксированы.
|
| 2026-10-10 |
gntodo: обновление 4837d28 → 8351f09 (0.94 мобильные фиксы журнала/списка, 0.95 стек входящих, 0.96 прозрачные углы иконок) — full rebuild, без миграций, VAPID-правка compose сохранена
...
Обновление gntodo 4837d28 → 8351f09 (0.94–0.96) выполнено и проверено на живом хосте 2026-10-10; HEAD и заголовок секции приведены к актуальному коммиту
|
gntodo: Update 2026-10-10 #2 (94af80e → 4837d28) — BugTrail-импорт (ТЗ 3.22) + автодетализация 0.93, full rebuild, без миграций, VAPID-правка compose пережила pull
...
gntodo обновлён до 4837d28 (0.92 BugTrail-импорт, 0.93 автодетализация) — фиксирую обновление в канонической документе хоста
|
gntodo: Web Push включён — VAPID-ключи сгенерированы, .env + локальная правка compose (проброс в api), push_enabled=True, креды в gnexus-creds
...
Web Push в gntodo включён и проверен (VAPID-ключи, проброс в compose, push_enabled=True) — фиксирую в канонической документе хоста
|
gntodo updated 2026-10-10: 6ddbcef → 94af80e (agent mandate, Web Push, reminders), 3 additive migrations, full rebuild verified
...
Обновление gntodo 6ddbcef → 94af80e на 192.168.1.179, выполнено rei 2026-10-10: агентский мандат (ТЗ 3.20), Web Push (ТЗ 3.21), напоминания, 3 аддитивные миграции, полный ребилд, все проверки зелёные. Источник: ssh-host-verified.
|
Monitoring section: jellyfin now health-checked on the panel as service id 7; follow-up note in incident section
...
Jellyfin добавлен в health-чекер панели как сервис id 7 (http://192.168.1.153:8096/health) 2026-10-10 — после инцидента с зависшим веб-UI, который сервер-метрики не ловили.
|
Add 2026-10-10 AudioNormalization incident (web UI freeze, DSD256 ebur128 analysis), fix steps, trigger-persistence warning, API POST note; update fixes status
...
Incident 2026-10-10: AudioNormalization task (ebur128 over DSD256 music) starved the Jellyfin web server for ~15h; resolved by killing ffmpeg/ffprobe, clearing swap, removing its trigger; Trickplay daily trigger had reappeared and was re-removed.
|
| 2026-10-09 |
gntodo updated to 6ddbcef (2026-10-09) + daily automated backups with 10-day rotation documented
...
Live-verified 2026-10-09 by rei: gntodo updated 6ca1491 → 6ddbcef (3 additive projects migrations), and daily automated DB+attachments backup with 10-day rotation set up (script, root cron 03:30 UTC, logrotate, tested).
|
| 2026-10-08 |
jellyfin: root cause OOM-цикла найден (Trickplay task), применены cgroup-лимиты 8G/10G, задача остановлена и переведена на ручной запуск
...
Реакция на ram_high алерт 2026-10-08 21:18 UTC: найдена первопричина ежедневного OOM-цикла (задача Trickplay), применены меры (остановка задачи, снятие триггера, cgroup-лимиты MemoryHigh=8G/MemoryMax=10G), очистка /tmp/jellyfin; добавлен API-ключ в gnexus-creds
|
jellyfin: подтверждён ежедневный OOM-цикл (второй инцидент 2026-10-08), добавлена проверенная процедура очистки swap, уточнён процесс-виновник (trickplay ffmpeg)
...
Ежедневный OOM-цикл подтверждён вторым инцидентом (2026-10-08 21:18 UTC, ffmpeg 14.72 GB); swap_high 2026-10-08 обработан: swap очищен безопасной процедурой swapoff/swapon, сервис здоров. Добавлена проверенная процедура очистки swap и уточнён виновник (trickplay-ffmpeg).
|
| 2026-10-07 |
Add jellyfin host doc + inventory: media server 192.168.1.153, daily OOM-kill cycle diagnosed
...
Added 10-systems/hosts/jellyfin.md and hosts/jellyfin inventory item. Host jellyfin (192.168.1.153, Ubuntu 22.04.4, 16GB RAM) was missing from the knowledge base. Diagnosed daily OOM-kill cycle: ffmpeg (uid 109) grows to ~14.5-14.8 GB RSS each evening, kernel OOM-killer kills it, jellyfin.service auto-restarts; swap fills to 100% then drains ~24h. Trigger is Jellyfin activity (library scan + remux playback), not cron. SSH credentials stored in gnexus-creds secret 84a01b86-ec1d-41d1-927b-253f9b4c1770. Fixes proposed but NOT applied (owner approval required).
|