| 2026-11-07 |
jellyfin: 2026-11-07 scan episode (ReadTimeout 30.5s + cpu_high 91%) triaged; Trickplay trigger still cleared; new recs: night-hour scan triggers, NetTera8 100% full
...
Episode 2026-11-07 triaged by rei via SSH (cpu_high 91%, load 77, 12 ffmpeg during library scan 17:21 UTC; task left to finish; Trickplay trigger verified still cleared; NetTera8 100% full)
|
| 2026-11-06 |
gnexus-home: инцидент 2026-11-06 server_offline flap — первопричина IP-конфликт на .151 с фантомным WiFi-MAC 0e:c6:7d:38:8e:78; статические ARP-записи на .183/.176/госте, сайт восстановлен (502 → 200)
...
Реакция на событие hard-panel server_offline (server 42): установлен первопричина flap — IP-конфликт на 192.168.1.151 с фантомным WiFi-MAC; применены временные static-ARP записи, восстановлен публичный сайт.
|
| 2026-11-04 |
Добавлен gotcha в bugtrail.md: после ребута хоста docker-стек поднимается ~15–20 мин, healthz может отдавать 502 — ждать перед эскалацией
...
Инцидент 2026-11-04: после массового ребута инфры healthz bugtrail отдавал 502 ~15–20 мин (docker daemon стартует позже хоста); verified rei — стек поднялся сам, gotcha задокументирован, чтобы следующая реакция не эскалировала преждевременно.
|
Добавлена секция инцидента 2026-11-04 (блэкаут стенда, волна server_offline ×18): хронология, верификация 10:16 UTC, вывод — самовосстановление. Kernel → 5.15.0-202, last_reviewed → 2026-11-04.
...
Реакция rei на hard-panel server_offline #46 (envelope 9b290f76, silent 353 мин): инцидент 2026-11-04 верифицирован, канонический отчёт в workspace navi-1; по конвенции книги хост-док получает датированную секцию; kernel/last_reviewed обновлены по live-данным.
|
bugtrail.md: add power-loss behaviour section from 2026-11-04 blackout (self-recovery, ~15 min health lag, verified by rei)
...
Observed during rei's reaction to the 2026-11-04 infra blackout (event adff2112, gnauth): stack self-recovered after power loss with ~15 min health lag; documenting expected behaviour so future reactions don't force-rebuild.
|
| 2026-10-31 |
gitbucket.md: 9th crawler episode (31.10 03:30 UTC) + correction of ep8 timeline (one continuous ~3.5h crawl, ~127k req)
...
9th crawler episode on gitbucket (GHard #1152, 2026-10-31 03:30 UTC, cpu 97.1%): 4x GET /root/smart-home-server/archive/devices/*.zip (3x sha 44250a7a, 1x 8a945d0d), 8x EofException/Broken pipe, java 333.7% CPU (~3 ZIP builds), load peak 7.05, no restart, self-recovered 03:31:51. Correction: ep8 did not self-extinguish 00:09 — enumeration continued ~440-480/min through 00-02 (29k req/h), one continuous crawl 23:58-03:35+, ~126.8k req total, client 192.168.1.100% 192.168.1.150, GPTBot/1.4 + Chrome/Edge 142-145 rotation. Triage: read-only ssh ubuntu@192.168.1.156 (bserv@192.168.1.130 creds) and nginx access.log on 192.168.1.183. Incident journal: workspace/incident_gitbucket_2026-10-31_ep9_crawl.md.
|
gstation: новый хост — семейный игровой ПК на Bazzite (192.168.1.135)
...
Новый хост в инвентаре (hosts/gstation) + новый док 10-systems/hosts/gstation.md. Факты из SSH-сессий 2026-10-31: Bazzite 44.20261026, i5-3470/19GB/RX 580 2048SP, HDD NTFS /var/mnt/games, статический IP .135, GDM autologin, отключённые lock/hot corners/hotedge/welcome-тур (+welcome-fix autostart), ТВ underscan через GNOME underscanning (tvmode/tvtest), 35 игр через play.sh + Heroic couch, геймпад RZTK спарен (Home+X).
|
gitbucket: 8th archive-burst episode (30.10 23:57 UTC), nextcloud 61-s blip correlation confirmed twice, pending-decision counter updated
...
8th archive-burst episode 2026-10-30 23:57 UTC (panel #1136/#1137, reaction events 63c2c371 + 34367587): added episode to the list, recorded the 2nd confirmed 61-s nextcloud blip coincidence (27.10 + 30.10), updated pending-decision counter to 5 consecutive days (26–30 Oct). Sources: SSH triage on 192.168.1.156, nginx access.log on 192.168.1.183, hard-panel service_incidents.
|
gitbucket host doc: 8th archive-burst episode 2026-10-30 23:57 UTC (short burst, self-recovered ~7 min), GPTBot/1.4 crawl attribution, pending owner decision now 5 consecutive days
...
Episode 8 of the archive-burst class confirmed 2026-10-30 23:57 UTC (panel event #1136, diagnosed by navi rei via SSH + nginx logs): short burst of 20 archive/*.zip requests amid GPTBot crawl, peak load1 11.25, self-recovered ~7 min. Updates episode count, traffic-source note and pending owner decision (5 consecutive days).
|
gitbucket: 8th archive-crawler CPU episode (30.10 23:57 UTC), series 5 consecutive days
...
8th episode of the archive-crawler CPU class: 2026-10-30 23:57 UTC burst (cpu_high 91% #1136, load_high 2.11×cores #1137, cpu_recovered #1140), confirmed via read-only SSH journalctl on .156 — same /archive/*.zip signature, self-recovered in ~3.5 min. Series now 5 consecutive days (26–30 Oct).
|
| 2026-10-29 |
gitbucket: 7th archive-crawl episode (29.10, ~4.5 h sustained, self-recovered)
...
Reaction session rei on GHard event #1100 (cpu_high 90.5%, server 44 gitbucket, 2026-10-29 10:40:57 UTC). SSH triage confirmed the known archive-crawl class (7th episode since 2026-10-12) with a new signature: sustained ~4.5 h crawl 06:00–10:42 UTC, 5248 /archive/*.zip requests from 192.168.1.150 via public route, 29 Broken pipe/EofException errors, load decayed 5.07→0.66 by 10:48 UTC, self-recovered, no restart needed. Known behavior section updated with 7th episode, new signature, and owner recommendation (4 consecutive days of episodes).
|
| 2026-10-28 |
gitbucket: corrected archive-burst section — 6th episode of class, client attributed, proxy is .183 not .226
...
Correction after cross-checking memory of prior sessions: the 28.10 episode is the 6th of the /archive/*.zip class since 12.10; client already attributed (192.168.1.150 via ovpn VM SNAT, browser UA rotation; crawler UAs in 25.10 storm); actual nginx proxy is 192.168.1.183 (inventory .226 entry stale — .226 does not answer SSH/ICMP). Removed the incorrect "client IPs not identified" statement.
|
gitbucket: known behavior — load_high episodes from archive/*.zip download bursts (2026-10-26/27/28)
...
Diagnosed by navi rei during reaction to panel event #1097 (load_high 2.1x, server 44). journalctl evidence: bursts of GET /root/<repo>/archive/<path>/<sha>.zip through git.gnexus.space, clients abort (EofException/Broken pipe), GitBucket keeps building ZIPs -> java 325% CPU, load1 9.8. Self-recovered in ~90 s, HTTP 200 throughout, no restart needed. Triage recipe and pending owner decision (nginx rate-limit on .226) recorded.
|
| 2026-10-25 |
Public access verified working; stale dead-mapping note corrected
...
Live verification 2026-10-25: public access via minecraft.gnexus.space:25565 works; previous "no public proxy mapping" note was stale.
|
| 2026-10-19 |
nextcloud: серия флапа 19 окт ЗАКРЫТА — 65 эпизодов за 2.5 ч, тишина 67 мин, причина не установлена (gntodo 506)
...
recall re-check 12:06: тишина 67.1 мин >= 1 ч, серия затухла, закрытие
|
nextcloud: серия флапа — 65 эпизодов (08:22–10:59 UTC), после 10:59 пауза 35 мин, пробы чистые
...
recall re-check 11:34: эпизоды 62–65, серия на паузе, стоп-критерий тишина >=1 ч
|
nextcloud: серия флапа публичного пути — 61 эпизод за 2.5 ч (08:22–10:53 UTC), notify warning отправлен, механизм прежний (VPS 51.83.131.93)
...
recall re-check: серия разрослась до 61 эпизода, notify warning отправлен
|
nextcloud: серия 2026-10-19 продолжена — эпизоды 15–21 (09:00–09:13 UTC), все ConnectTimeout self-recovered, механизм прежний (флап публичного пути к VPS), VM здорова
...
Реакционная сессия rei: продолжение серии 2026-10-19 — эпизоды 15–21 (09:00–09:13 UTC), механизм прежний (флап публичного пути к VPS 51.83.131.93), VM и стек здоровы (LAN-проба 3/3 200, maintenance=false, v31.0.14.1)
|
nextcloud: серия флапа публичного пути продолжилась — 14 эпизодов (08:22–09:00 UTC), механизм прежний (VPS 51.83.131.93)
...
Реакционная сессия rei на событие #934 (08:56:17 UTC): серия флапа публичного пути продолжилась после 08:36 — эпизоды 7–14 (#921–#938, 08:38–09:00 UTC), все ConnectTimeout, self-recovered, интервалы 0.6–2.6 мин (все <4 мин). Верификация 08:59–09:00 UTC: публичные пробы 6/10 таймаутов, raw TCP к 51.83.131.93:443 4/10 FAIL, контроль 1.1.1.1 5/5 OK, LAN-проба VM 3/3 200 — механизм прежний (VPS), VM и стек здоровы. Коррекция вывода «серия оборвалась к 08:36:37» из commit 79afb62. Задача gntodo 506 актуальна.
|
Уточнение: задача владельцу создана в gntodo (id 506, проект GHard Monitor)
...
Уточнение: задача владельцу создана в gntodo (id 506, проект GHard Monitor) — в тексте серии 19 окт был указан только факт создания.
|
nextcloud: incident series 2026-10-19 08:22–08:36 UTC — public path flap to external VPS, not bserv
...
Reaction session rei on Synapse event 21148f3a (service_recovered nextcloud, panel #916, 08:29:08 UTC). Series: 6 down/recovered pairs 08:22:41–08:36:37 UTC, all ConnectTimeout ~30 s, all self-recovered, intervals 1.6–2.2 min. Triage: bserv healthy (RAM 47%, swap 5%, no OOM), VM/stack healthy (LAN probes 4/4 ~0.04 s), public path to external VPS 51.83.131.93:443 flapping (9/19 curl timeouts, raw TCP 4/10 FAIL, control host 1.1.1.1 clean in all rounds). Not a recurrence of the 11–12 Oct bserv swap-pressure series. External VPS SSH triage not possible in session (no confirmed access documented) — gntodo task created for owner.
|
| 2026-10-18 |
gnexus-home: recovery of 2026-10-18 22:28 crawler-storm incident confirmed (event #907 cpu_recovered, load back to baseline)
...
Reaction session rei delivered panel event #907 (cpu_recovered 22:30:38 UTC) for the 22:28 crawler-storm incident on gnexus-home; independently verified load decay 8.1→0.0 and appended recovery note to the incident section and incident history.
|
gnexus-home: инцидент load_high 5.98 2026-10-18 (краулер-шторм через ovpn_reserv) + блок-правила Apache
...
Инцидент load_high 5.98 на gnexus-home 2026-10-18 22:28 UTC: краулер-шторм через ovpn_reserv (192.168.1.183), блок-правила в Apache; верифицировано по SSH и панели (hard-panel events #905/#906)
|
gnexus-home: инцидент cpu_high 97.3% 18 Oct (скан-шторм /blog/.git через internal-proxy) + митигация RedirectMatch 404 в Apache
...
Инцидент cpu_high 97.3% (event #905, 2026-10-18 22:28 UTC): скан-шторм /blog/.git через internal-proxy на WordPress; применена митигация RedirectMatch 404 в 000-default.conf (бэкап .bak-rei-20261018), верифицировано по SSH и панели (CPU 97.3→1.9%).
|
| 2026-10-17 |
gnexus-home: док хоста + инвентарь (ram_high 2026-10-17, тюнинг RAM/swap/mysql/apache)
...
Reaction session rei на hard-panel event #903 (ram_high 90.81%, server 42 gnexus-home, 2026-10-17 18:37 UTC). Диагноз: baseline 76% (mysqld 373MB + apache prefork) + transient plocate-updatedb/check-new-release; OOM нет. Меры: swap 1G на /home (pri=1), mysql buffer_pool 64M + performance_schema OFF, apache prefork 2/2/4/20, диск / 96→86%. RAM теперь 47.3%, gnexus.space 200. Отчёт: workspace/incident_gnexus-home_ram_2026-10-17.md (на хосте navi).
|
tgclientmcp: blackout 2026-10-17 note; netplan static .171 restored (50-static.yaml, cloud-init disabled); TGCLIENT_SYNAPSE_URL rolled back to .172:8013; nginx upstream back to .171:8710
...
После блэкаута 2026-10-16/17 VM получила DHCP-адрес .24; по решению владельца возвращена на .171 через netplan-статику внутри гостя (cloud-init network config отключён), TGCLIENT_SYNAPSE_URL откатан на .172:8013, nginx-апстрим на .171:8710 — health 200, 2/2 аккаунта connected
|
gnsynapse: blackout 2026-10-17 note; netplan static .172 restored (50-static.yaml, cloud-init disabled); dependent configs rolled back to .172:8013
...
После блэкаута 2026-10-16/17 VM получила DHCP-адрес .29; по решению владельца возвращена на .172 через netplan-статику внутри гостя (cloud-init network config отключён), зависимые конфиги откатаны на .172:8013 — проверено health 200
|
| 2026-10-12 |
Incident 2026-10-12: closure-подтверждение 20:44 UTC (recall d25de2b5) — тишина 4 ч 27 мин, финальный срез bserv, RSS qemu 6.34 GB; серия закрыта окончательно
|
Incident 2026-10-12: серия завершена (closure 20:24-20:27 UTC, тишина 4 ч 9 мин, 148 эпизодов за ~22.8 ч); финальный срез bserv, qemu RSS-плато 6.64 GB
|
Серия stall'ов ЗАКРЫТА (closure 20:24 UTC): тишина 4 ч 7 мин, recalls прекращены; итог 148 эпизодов/22.8 ч, RSS-плато 6.33 GB; долг по разгрузке bserv остаётся
|