| 2026-10-19 |
Уточнение: задача владельцу создана в gntodo (id 506, проект GHard Monitor)
...
Уточнение: задача владельцу создана в gntodo (id 506, проект GHard Monitor) — в тексте серии 19 окт был указан только факт создания.
|
nextcloud: incident series 2026-10-19 08:22–08:36 UTC — public path flap to external VPS, not bserv
...
Reaction session rei on Synapse event 21148f3a (service_recovered nextcloud, panel #916, 08:29:08 UTC). Series: 6 down/recovered pairs 08:22:41–08:36:37 UTC, all ConnectTimeout ~30 s, all self-recovered, intervals 1.6–2.2 min. Triage: bserv healthy (RAM 47%, swap 5%, no OOM), VM/stack healthy (LAN probes 4/4 ~0.04 s), public path to external VPS 51.83.131.93:443 flapping (9/19 curl timeouts, raw TCP 4/10 FAIL, control host 1.1.1.1 clean in all rounds). Not a recurrence of the 11–12 Oct bserv swap-pressure series. External VPS SSH triage not possible in session (no confirmed access documented) — gntodo task created for owner.
|
| 2026-10-18 |
gnexus-home: recovery of 2026-10-18 22:28 crawler-storm incident confirmed (event #907 cpu_recovered, load back to baseline)
...
Reaction session rei delivered panel event #907 (cpu_recovered 22:30:38 UTC) for the 22:28 crawler-storm incident on gnexus-home; independently verified load decay 8.1→0.0 and appended recovery note to the incident section and incident history.
|
gnexus-home: инцидент load_high 2026-10-18 (краулер-шторм через ovpn_reserv) + адрес .183 в инвентаре
...
Инцидент load_high 5.98 на gnexus-home (hard-panel events #905/#906, 2026-10-18 22:28 UTC): краулер-шторм через внутренний прокси ovpn_reserv (192.168.1.183, MAC 52:54:00:10:2d:8e). Блок-правила RedirectMatch 404 в Apache vhost (бэкап .bak-rei-20261018), шторм затих ~22:32, load 0.17 к 22:34, gnexus.space → 200. Адрес .183 задокументирован в libvirt-vms.md и инвентаре VM.
|
libvirt-vms: ovpn_reserv также держит 192.168.1.183 (MAC 52:54:00:10:2d:8e, сверено 2026-10-18)
...
Адрес 192.168.1.183 (MAC 52:54:00:10:2d:8e) принадлежит домену ovpn_reserv — сверено по virsh dumpxml на гипервизоре 2026-10-18 при расследовании краулер-шторма на gnexus-home
|
gnexus-home: инцидент load_high 5.98 2026-10-18 (краулер-шторм через ovpn_reserv) + блок-правила Apache
...
Инцидент load_high 5.98 на gnexus-home 2026-10-18 22:28 UTC: краулер-шторм через ovpn_reserv (192.168.1.183), блок-правила в Apache; верифицировано по SSH и панели (hard-panel events #905/#906)
|
gnexus-home: инцидент cpu_high 97.3% 18 Oct (скан-шторм /blog/.git через internal-proxy) + митигация RedirectMatch 404 в Apache
...
Инцидент cpu_high 97.3% (event #905, 2026-10-18 22:28 UTC): скан-шторм /blog/.git через internal-proxy на WordPress; применена митигация RedirectMatch 404 в 000-default.conf (бэкап .bak-rei-20261018), верифицировано по SSH и панели (CPU 97.3→1.9%).
|
| 2026-10-17 |
gnexus-home: док хоста + инвентарь (ram_high 2026-10-17, тюнинг RAM/swap/mysql/apache)
...
Reaction session rei на hard-panel event #903 (ram_high 90.81%, server 42 gnexus-home, 2026-10-17 18:37 UTC). Диагноз: baseline 76% (mysqld 373MB + apache prefork) + transient plocate-updatedb/check-new-release; OOM нет. Меры: swap 1G на /home (pri=1), mysql buffer_pool 64M + performance_schema OFF, apache prefork 2/2/4/20, диск / 96→86%. RAM теперь 47.3%, gnexus.space 200. Отчёт: workspace/incident_gnexus-home_ram_2026-10-17.md (на хосте navi).
|
internal-proxy-vps: LAN .183 закреплён netplan-статикой в госте (01-netcfg.yaml), DHCP-резервация pfSense не нужна по дизайну владельца
...
Владелец подтвердил дизайн: pfSense не выдаёт адреса из серверного диапазона, статика на стороне серверов. Проверено по SSH: netplan 01-netcfg.yaml на .183 уже статический (настроен утром), cloud-init в VM отсутствует; DHCP-резервация Kea не нужна.
|
tgclientmcp: blackout 2026-10-17 note; netplan static .171 restored (50-static.yaml, cloud-init disabled); TGCLIENT_SYNAPSE_URL rolled back to .172:8013; nginx upstream back to .171:8710
...
После блэкаута 2026-10-16/17 VM получила DHCP-адрес .24; по решению владельца возвращена на .171 через netplan-статику внутри гостя (cloud-init network config отключён), TGCLIENT_SYNAPSE_URL откатан на .172:8013, nginx-апстрим на .171:8710 — health 200, 2/2 аккаунта connected
|
gnsynapse: blackout 2026-10-17 note; netplan static .172 restored (50-static.yaml, cloud-init disabled); dependent configs rolled back to .172:8013
...
После блэкаута 2026-10-16/17 VM получила DHCP-адрес .29; по решению владельца возвращена на .172 через netplan-статику внутри гостя (cloud-init network config отключён), зависимые конфиги откатаны на .172:8013 — проверено health 200
|
LAN address .226 → .183 after 2026-10-16/17 blackout; added blackout recovery section; nginx upstreams for synapse/tgclientmcp restored to .172/.171
...
После блэкаута 2026-10-16/17 VM ovpn_reserv получила DHCP-адрес 192.168.1.183 вместо .226 (проверено SSH: enp1s0=192.168.1.183/24, enp7s0=192.168.105.181/24); зависимые конфиги обновлены, gnsynapse/tgclient_mcp возвращены на .172/.171 по просьбе владельца
|
| 2026-10-16 |
internal-proxy: добавлен второй эпизод disk_high 2026-10-16 (17:49→18:31 UTC, +1.07 GB temp nginx, самоосвобождение) — 3-й эпизод класса proxy_buffering; last_reviewed 2026-10-16
...
Реакция на GHard event f18217dc (disk_recovered #852, 18:31 UTC): второй эпизод disk_high за вечер на internal-proxy, идентичная сигнатура буферизации nginx (jellyfin vhost без proxy_buffering off) — класс инцидента подтверждён, документирую для истории триажа.
|
internal-proxy-vps: резолюция disk_high 2026-10-16 (fd закрыт, 77%, SSH-верификация)
...
Резолюция disk_recovered #850 (17:30 UTC): fd закрыт при завершении стрима jellyfin-androidtv, −1.07 GB → 77.0%. SSH-верификация 17:35 UTC: df 5.2G/7.1G (78%), deleted-but-open fd у nginx отсутствует, /var/lib/nginx/proxy 4.0M. Прогноз триажа 16:28 UTC выполнен. Открытые пункты (очистка ~2.1–2.3 GB, proxy_buffering off в jellyfin/cloud/transmission) — ждут решения владельца.
|
Добавлен раздел 2026-10-16: disk_high 91.8% — повтор прецедента 10-11, корень = jellyfin vhost без proxy_buffering off
...
Инцидент disk_high 2026-10-16 на internal-proxy: повтор прецедента 2026-10-11 (nginx deleted-but-open temp 1 GiB), корень установлен — vhost jellyfin.gnexus.space без proxy_buffering off (6 из 17 сайтов без директивы). Источник: триаж rei по SSH 16:27–16:28 UTC, read-only.
|
| 2026-10-14 |
Создан документ легенды и стратегии посева VerIQ: легенда аккаунтов Navi, правила прогрева, технические ограничения (X/Reddit только с телефона), таблица аккаунтов
...
Женя решил 14.10: аккаунты посева ведём под общей легендой (прикидываемся человеком, не раскрываем ИИ-природу), прогрев несколько дней. Нужен канонический документ, на который агенты будут ссылаться перед работой с аккаунтами.
|
| 2026-10-13 |
gitbucket.md: add SSH Access section (verified password auth, navi NOPASSWD sudo, service unit and log paths)
...
SSH access to the gitbucket VM was verified working on 2026-10-13 (password auth from navi host, navi user has NOPASSWD sudo) — this unblocks future diagnostics that were blocked for the entire October incident series; documented as SSH Access section.
|
gitbucket.md: add Known issues — /archive/*.zip CPU-bound endpoint as root cause of Oct cpu_high storms; java MEM standing risk
...
Root cause of the October cpu_high storms on server 44 established via SSH (2026-10-13): /archive/*.zip endpoint is CPU-bound, crawler traffic through ovpn VM causes the spikes; documented in Known issues section.
|
Added owner-confirmed explanation of why the OVH account/zone is on the CA region ("worldwide" choice at signup, auto-assigned).
...
Owner explained 2026-10-13: the Canada region assignment was not deliberate — he chose "worldwide" at OVH registration and OVH assigned CA. Added to the doc so future agents don't misread it as an intentional setup.
|
Confirmed registrar/DNS provider (OVHcloud, CA cluster), documented API access via gnexus-creds secret dbcbdd25, zone snapshot location, and full zone contents; resolved previous Unknowns.
...
Verified via OVH API 2026-10-13 (navi rei): registrar/DNS = OVHcloud, zone on CA cluster, API keys in gnexus-creds dbcbdd25, full zone snapshot taken. Resolves the doc's Unknowns section.
|
| 2026-10-12 |
Incident 2026-10-12: closure-подтверждение 20:44 UTC (recall d25de2b5) — тишина 4 ч 27 мин, финальный срез bserv, RSS qemu 6.34 GB; серия закрыта окончательно
|
Incident 2026-10-12: серия завершена (closure 20:24-20:27 UTC, тишина 4 ч 9 мин, 148 эпизодов за ~22.8 ч); финальный срез bserv, qemu RSS-плато 6.64 GB
|
Серия stall'ов ЗАКРЫТА (closure 20:24 UTC): тишина 4 ч 7 мин, recalls прекращены; итог 148 эпизодов/22.8 ч, RSS-плато 6.33 GB; долг по разгрузке bserv остаётся
|
Кластер 12:13–12:22 UTC (эпизоды 27–30, ConnectError, дважды <4 мин) в таблицу и Incident; ре-чек №4 18:42 UTC (тишина 2 ч 26 мин, RSS 6.54 GB); долг закрыт (rei)
|
Add doc for navi host (192.168.1.168): local ollama embeddings service, two-unit layout, crash-loop fix 2026-10-12
...
Fix applied on 2026-10-12: stock ollama.service crash-looped since boot (port conflict with ollama-embed.service); stopped and disabled. Documented so hive instances referencing 192.168.1.168:11434 know the unit layout.
|
Incident 2026-10-12: ре-чек 17:38:45 UTC — тишина серии ~1 ч 21 мин после #808, bserv RAM 75%/available 28 GB, RSS qemu nextcloud 6.1 GB (прогрев), closure-recall +3h
...
Ре-чек recall-сессии rei: подтверждено отсутствие новых эпизодов после #808; состояние гипервизора и прогрев VM задокументированы
|
Поправка vmstat в Incident 2026-10-12: si/so -> in/cs (свопинг неактивен, si=0/so=0 по замеру 17:31:39 с явной шапкой); гигиена нумерации эпизодов (ep148/ep153 дубль)
|
Incident 2026-10-12: OOM 11:32 убил qemu nextcloud (33.4 GB), VM поднята 11:40 (конфиг тот же); серия возобновилась 16:16 (32 с, #807/#808); gitbucket-шторм кончился 14:37; bserv available 28 GB.
...
OOM 2026-10-12 + episode 153 (recall recheck rei)
|
Добавлен Incident 2026-10-12: второй OOM-kill qemu nextcloud (11:32 UTC), пост-OOM серия (ep145-147, #807/#808), состояние bserv; поправка vmstat si/so -> in/cs
|
Серия stall'ов bserv: 24→26 эпизодов (00:04–00:07 UTC 12 окт, #477–#480), интервал 2.7 мин — минимум серии; intervention-критерий сработал, notify 00:08 UTC
...
Серия stall'ов bserv продолжилась: эпизоды 25–26 (00:04–00:07 UTC 12 окт, события #477–#480), интервал сжался до 2.7 мин (минимум серии, впервые <4 мин) — intervention-критерий сработал, notify level=intervention доставлен 00:08 UTC. Верификации: status.php 200, VM здорова (apache/cron/логи), bserv RAM 97%/swap 100%/available 1.65 GB (минимум серии), OOM нет. Источник: реакционная сессия rei, live SSH + hard-panel JSON-RPC.
|