diff --git a/10-systems/workstations/gmikcon-pc.md b/10-systems/workstations/gmikcon-pc.md index a8a966e..87e4953 100644 --- a/10-systems/workstations/gmikcon-pc.md +++ b/10-systems/workstations/gmikcon-pc.md @@ -17,7 +17,8 @@ - Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon` - 62 GiB RAM; NVMe 468G, used 362G (82%) - GPU: NVIDIA RTX 3090 24GB (driver 615.78.08) -- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k), nomic-embed-text +- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k)(-fit), nomic-embed-text +- **Роль в hive**: backup LLM-сервер для всех Navi-инстансов (см. секцию ниже) ## Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/) @@ -47,14 +48,14 @@ ### Модель - `qwen3.6:35b-128k` — архитектура `qwen35moe`: 256 экспертов / 8 активных, гибридное внимание `full_attention_interval=4` (полный KV только у каждого 4-го слоя → KV компактный), GQA 2 KV-heads × 256, native ctx 262144; capabilities: completion, vision, tools, thinking. -- Создана копия `qwen3.6:35b-128k-fit` с удалённым `num_gpu` из params (жёсткий `num_gpu 40` в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут. +- Создана копия `qwen3.6:35b-128k-fit` с удалённым `num_gpu` из params (жёсткий `num_gpu 40` в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут. **В hive используется именно `-fit`**. - GOTCHA (проверено приёмкой 2026-11-08): это thinking-модель — текст приходит в поле `thinking` API-ответа; поле `response` может остаться пустым, если `num_predict` целиком съедается think-фазой (`done_reason=length`). Для коротких ответов задавать num_predict с запасом (think-фаза ~150-200 токенов) или больше; `eval_rate` в ответе 0.40.15 всегда 0 — не дефект, считать по eval_count/eval_duration. ### Версия Ollama - Обновлена 0.30.11 → **0.40.15** (changelog: снят блок multi-request для recurrent GGUF; иначе `-np 3` не поднимался). Старый бинарь сохранён для отката. - GOTCHA установки: `Text file busy` на занятых CLI-процессах владельца (`ollama launch`) — обходится через `mv` (rename работает на занятых файлах), затем копирование нового бинаря. -### systemd override `/etc/systemd/system/ollama.service.d/override.conf` (бэкап `override.conf.bak-rei-20261108`) +### systemd override `/etc/systemd/system/ollama.service.d/override.conf` (бэкапы: `override.conf.bak-rei-20261108`, `override.conf.bak-rei-20261108-keepalive`) ``` [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" @@ -62,11 +63,12 @@ Environment="OLLAMA_KV_CACHE_TYPE=q8_0" Environment="OLLAMA_NUM_PARALLEL=3" Environment="OLLAMA_CONTEXT_LENGTH=131072" -Environment="OLLAMA_KEEP_ALIVE=-1" +Environment="OLLAMA_KEEP_ALIVE=20m" Environment="OLLAMA_MAX_LOADED_MODELS=1" Environment="OLLAMA_GPU_OVERHEAD=3000000000" Environment="LLAMA_ARG_N_CPU_MOE=19" ``` +- 2026-11-08: `OLLAMA_KEEP_ALIVE` изменён `-1` → `20m` по решению владельца («пусть в памяти держится лишь 20 минут»): после 20 мин простоя модель выгружается из VRAM/RAM, llama-server-процесс завершается, ollama.service остаётся active. Подтверждено в environ живого процесса; остальные env не тронуты. Откат: бэкап-файл. ### Распределение MoE и результаты - `LLAMA_ARG_N_CPU_MOE=19`: первые 19 из 42 слоёв (MoE-эксперты) в CPU/RAM (mmap), 23 последних на GPU. Подбор: режим «все эксперты в RAM» (`LLAMA_ARG_CPU_MOE=1`) — 38 tok/s, GPU занят 10 GiB из 24.5; расчёт свободной VRAM (14572 MiB свободно → вернуть ~10872 MiB ≈ 23.5 слоя) → N_CPU_MOE=19. @@ -80,6 +82,12 @@ - Тест 3 (стресс): волна из 6 одновременных × ~2.4k — все 6 ok (сверх 3 слотов корректно встали в очередь), VRAM стабильна, после волны — контрольный запрос доведён до done_reason=stop (~55 tok/s). - Journal (warning за 30 мин): пусто; dmesg: нет Xid/OOM/NVRM; RSS llama-server ~13.5 GiB (mmap-страницы, RAM 62 GiB, давления нет). Вердикт: конфигурация оставлена без изменений. +### Роль в hive: backup LLM для всех Navi-инстансов (2026-11-08) +- hive-конфиг **v3** (слой «global» без match, applies live): в route.default backup-запись `model qwen3.6:35b-128k` → **`qwen3.6:35b-128k-fit`**, target `home` = `http://192.168.1.129:11434`, ctx 131072, presence_penalty 0.0. Конфиг-хэш sha256:2d099501…, per-instance effective 4be1bbe9. +- Накрывает все 8 инстансов (ayame, Eris, Kael, melody, pilar, Proxy, tsukiko, zoe) — все ack applied, restart_required пусто; llm-секция применяется живьём (apply_llm_live, rebuild бекендов без рестарта). +- Механика: профили без llm_route → route «default» = ordered chain [glm-5.3-flash:cloud (cloud), qwen3.6:35b-128k-fit (home backup)]. Первичный LLM — cloud, при его недоступности/ошибке — локальный qwen3.6 на .129. +- Схема hive-конфига: KNOWN_SECTIONS = settings, profiles, llm, mcp_servers; правка route default в глобальном слое — единственная точка для «всем и всем профилям». + ## Инциденты - 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки. - GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh. @@ -93,3 +101,4 @@ - 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh - 2026-11-08: Ollama 0.30.11 → 0.40.15; MoE-offload qwen3.6:35b-128k под 3×128k (KV q8_0, NUM_PARALLEL=3, N_CPU_MOE=19, GPU_OVERHEAD 3 GiB); 61.3 tok/s single-stream; приёмка 3 параллельных ОК - 2026-11-08: приёмка под нагрузкой (3×2.4k / 2×20k / волна 6): все ok, VRAM стабильна, деградаций нет — конфиг без изменений +- 2026-11-08: OLLAMA_KEEP_ALIVE -1 → 20m (выгрузка по простою, бэкап override.conf.bak-rei-20261108-keepalive); hive-конфиг v3: qwen3.6:35b-128k-fit как backup-модель для всех профилей/инстансов (8 инстансов ack, llm применён живьём) diff --git a/90-maintenance/pending-changes/20261108212834-a8b10523.json b/90-maintenance/pending-changes/20261108212834-a8b10523.json new file mode 100644 index 0000000..90907b7 --- /dev/null +++ b/90-maintenance/pending-changes/20261108212834-a8b10523.json @@ -0,0 +1,19 @@ +{ + "id": "20261108212834-a8b10523", + "kind": "doc", + "target": "10-systems/workstations/gmikcon-pc.md", + "summary": "keep-alive 20m + hive backup-роль qwen3.6:35b-128k-fit", + "reason": "Сессия navi Eris 2026-11-08: (1) OLLAMA_KEEP_ALIVE изменён -1 → 20m на .129 по решению владельца, подтверждено в environ живого процесса (MainPID 178780), бэкап override.conf.bak-rei-20261108-keepalive создан, cmp OK; (2) hive-конфиг v3 (PUT /config admin-ключом, hash sha256:2d099501…) назначил qwen3.6:35b-128k-fit backup-моделью route default (target home=192.168.1.129:11434) для всех профилей и всех 8 инстансов (ayame, Eris, Kael, melody, pilar, Proxy, tsukiko, zoe) — ack applied, restart_required пусто, на Eris llm применился живьём.", + "payload": { + "content": "---\ntitle: gmikcon PC — AI workstation (voice pipeline)\ntype: workstation\nenvironment: home\nstatus: active\nowner: gmikcon\nconfidence: high\nreview_interval: 180d\nlast_reviewed: 2026-11-08\nreviewed_by: \"navi rei\"\nsource_of_truth: ssh-host\n---\n\n# gmikcon PC (192.168.1.129)\n\n## Оборудование и ОС\n- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon`\n- 62 GiB RAM; NVMe 468G, used 362G (82%)\n- GPU: NVIDIA RTX 3090 24GB (driver 615.78.08)\n- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k)(-fit), nomic-embed-text\n- **Роль в hive**: backup LLM-сервер для всех Navi-инстансов (см. секцию ниже)\n\n## Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/)\n\n### zonos2-server (TTS) — :1919\n- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (прямой запуск: `./zonos2-server zonos2-q6_k.gguf --gpu --host 0.0.0.0 --port 1919 --tts-default-voices-dir default_voices`)\n- Модели в корне ~/zonos2 (q6_k 6786454400 B, dac 254172448, spk-encoder 24299552); RTF ~0.45\n- Спикеры: default_* (AmF/AmM/BrF) + клон-спикеры (только в своей X-TTS-Session-ID); клон из AmericanMale.mp3 зарегистрирован как spk_0000000001 в сессии «orchpipe»\n\n#### Производственный профиль (в orchestrator.py)\n- Endpoint `/tts/generate`: language=ru, speaker_embedding_id=default_80050000b2773f20, clean_speaker_background=true, temperature=0.6, topk=100, top_p=0, min_p=0.15, repetition 1.2/50/8, max_tokens=1200, fade_out_ms=20, accurate_mode=true, quality/speaking_rate OFF, stream=false (сырой float32 44.1k, НЕ WAV), seed=42 (guard меняет seed при разносе)\n- Guard разноса: ожид. длительность ≈ len(text)/14 с; факт > 2.5×+0.5с → один реген с alt seed\n- **НЕ использовать /v1/audio/speech**: серверные дефолты дают разнос; v1+зажатый сэмплинг даёт неразборчивое аудио (Whisper: «.», «вот вот»)\n- Квирк сборки: default-спикеры не пинуют тембр жёстко — seed доминирует (Praat: seed 42→344Гц, 777→112Гц на AmM); clean_speaker_background=true стабилизирует MALE (~113-119 Гц в чистых генерациях). Метрики f0/мел ненадёжны (октавы, интонация, громкость) — финальный арбитр тембра: ухо владельца.\n\n### orchestrator.py — WS :9199\n- venv py3.14 (faster-whisper large-v3-turbo cuda, webrtcvad, websockets; LD_LIBRARY_PATH на venv nvidia-libs обязателен)\n- Цепочка: VAD → STT → Ollama gemma4:e2b → чанк-TTS по предложениям\n- Анти-дубли (2026-11-04): mic-gate в demo.html (клиент глушит отправку, пока играет TTS, +500мс хвост); сервер отбрасывает сегменты <0.4с и транскрипты <4 симв; HANGOVER_MS=500 (было 300)\n- Рестарт: kill и start РАЗДЕЛЬНЫМИ ssh-вызовами (pkill -f '[o]rchestrator.py' матчил собственную команду и убивал её; `[o]` ломает самоматч)\n- E2E: `./venv/bin/python3 test_e2e.py`; после анти-дубль-патча: ровно 1 цикл, чанки Whisper-верифицированы дословно\n\n### Демо-UI — http://192.168.1.129:9090/demo.html\n- mic-gate встроен; Chrome для LAN-http: флаг unsafely-treat-insecure-origin-as-secure\n\n## Ollama MoE-инференс (qwen3.6:35b-128k) — настроено 2026-11-08\nЦель: 3 параллельных запроса × 128k ctx, 3 ГБ VRAM-резерв под десктоп, эксперты MoE в RAM.\n\n### Модель\n- `qwen3.6:35b-128k` — архитектура `qwen35moe`: 256 экспертов / 8 активных, гибридное внимание `full_attention_interval=4` (полный KV только у каждого 4-го слоя → KV компактный), GQA 2 KV-heads × 256, native ctx 262144; capabilities: completion, vision, tools, thinking.\n- Создана копия `qwen3.6:35b-128k-fit` с удалённым `num_gpu` из params (жёсткий `num_gpu 40` в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут. **В hive используется именно `-fit`**.\n- GOTCHA (проверено приёмкой 2026-11-08): это thinking-модель — текст приходит в поле `thinking` API-ответа; поле `response` может остаться пустым, если `num_predict` целиком съедается think-фазой (`done_reason=length`). Для коротких ответов задавать num_predict с запасом (think-фаза ~150-200 токенов) или больше; `eval_rate` в ответе 0.40.15 всегда 0 — не дефект, считать по eval_count/eval_duration.\n\n### Версия Ollama\n- Обновлена 0.30.11 → **0.40.15** (changelog: снят блок multi-request для recurrent GGUF; иначе `-np 3` не поднимался). Старый бинарь сохранён для отката.\n- GOTCHA установки: `Text file busy` на занятых CLI-процессах владельца (`ollama launch`) — обходится через `mv` (rename работает на занятых файлах), затем копирование нового бинаря.\n\n### systemd override `/etc/systemd/system/ollama.service.d/override.conf` (бэкапы: `override.conf.bak-rei-20261108`, `override.conf.bak-rei-20261108-keepalive`)\n```\n[Service]\nEnvironment=\"OLLAMA_HOST=0.0.0.0:11434\"\nEnvironment=\"OLLAMA_FLASH_ATTENTION=1\"\nEnvironment=\"OLLAMA_KV_CACHE_TYPE=q8_0\"\nEnvironment=\"OLLAMA_NUM_PARALLEL=3\"\nEnvironment=\"OLLAMA_CONTEXT_LENGTH=131072\"\nEnvironment=\"OLLAMA_KEEP_ALIVE=20m\"\nEnvironment=\"OLLAMA_MAX_LOADED_MODELS=1\"\nEnvironment=\"OLLAMA_GPU_OVERHEAD=3000000000\"\nEnvironment=\"LLAMA_ARG_N_CPU_MOE=19\"\n```\n- 2026-11-08: `OLLAMA_KEEP_ALIVE` изменён `-1` → `20m` по решению владельца («пусть в памяти держится лишь 20 минут»): после 20 мин простоя модель выгружается из VRAM/RAM, llama-server-процесс завершается, ollama.service остаётся active. Подтверждено в environ живого процесса; остальные env не тронуты. Откат: бэкап-файл.\n\n### Распределение MoE и результаты\n- `LLAMA_ARG_N_CPU_MOE=19`: первые 19 из 42 слоёв (MoE-эксперты) в CPU/RAM (mmap), 23 последних на GPU. Подбор: режим «все эксперты в RAM» (`LLAMA_ARG_CPU_MOE=1`) — 38 tok/s, GPU занят 10 GiB из 24.5; расчёт свободной VRAM (14572 MiB свободно → вернуть ~10872 MiB ≈ 23.5 слоя) → N_CPU_MOE=19.\n- KV q4 не понадобился: q8_0 влез — KV-буфер 4080 MiB (3 слота × ~1360 MiB × 128k, совпало с расчётом).\n- Итог: single-stream генерация **61.3 tok/s** (было 38), VRAM 19812/24576 MiB (свободно ~4.7 GiB, резерв 3 ГБ соблюдён), RSS llama-server ~10.9 GiB RAM.\n- Приёмочный тест: 3 одновременных запроса (ru/ru/en) — все done=true, 30-38 tok/s на поток, total wall 6.5 s, VRAM стабильна.\n\n### Приёмка под нагрузкой (2026-11-08, вторая волна тестов)\n- Тест 1: 3 параллельных × ~2.4k промпт-токенов — все ok, VRAM peak 19814 MiB (+2 от idle).\n- Тест 2: 2 параллельных × ~20k промпт-токенов — оба ok, prompt-eval ~1000 tok/s на поток, VRAM peak 19822 MiB (+10).\n- Тест 3 (стресс): волна из 6 одновременных × ~2.4k — все 6 ok (сверх 3 слотов корректно встали в очередь), VRAM стабильна, после волны — контрольный запрос доведён до done_reason=stop (~55 tok/s).\n- Journal (warning за 30 мин): пусто; dmesg: нет Xid/OOM/NVRM; RSS llama-server ~13.5 GiB (mmap-страницы, RAM 62 GiB, давления нет). Вердикт: конфигурация оставлена без изменений.\n\n### Роль в hive: backup LLM для всех Navi-инстансов (2026-11-08)\n- hive-конфиг **v3** (слой «global» без match, applies live): в route.default backup-запись `model qwen3.6:35b-128k` → **`qwen3.6:35b-128k-fit`**, target `home` = `http://192.168.1.129:11434`, ctx 131072, presence_penalty 0.0. Конфиг-хэш sha256:2d099501…, per-instance effective 4be1bbe9.\n- Накрывает все 8 инстансов (ayame, Eris, Kael, melody, pilar, Proxy, tsukiko, zoe) — все ack applied, restart_required пусто; llm-секция применяется живьём (apply_llm_live, rebuild бекендов без рестарта).\n- Механика: профили без llm_route → route «default» = ordered chain [glm-5.3-flash:cloud (cloud), qwen3.6:35b-128k-fit (home backup)]. Первичный LLM — cloud, при его недоступности/ошибке — локальный qwen3.6 на .129.\n- Схема hive-конфига: KNOWN_SECTIONS = settings, profiles, llm, mcp_servers; правка route default в глобальном слое — единственная точка для «всем и всем профилям».\n\n## Инциденты\n- 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки.\n- GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh.\n\n## Доступ\nSSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.\n\n## История\n- 2026-11-04: сборка TTS-стадии (zonos2, en/ru/uk, клонирование), оркестратор, E2E_OK, демо-UI\n- 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист\n- 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh\n- 2026-11-08: Ollama 0.30.11 → 0.40.15; MoE-offload qwen3.6:35b-128k под 3×128k (KV q8_0, NUM_PARALLEL=3, N_CPU_MOE=19, GPU_OVERHEAD 3 GiB); 61.3 tok/s single-stream; приёмка 3 параллельных ОК\n- 2026-11-08: приёмка под нагрузкой (3×2.4k / 2×20k / волна 6): все ok, VRAM стабильна, деградаций нет — конфиг без изменений\n- 2026-11-08: OLLAMA_KEEP_ALIVE -1 → 20m (выгрузка по простою, бэкап override.conf.bak-rei-20261108-keepalive); hive-конфиг v3: qwen3.6:35b-128k-fit как backup-модель для всех профилей/инстансов (8 инстансов ack, llm применён живьём)\n" + }, + "status": "applied", + "created_at": "2026-11-08T21:28:34Z", + "updated_at": "2026-11-08T21:28:36Z", + "applied_at": "2026-11-08T21:28:36Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}