diff --git a/10-systems/workstations/gmikcon-pc.md b/10-systems/workstations/gmikcon-pc.md index 6a76801..a8a966e 100644 --- a/10-systems/workstations/gmikcon-pc.md +++ b/10-systems/workstations/gmikcon-pc.md @@ -48,6 +48,7 @@ ### Модель - `qwen3.6:35b-128k` — архитектура `qwen35moe`: 256 экспертов / 8 активных, гибридное внимание `full_attention_interval=4` (полный KV только у каждого 4-го слоя → KV компактный), GQA 2 KV-heads × 256, native ctx 262144; capabilities: completion, vision, tools, thinking. - Создана копия `qwen3.6:35b-128k-fit` с удалённым `num_gpu` из params (жёсткий `num_gpu 40` в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут. +- GOTCHA (проверено приёмкой 2026-11-08): это thinking-модель — текст приходит в поле `thinking` API-ответа; поле `response` может остаться пустым, если `num_predict` целиком съедается think-фазой (`done_reason=length`). Для коротких ответов задавать num_predict с запасом (think-фаза ~150-200 токенов) или больше; `eval_rate` в ответе 0.40.15 всегда 0 — не дефект, считать по eval_count/eval_duration. ### Версия Ollama - Обновлена 0.30.11 → **0.40.15** (changelog: снят блок multi-request для recurrent GGUF; иначе `-np 3` не поднимался). Старый бинарь сохранён для отката. @@ -73,6 +74,12 @@ - Итог: single-stream генерация **61.3 tok/s** (было 38), VRAM 19812/24576 MiB (свободно ~4.7 GiB, резерв 3 ГБ соблюдён), RSS llama-server ~10.9 GiB RAM. - Приёмочный тест: 3 одновременных запроса (ru/ru/en) — все done=true, 30-38 tok/s на поток, total wall 6.5 s, VRAM стабильна. +### Приёмка под нагрузкой (2026-11-08, вторая волна тестов) +- Тест 1: 3 параллельных × ~2.4k промпт-токенов — все ok, VRAM peak 19814 MiB (+2 от idle). +- Тест 2: 2 параллельных × ~20k промпт-токенов — оба ok, prompt-eval ~1000 tok/s на поток, VRAM peak 19822 MiB (+10). +- Тест 3 (стресс): волна из 6 одновременных × ~2.4k — все 6 ok (сверх 3 слотов корректно встали в очередь), VRAM стабильна, после волны — контрольный запрос доведён до done_reason=stop (~55 tok/s). +- Journal (warning за 30 мин): пусто; dmesg: нет Xid/OOM/NVRM; RSS llama-server ~13.5 GiB (mmap-страницы, RAM 62 GiB, давления нет). Вердикт: конфигурация оставлена без изменений. + ## Инциденты - 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки. - GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh. @@ -85,3 +92,4 @@ - 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист - 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh - 2026-11-08: Ollama 0.30.11 → 0.40.15; MoE-offload qwen3.6:35b-128k под 3×128k (KV q8_0, NUM_PARALLEL=3, N_CPU_MOE=19, GPU_OVERHEAD 3 GiB); 61.3 tok/s single-stream; приёмка 3 параллельных ОК +- 2026-11-08: приёмка под нагрузкой (3×2.4k / 2×20k / волна 6): все ok, VRAM стабильна, деградаций нет — конфиг без изменений diff --git a/90-maintenance/pending-changes/20261108212042-956f196d.json b/90-maintenance/pending-changes/20261108212042-956f196d.json new file mode 100644 index 0000000..479e54a --- /dev/null +++ b/90-maintenance/pending-changes/20261108212042-956f196d.json @@ -0,0 +1,19 @@ +{ + "id": "20261108212042-956f196d", + "kind": "doc", + "target": "10-systems/workstations/gmikcon-pc.md", + "summary": "Добавлена приёмка под нагрузкой (тесты 3/2/6 параллельных — все ok, VRAM стабильна) и gotcha thinking-модели в док gmikcon-pc", + "reason": "Вторая волна приёмочных тестов 2026-11-08: стресс 3/2/6 параллельных запросов — без деградаций; добавлен gotcha thinking-модели (поле thinking, num_predict, eval_rate=0).", + "payload": { + "content": "---\ntitle: gmikcon PC — AI workstation (voice pipeline)\ntype: workstation\nenvironment: home\nstatus: active\nowner: gmikcon\nconfidence: high\nreview_interval: 180d\nlast_reviewed: 2026-11-08\nreviewed_by: \"navi rei\"\nsource_of_truth: ssh-host\n---\n\n# gmikcon PC (192.168.1.129)\n\n## Оборудование и ОС\n- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon`\n- 62 GiB RAM; NVMe 468G, used 362G (82%)\n- GPU: NVIDIA RTX 3090 24GB (driver 615.78.08)\n- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k), nomic-embed-text\n\n## Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/)\n\n### zonos2-server (TTS) — :1919\n- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (прямой запуск: `./zonos2-server zonos2-q6_k.gguf --gpu --host 0.0.0.0 --port 1919 --tts-default-voices-dir default_voices`)\n- Модели в корне ~/zonos2 (q6_k 6786454400 B, dac 254172448, spk-encoder 24299552); RTF ~0.45\n- Спикеры: default_* (AmF/AmM/BrF) + клон-спикеры (только в своей X-TTS-Session-ID); клон из AmericanMale.mp3 зарегистрирован как spk_0000000001 в сессии «orchpipe»\n\n#### Производственный профиль (в orchestrator.py)\n- Endpoint `/tts/generate`: language=ru, speaker_embedding_id=default_80050000b2773f20, clean_speaker_background=true, temperature=0.6, topk=100, top_p=0, min_p=0.15, repetition 1.2/50/8, max_tokens=1200, fade_out_ms=20, accurate_mode=true, quality/speaking_rate OFF, stream=false (сырой float32 44.1k, НЕ WAV), seed=42 (guard меняет seed при разносе)\n- Guard разноса: ожид. длительность ≈ len(text)/14 с; факт > 2.5×+0.5с → один реген с alt seed\n- **НЕ использовать /v1/audio/speech**: серверные дефолты дают разнос; v1+зажатый сэмплинг даёт неразборчивое аудио (Whisper: «.», «вот вот»)\n- Квирк сборки: default-спикеры не пинуют тембр жёстко — seed доминирует (Praat: seed 42→344Гц, 777→112Гц на AmM); clean_speaker_background=true стабилизирует MALE (~113-119 Гц в чистых генерациях). Метрики f0/мел ненадёжны (октавы, интонация, громкость) — финальный арбитр тембра: ухо владельца.\n\n### orchestrator.py — WS :9199\n- venv py3.14 (faster-whisper large-v3-turbo cuda, webrtcvad, websockets; LD_LIBRARY_PATH на venv nvidia-libs обязателен)\n- Цепочка: VAD → STT → Ollama gemma4:e2b → чанк-TTS по предложениям\n- Анти-дубли (2026-11-04): mic-gate в demo.html (клиент глушит отправку, пока играет TTS, +500мс хвост); сервер отбрасывает сегменты <0.4с и транскрипты <4 симв; HANGOVER_MS=500 (было 300)\n- Рестарт: kill и start РАЗДЕЛЬНЫМИ ssh-вызовами (pkill -f '[o]rchestrator.py' матчил собственную команду и убивал её; `[o]` ломает самоматч)\n- E2E: `./venv/bin/python3 test_e2e.py`; после анти-дубль-патча: ровно 1 цикл, чанки Whisper-верифицированы дословно\n\n### Демо-UI — http://192.168.1.129:9090/demo.html\n- mic-gate встроен; Chrome для LAN-http: флаг unsafely-treat-insecure-origin-as-secure\n\n## Ollama MoE-инференс (qwen3.6:35b-128k) — настроено 2026-11-08\nЦель: 3 параллельных запроса × 128k ctx, 3 ГБ VRAM-резерв под десктоп, эксперты MoE в RAM.\n\n### Модель\n- `qwen3.6:35b-128k` — архитектура `qwen35moe`: 256 экспертов / 8 активных, гибридное внимание `full_attention_interval=4` (полный KV только у каждого 4-го слоя → KV компактный), GQA 2 KV-heads × 256, native ctx 262144; capabilities: completion, vision, tools, thinking.\n- Создана копия `qwen3.6:35b-128k-fit` с удалённым `num_gpu` из params (жёсткий `num_gpu 40` в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут.\n- GOTCHA (проверено приёмкой 2026-11-08): это thinking-модель — текст приходит в поле `thinking` API-ответа; поле `response` может остаться пустым, если `num_predict` целиком съедается think-фазой (`done_reason=length`). Для коротких ответов задавать num_predict с запасом (think-фаза ~150-200 токенов) или больше; `eval_rate` в ответе 0.40.15 всегда 0 — не дефект, считать по eval_count/eval_duration.\n\n### Версия Ollama\n- Обновлена 0.30.11 → **0.40.15** (changelog: снят блок multi-request для recurrent GGUF; иначе `-np 3` не поднимался). Старый бинарь сохранён для отката.\n- GOTCHA установки: `Text file busy` на занятых CLI-процессах владельца (`ollama launch`) — обходится через `mv` (rename работает на занятых файлах), затем копирование нового бинаря.\n\n### systemd override `/etc/systemd/system/ollama.service.d/override.conf` (бэкап `override.conf.bak-rei-20261108`)\n```\n[Service]\nEnvironment=\"OLLAMA_HOST=0.0.0.0:11434\"\nEnvironment=\"OLLAMA_FLASH_ATTENTION=1\"\nEnvironment=\"OLLAMA_KV_CACHE_TYPE=q8_0\"\nEnvironment=\"OLLAMA_NUM_PARALLEL=3\"\nEnvironment=\"OLLAMA_CONTEXT_LENGTH=131072\"\nEnvironment=\"OLLAMA_KEEP_ALIVE=-1\"\nEnvironment=\"OLLAMA_MAX_LOADED_MODELS=1\"\nEnvironment=\"OLLAMA_GPU_OVERHEAD=3000000000\"\nEnvironment=\"LLAMA_ARG_N_CPU_MOE=19\"\n```\n\n### Распределение MoE и результаты\n- `LLAMA_ARG_N_CPU_MOE=19`: первые 19 из 42 слоёв (MoE-эксперты) в CPU/RAM (mmap), 23 последних на GPU. Подбор: режим «все эксперты в RAM» (`LLAMA_ARG_CPU_MOE=1`) — 38 tok/s, GPU занят 10 GiB из 24.5; расчёт свободной VRAM (14572 MiB свободно → вернуть ~10872 MiB ≈ 23.5 слоя) → N_CPU_MOE=19.\n- KV q4 не понадобился: q8_0 влез — KV-буфер 4080 MiB (3 слота × ~1360 MiB × 128k, совпало с расчётом).\n- Итог: single-stream генерация **61.3 tok/s** (было 38), VRAM 19812/24576 MiB (свободно ~4.7 GiB, резерв 3 ГБ соблюдён), RSS llama-server ~10.9 GiB RAM.\n- Приёмочный тест: 3 одновременных запроса (ru/ru/en) — все done=true, 30-38 tok/s на поток, total wall 6.5 s, VRAM стабильна.\n\n### Приёмка под нагрузкой (2026-11-08, вторая волна тестов)\n- Тест 1: 3 параллельных × ~2.4k промпт-токенов — все ok, VRAM peak 19814 MiB (+2 от idle).\n- Тест 2: 2 параллельных × ~20k промпт-токенов — оба ok, prompt-eval ~1000 tok/s на поток, VRAM peak 19822 MiB (+10).\n- Тест 3 (стресс): волна из 6 одновременных × ~2.4k — все 6 ok (сверх 3 слотов корректно встали в очередь), VRAM стабильна, после волны — контрольный запрос доведён до done_reason=stop (~55 tok/s).\n- Journal (warning за 30 мин): пусто; dmesg: нет Xid/OOM/NVRM; RSS llama-server ~13.5 GiB (mmap-страницы, RAM 62 GiB, давления нет). Вердикт: конфигурация оставлена без изменений.\n\n## Инциденты\n- 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки.\n- GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh.\n\n## Доступ\nSSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.\n\n## История\n- 2026-11-04: сборка TTS-стадии (zonos2, en/ru/uk, клонирование), оркестратор, E2E_OK, демо-UI\n- 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист\n- 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh\n- 2026-11-08: Ollama 0.30.11 → 0.40.15; MoE-offload qwen3.6:35b-128k под 3×128k (KV q8_0, NUM_PARALLEL=3, N_CPU_MOE=19, GPU_OVERHEAD 3 GiB); 61.3 tok/s single-stream; приёмка 3 параллельных ОК\n- 2026-11-08: приёмка под нагрузкой (3×2.4k / 2×20k / волна 6): все ok, VRAM стабильна, деградаций нет — конфиг без изменений\n" + }, + "status": "applied", + "created_at": "2026-11-08T21:20:42Z", + "updated_at": "2026-11-08T21:20:44Z", + "applied_at": "2026-11-08T21:20:44Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}