title: gmikcon PC — AI workstation (voice pipeline) type: workstation environment: home status: active owner: gmikcon confidence: high review_interval: 180d last_reviewed: 2026-11-08 reviewed_by: "navi rei"
source_of_truth: ssh-host
gmikcon PC (192.168.1.129)
Оборудование и ОС
- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname
gmikcon
- 62 GiB RAM; NVMe 468G, used 362G (82%)
- GPU: NVIDIA RTX 3090 24GB (driver 615.78.08)
- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k)(-fit), nomic-embed-text
- Роль в hive: backup LLM-сервер для всех Navi-инстансов (см. секцию ниже)
Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/)
zonos2-server (TTS) — :1919
- zonos2.cpp prebuild v0.5.2 в
/home/gmikcon/zonos2/ (прямой запуск: ./zonos2-server zonos2-q6_k.gguf --gpu --host 0.0.0.0 --port 1919 --tts-default-voices-dir default_voices)
- Модели в корне ~/zonos2 (q6_k 6786454400 B, dac 254172448, spk-encoder 24299552); RTF ~0.45
- Спикеры: default_* (AmF/AmM/BrF) + клон-спикеры (только в своей X-TTS-Session-ID); клон из AmericanMale.mp3 зарегистрирован как spk_0000000001 в сессии «orchpipe»
Производственный профиль (в orchestrator.py)
- Endpoint
/tts/generate: language=ru, speaker_embedding_id=default_80050000b2773f20, clean_speaker_background=true, temperature=0.6, topk=100, top_p=0, min_p=0.15, repetition 1.2/50/8, max_tokens=1200, fade_out_ms=20, accurate_mode=true, quality/speaking_rate OFF, stream=false (сырой float32 44.1k, НЕ WAV), seed=42 (guard меняет seed при разносе)
- Guard разноса: ожид. длительность ≈ len(text)/14 с; факт > 2.5×+0.5с → один реген с alt seed
- НЕ использовать /v1/audio/speech: серверные дефолты дают разнос; v1+зажатый сэмплинг даёт неразборчивое аудио (Whisper: «.», «вот вот»)
- Квирк сборки: default-спикеры не пинуют тембр жёстко — seed доминирует (Praat: seed 42→344Гц, 777→112Гц на AmM); clean_speaker_background=true стабилизирует MALE (~113-119 Гц в чистых генерациях). Метрики f0/мел ненадёжны (октавы, интонация, громкость) — финальный арбитр тембра: ухо владельца.
orchestrator.py — WS :9199
- venv py3.14 (faster-whisper large-v3-turbo cuda, webrtcvad, websockets; LD_LIBRARY_PATH на venv nvidia-libs обязателен)
- Цепочка: VAD → STT → Ollama gemma4:e2b → чанк-TTS по предложениям
- Анти-дубли (2026-11-04): mic-gate в demo.html (клиент глушит отправку, пока играет TTS, +500мс хвост); сервер отбрасывает сегменты <0.4с и транскрипты <4 симв; HANGOVER_MS=500 (было 300)
- Рестарт: kill и start РАЗДЕЛЬНЫМИ ssh-вызовами (pkill -f '[o]rchestrator.py' матчил собственную команду и убивал её;
[o] ломает самоматч)
- E2E:
./venv/bin/python3 test_e2e.py; после анти-дубль-патча: ровно 1 цикл, чанки Whisper-верифицированы дословно
- mic-gate встроен; Chrome для LAN-http: флаг unsafely-treat-insecure-origin-as-secure
Ollama MoE-инференс (qwen3.6:35b-128k) — настроено 2026-11-08
Цель: 3 параллельных запроса × 128k ctx, 3 ГБ VRAM-резерв под десктоп, эксперты MoE в RAM.
Модель
qwen3.6:35b-128k — архитектура qwen35moe: 256 экспертов / 8 активных, гибридное внимание full_attention_interval=4 (полный KV только у каждого 4-го слоя → KV компактный), GQA 2 KV-heads × 256, native ctx 262144; capabilities: completion, vision, tools, thinking.
- Создана копия
qwen3.6:35b-128k-fit с удалённым num_gpu из params (жёсткий num_gpu 40 в оригинале блокировал llama.cpp fit: «n_gpu_layers already set by user»); оригинальный манифест не тронут. В hive используется именно -fit.
- GOTCHA (проверено приёмкой 2026-11-08): это thinking-модель — текст приходит в поле
thinking API-ответа; поле response может остаться пустым, если num_predict целиком съедается think-фазой (done_reason=length). Для коротких ответов задавать num_predict с запасом (think-фаза ~150-200 токенов) или больше; eval_rate в ответе 0.40.15 всегда 0 — не дефект, считать по eval_count/eval_duration.
Версия Ollama
- Обновлена 0.30.11 → 0.40.15 (changelog: снят блок multi-request для recurrent GGUF; иначе
-np 3 не поднимался). Старый бинарь сохранён для отката.
- GOTCHA установки:
Text file busy на занятых CLI-процессах владельца (ollama launch) — обходится через mv (rename работает на занятых файлах), затем копирование нового бинаря.
systemd override /etc/systemd/system/ollama.service.d/override.conf (бэкапы: override.conf.bak-rei-20261108, override.conf.bak-rei-20261108-keepalive)
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_NUM_PARALLEL=3"
Environment="OLLAMA_CONTEXT_LENGTH=131072"
Environment="OLLAMA_KEEP_ALIVE=20m"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_GPU_OVERHEAD=3000000000"
Environment="LLAMA_ARG_N_CPU_MOE=19"
- 2026-11-08:
OLLAMA_KEEP_ALIVE изменён -1 → 20m по решению владельца («пусть в памяти держится лишь 20 минут»): после 20 мин простоя модель выгружается из VRAM/RAM, llama-server-процесс завершается, ollama.service остаётся active. Подтверждено в environ живого процесса; остальные env не тронуты. Откат: бэкап-файл.
Распределение MoE и результаты
LLAMA_ARG_N_CPU_MOE=19: первые 19 из 42 слоёв (MoE-эксперты) в CPU/RAM (mmap), 23 последних на GPU. Подбор: режим «все эксперты в RAM» (LLAMA_ARG_CPU_MOE=1) — 38 tok/s, GPU занят 10 GiB из 24.5; расчёт свободной VRAM (14572 MiB свободно → вернуть ~10872 MiB ≈ 23.5 слоя) → N_CPU_MOE=19.
- KV q4 не понадобился: q8_0 влез — KV-буфер 4080 MiB (3 слота × ~1360 MiB × 128k, совпало с расчётом).
- Итог: single-stream генерация 61.3 tok/s (было 38), VRAM 19812/24576 MiB (свободно ~4.7 GiB, резерв 3 ГБ соблюдён), RSS llama-server ~10.9 GiB RAM.
- Приёмочный тест: 3 одновременных запроса (ru/ru/en) — все done=true, 30-38 tok/s на поток, total wall 6.5 s, VRAM стабильна.
Приёмка под нагрузкой (2026-11-08, вторая волна тестов)
- Тест 1: 3 параллельных × ~2.4k промпт-токенов — все ok, VRAM peak 19814 MiB (+2 от idle).
- Тест 2: 2 параллельных × ~20k промпт-токенов — оба ok, prompt-eval ~1000 tok/s на поток, VRAM peak 19822 MiB (+10).
- Тест 3 (стресс): волна из 6 одновременных × ~2.4k — все 6 ok (сверх 3 слотов корректно встали в очередь), VRAM стабильна, после волны — контрольный запрос доведён до done_reason=stop (~55 tok/s).
- Journal (warning за 30 мин): пусто; dmesg: нет Xid/OOM/NVRM; RSS llama-server ~13.5 GiB (mmap-страницы, RAM 62 GiB, давления нет). Вердикт: конфигурация оставлена без изменений.
Роль в hive: backup LLM для всех Navi-инстансов (2026-11-08)
- hive-конфиг v3 (слой «global» без match, applies live): в route.default backup-запись
model qwen3.6:35b-128k → qwen3.6:35b-128k-fit, target home = http://192.168.1.129:11434, ctx 131072, presence_penalty 0.0. Конфиг-хэш sha256:2d099501…, per-instance effective 4be1bbe9.
- Накрывает все 8 инстансов (ayame, Eris, Kael, melody, pilar, Proxy, tsukiko, zoe) — все ack applied, restart_required пусто; llm-секция применяется живьём (apply_llm_live, rebuild бекендов без рестарта).
- Механика: профили без llm_route → route «default» = ordered chain [glm-5.3-flash:cloud (cloud), qwen3.6:35b-128k-fit (home backup)]. Первичный LLM — cloud, при его недоступности/ошибке — локальный qwen3.6 на .129.
- Схема hive-конфига: KNOWN_SECTIONS = settings, profiles, llm, mcp_servers; правка route default в глобальном слое — единственная точка для «всем и всем профилям».
Инциденты
- 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки.
- GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh.
Доступ
SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.
История
- 2026-11-04: сборка TTS-стадии (zonos2, en/ru/uk, клонирование), оркестратор, E2E_OK, демо-UI
- 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист
- 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh
- 2026-11-08: Ollama 0.30.11 → 0.40.15; MoE-offload qwen3.6:35b-128k под 3×128k (KV q8_0, NUM_PARALLEL=3, N_CPU_MOE=19, GPU_OVERHEAD 3 GiB); 61.3 tok/s single-stream; приёмка 3 параллельных ОК
- 2026-11-08: приёмка под нагрузкой (3×2.4k / 2×20k / волна 6): все ok, VRAM стабильна, деградаций нет — конфиг без изменений
- 2026-11-08: OLLAMA_KEEP_ALIVE -1 → 20m (выгрузка по простою, бэкап override.conf.bak-rei-20261108-keepalive); hive-конфиг v3: qwen3.6:35b-128k-fit как backup-модель для всех профилей/инстансов (8 инстансов ack, llm применён живьём)