diff --git a/10-systems/workstations/gmikcon-pc.md b/10-systems/workstations/gmikcon-pc.md index 4ef89bc..6fcc23c 100644 --- a/10-systems/workstations/gmikcon-pc.md +++ b/10-systems/workstations/gmikcon-pc.md @@ -15,44 +15,41 @@ ## Оборудование и ОС - Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon` -- 62 GiB RAM; NVMe 468G, used 362G (82%), free ~83G -- nginx 1.30.6 на :80 (vhost-конфиг /etc/nginx/conf.d/local-sites.conf, .local-сайты из /srv/http) -- GPU: NVIDIA GeForce RTX 3090 24GB -- Локальный Ollama: /usr/local/bin/ollama serve (root, systemd-less, autostart), :11434 — модели qwen3.6:35b-128k (22.6GB), qwen3.6:35b (22.6GB), gemma4:e2b-it-qat (4.3GB), nomic-embed-text (0.3GB) +- 62 GiB RAM; NVMe 468G, used 362G (82%) +- GPU: NVIDIA RTX 3090 24GB (driver 615.78.08) +- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k), nomic-embed-text -## Роль -Рабочая AI-станция в home LAN. Голосовой пайплайн (STT→LLM→TTS), будущее ядро аватара. - -## Сервисы +## Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/) ### zonos2-server (TTS) — :1919 -- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli, quantize-cli, start-zonos2.sh) -- Модели: `zonos2-q6_k.gguf` 6786454400 B, `dac.gguf` 254172448 B, `spk-encoder.gguf` 24299552 B -- GPU backbone q6_k (~11.7GB VRAM), RTF ~0.45 -- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale); клон-спикеры видны только в своей X-TTS-Session-ID -- Тестовые WAV: /home/gmikcon/zonos2/test_*.wav; diag-файлы: /home/gmikcon/voice-pipeline/diag/ +- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (прямой запуск: `./zonos2-server zonos2-q6_k.gguf --gpu --host 0.0.0.0 --port 1919 --tts-default-voices-dir default_voices`) +- Модели в корне ~/zonos2 (q6_k 6786454400 B, dac 254172448, spk-encoder 24299552); RTF ~0.45 +- Спикеры: default_* (AmF/AmM/BrF) + клон-спикеры (только в своей X-TTS-Session-ID); клон из AmericanMale.mp3 зарегистрирован как spk_0000000001 в сессии «orchpipe» -#### ВАЖНО: endpoint'ы и стабильность -- **POST /v1/audio/speech** НЕ использовать для продакшена: серверные дефолты сэмплинга (temp ~1.15) + quality-conditioning дают лотерею «разноса» — бесконечная бормотня/шум (замеры: 19с и 23с «аудио» на одно предложение), редкие оглуховки слов. Это и есть «высокочастотные шумы» из жалобы владельца 2026-11-04. -- **POST /tts/generate** — родной протокол (поля в tts_ui.html ~line 2315): text, language, text_normalization, temperature, topk, top_p, min_p, max_tokens, fade_out_ms, repetition_window/penalty/codebooks, seed, stream (false → сырой float32 LE 44.1k mono, НЕ WAV!), accurate_mode, speaker_embedding_id, clean_speaker_background, quality_enabled/quality_buckets, speaking_rate_enabled/speaking_rate_bucket, emotion -- **СТАБИЛЬНЫЙ ПРОФИЛЬ (проверено 3/3 точных синтеза + 2×E2E):** temperature=0.6, topk=100, min_p=0.15, top_p=0, max_tokens=1200, repetition_window=50, repetition_penalty=1.2, repetition_codebooks=8, accurate_mode=true, quality_enabled=false, speaking_rate_enabled=false, seed=42, fade_out_ms=20. Дефолт UI (temp 1.15) — оглуховки («в Афганистан» вместо «в парк»); speaking_rate_bucket сам даёт разнос; при seed=null результат варьируется. -- Разнос лечится регенерацией с другим seed (в оркестраторе guard: ожидаемая длительность ≈ len(text)/14 с; фактическая > 2.5×+0.5с → один реген с alt seed). +#### Производственный профиль (в orchestrator.py) +- Endpoint `/tts/generate`: language=ru, speaker_embedding_id=default_80050000b2773f20, clean_speaker_background=true, temperature=0.6, topk=100, top_p=0, min_p=0.15, repetition 1.2/50/8, max_tokens=1200, fade_out_ms=20, accurate_mode=true, quality/speaking_rate OFF, stream=false (сырой float32 44.1k, НЕ WAV), seed=42 (guard меняет seed при разносе) +- Guard разноса: ожид. длительность ≈ len(text)/14 с; факт > 2.5×+0.5с → один реген с alt seed +- **НЕ использовать /v1/audio/speech**: серверные дефолты дают разнос; v1+зажатый сэмплинг даёт неразборчивое аудио (Whisper: «.», «вот вот») +- Квирк сборки: default-спикеры не пинуют тембр жёстко — seed доминирует (Praat: seed 42→344Гц, 777→112Гц на AmM); clean_speaker_background=true стабилизирует MALE (~113-119 Гц в чистых генерациях). Метрики f0/мел ненадёжны (октавы, интонация, громкость) — финальный арбитр тембра: ухо владельца. -### orchestrator.py (голосовой пайплайн) — WS :9199 -- Каталог `/home/gmikcon/voice-pipeline/` (venv py3.14: faster-whisper 1.2.1, ctranslate2 4.8.5, av 19.0.2, websockets, webrtcvad, numpy; setuptools<81 обязателен для webrtcvad/pkg_resources) -- Запуск: `~/voice-pipeline/start.sh` (оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12) -- Цепочка: webrtcvad VAD (30мс, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через /tts/generate (стабильный профиль) + анти-разнос guard -- Протокол WS: клиент шлёт бинарные PCM16 mono 16kHz кадры; сервер отвечает {"type":"transcript"|"answer","text":...}, {"type":"tts_chunk","index":n,"b64":wav-base64} -- E2E-тест: `./venv/bin/python3 test_e2e.py`; 2026-11-04 после фикса E2E_OK ×2, чанки 0.5/3.4/1.2с и 0.5/4.1/0.6с, Whisper round-trip дословный +### orchestrator.py — WS :9199 +- venv py3.14 (faster-whisper large-v3-turbo cuda, webrtcvad, websockets; LD_LIBRARY_PATH на venv nvidia-libs обязателен) +- Цепочка: VAD → STT → Ollama gemma4:e2b → чанк-TTS по предложениям +- Анти-дубли (2026-11-04): mic-gate в demo.html (клиент глушит отправку, пока играет TTS, +500мс хвост); сервер отбрасывает сегменты <0.4с и транскрипты <4 симв; HANGOVER_MS=500 (было 300) +- Рестарт: kill и start РАЗДЕЛЬНЫМИ ssh-вызовами (pkill -f '[o]rchestrator.py' матчил собственную команду и убивал её; `[o]` ломает самоматч) +- E2E: `./venv/bin/python3 test_e2e.py`; после анти-дубль-патча: ровно 1 цикл, чанки Whisper-верифицированы дословно ### Демо-UI — http://192.168.1.129:9090/demo.html -- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди. -- Требования: браузер с getUserMedia (для LAN IP в Chrome нужно unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090) +- mic-gate встроен; Chrome для LAN-http: флаг unsafely-treat-insecure-origin-as-secure + +## Инциденты +- 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки. +- GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh. ## Доступ SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин. ## История -- 2026-10-01: записана как выключенная (stale-информация, хост жив) -- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS :1919, STT (faster-whisper cuda), оркестратор WS :9199, демо-UI :9090, E2E_OK -- 2026-11-04: navi rei — диагноз «шумы вместо речи»: разнос zonos2 при серверных дефолтах /v1/audio/speech. Фикс: /tts/generate, профиль temp 0.6/topk 100/min_p 0.15/seed 42, guard от разноса. Повторный E2E ×2 чист, Whisper round-trip дословный. +- 2026-11-04: сборка TTS-стадии (zonos2, en/ru/uk, клонирование), оркестратор, E2E_OK, демо-UI +- 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист +- 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh diff --git a/90-maintenance/pending-changes/20261104013652-68acebbe.json b/90-maintenance/pending-changes/20261104013652-68acebbe.json new file mode 100644 index 0000000..ba06632 --- /dev/null +++ b/90-maintenance/pending-changes/20261104013652-68acebbe.json @@ -0,0 +1,19 @@ +{ + "id": "20261104013652-68acebbe", + "kind": "doc", + "target": "10-systems/workstations/gmikcon-pc.md", + "summary": "Дубли починены (mic-gate, drop-филты, hangover 500); прод: /tts/generate+пин+clean+seed42; v1 неразборчив — откат; GPU Xid56→ребут, boot129.sh", + "reason": "Итоги сессии: фикс дублей (эхо-петля), GPU-инцидент Xid56 + ребут, определение прод-профиля TTS (v1 неразборчив, откат на /tts/generate), boot129.sh", + "payload": { + "content": "---\ntitle: gmikcon PC — AI workstation (voice pipeline)\ntype: workstation\nenvironment: home\nstatus: active\nowner: gmikcon\nconfidence: high\nreview_interval: 180d\nlast_reviewed: 2026-11-04\nreviewed_by: navi rei\nsource_of_truth: ssh-host\n---\n\n# gmikcon PC (192.168.1.129)\n\n## Оборудование и ОС\n- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon`\n- 62 GiB RAM; NVMe 468G, used 362G (82%)\n- GPU: NVIDIA RTX 3090 24GB (driver 615.78.08)\n- Локальный Ollama :11434 — gemma4:e2b-it-qat, qwen3.6:35b(-128k), nomic-embed-text\n\n## Сервисы (подъём одним скриптом: ~/voice-pipeline/boot129.sh — idempotent, НЕ использовать start-zonos2.sh повторно — он качает модели в models/)\n\n### zonos2-server (TTS) — :1919\n- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (прямой запуск: `./zonos2-server zonos2-q6_k.gguf --gpu --host 0.0.0.0 --port 1919 --tts-default-voices-dir default_voices`)\n- Модели в корне ~/zonos2 (q6_k 6786454400 B, dac 254172448, spk-encoder 24299552); RTF ~0.45\n- Спикеры: default_* (AmF/AmM/BrF) + клон-спикеры (только в своей X-TTS-Session-ID); клон из AmericanMale.mp3 зарегистрирован как spk_0000000001 в сессии «orchpipe»\n\n#### Производственный профиль (в orchestrator.py)\n- Endpoint `/tts/generate`: language=ru, speaker_embedding_id=default_80050000b2773f20, clean_speaker_background=true, temperature=0.6, topk=100, top_p=0, min_p=0.15, repetition 1.2/50/8, max_tokens=1200, fade_out_ms=20, accurate_mode=true, quality/speaking_rate OFF, stream=false (сырой float32 44.1k, НЕ WAV), seed=42 (guard меняет seed при разносе)\n- Guard разноса: ожид. длительность ≈ len(text)/14 с; факт > 2.5×+0.5с → один реген с alt seed\n- **НЕ использовать /v1/audio/speech**: серверные дефолты дают разнос; v1+зажатый сэмплинг даёт неразборчивое аудио (Whisper: «.», «вот вот»)\n- Квирк сборки: default-спикеры не пинуют тембр жёстко — seed доминирует (Praat: seed 42→344Гц, 777→112Гц на AmM); clean_speaker_background=true стабилизирует MALE (~113-119 Гц в чистых генерациях). Метрики f0/мел ненадёжны (октавы, интонация, громкость) — финальный арбитр тембра: ухо владельца.\n\n### orchestrator.py — WS :9199\n- venv py3.14 (faster-whisper large-v3-turbo cuda, webrtcvad, websockets; LD_LIBRARY_PATH на venv nvidia-libs обязателен)\n- Цепочка: VAD → STT → Ollama gemma4:e2b → чанк-TTS по предложениям\n- Анти-дубли (2026-11-04): mic-gate в demo.html (клиент глушит отправку, пока играет TTS, +500мс хвост); сервер отбрасывает сегменты <0.4с и транскрипты <4 симв; HANGOVER_MS=500 (было 300)\n- Рестарт: kill и start РАЗДЕЛЬНЫМИ ssh-вызовами (pkill -f '[o]rchestrator.py' матчил собственную команду и убивал её; `[o]` ломает самоматч)\n- E2E: `./venv/bin/python3 test_e2e.py`; после анти-дубль-патча: ровно 1 цикл, чанки Whisper-верифицированы дословно\n\n### Демо-UI — http://192.168.1.129:9090/demo.html\n- mic-gate встроен; Chrome для LAN-http: флаг unsafely-treat-insecure-origin-as-secure\n\n## Инциденты\n- 2026-11-04 ~03:15: GPU-клин при стресс-тестах TTS (NVRM Xid 56, vk::DeviceLost при рестарте сервера) — вылечено ребутом по команде владельца; стек восстановлен boot129.sh за ~1 мин. Причина Xid 56: неоднократные одновременные CUDA (ctranslate2) + Vulkan (ggml) нагрузки.\n- GOTCHA: scp-действие ssh_exec багует («multiple values for host») — передавать файлы через base64-пайп по ssh.\n\n## Доступ\nSSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.\n\n## История\n- 2026-11-04: сборка TTS-стадии (zonos2, en/ru/uk, клонирование), оркестратор, E2E_OK, демо-UI\n- 2026-11-04: фикс разноса (профиль temp0.6/seed42, guard) — E2E ×2 чист\n- 2026-11-04: фикс дублей (эхо-петля микрофона): mic-gate + drop-филты + hangover 500мс; прод-путь откат на /tts/generate (v1 неразборчив); пин спикера + clean_speaker_background; GPU Xid 56 → ребут, boot129.sh" + }, + "status": "applied", + "created_at": "2026-11-04T01:36:52Z", + "updated_at": "2026-11-04T01:36:53Z", + "applied_at": "2026-11-04T01:36:53Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}