diff --git a/10-systems/workstations/gmikcon-pc.md b/10-systems/workstations/gmikcon-pc.md index 150028e..4ef89bc 100644 --- a/10-systems/workstations/gmikcon-pc.md +++ b/10-systems/workstations/gmikcon-pc.md @@ -29,25 +29,30 @@ - zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli, quantize-cli, start-zonos2.sh) - Модели: `zonos2-q6_k.gguf` 6786454400 B, `dac.gguf` 254172448 B, `spk-encoder.gguf` 24299552 B - GPU backbone q6_k (~11.7GB VRAM), RTF ~0.45 -- OpenAI-совместимый: POST /v1/audio/speech {model:"zonos2", input, voice, response_format:"wav"} -- Клонирование голоса: POST /tts/speakers JSON {label, speaker_audio_base64 (data-URL), speaker_audio_name} + header X-TTS-Session-ID → speaker `spk_*`; список сессийных спикеров виден только с тем же header (multipart НЕ работает) -- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale) -- Тестовые WAV: /home/gmikcon/zonos2/test_ru.wav, test_uk.wav, test_clone.wav, test_clone_ru.wav +- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale); клон-спикеры видны только в своей X-TTS-Session-ID +- Тестовые WAV: /home/gmikcon/zonos2/test_*.wav; diag-файлы: /home/gmikcon/voice-pipeline/diag/ + +#### ВАЖНО: endpoint'ы и стабильность +- **POST /v1/audio/speech** НЕ использовать для продакшена: серверные дефолты сэмплинга (temp ~1.15) + quality-conditioning дают лотерею «разноса» — бесконечная бормотня/шум (замеры: 19с и 23с «аудио» на одно предложение), редкие оглуховки слов. Это и есть «высокочастотные шумы» из жалобы владельца 2026-11-04. +- **POST /tts/generate** — родной протокол (поля в tts_ui.html ~line 2315): text, language, text_normalization, temperature, topk, top_p, min_p, max_tokens, fade_out_ms, repetition_window/penalty/codebooks, seed, stream (false → сырой float32 LE 44.1k mono, НЕ WAV!), accurate_mode, speaker_embedding_id, clean_speaker_background, quality_enabled/quality_buckets, speaking_rate_enabled/speaking_rate_bucket, emotion +- **СТАБИЛЬНЫЙ ПРОФИЛЬ (проверено 3/3 точных синтеза + 2×E2E):** temperature=0.6, topk=100, min_p=0.15, top_p=0, max_tokens=1200, repetition_window=50, repetition_penalty=1.2, repetition_codebooks=8, accurate_mode=true, quality_enabled=false, speaking_rate_enabled=false, seed=42, fade_out_ms=20. Дефолт UI (temp 1.15) — оглуховки («в Афганистан» вместо «в парк»); speaking_rate_bucket сам даёт разнос; при seed=null результат варьируется. +- Разнос лечится регенерацией с другим seed (в оркестраторе guard: ожидаемая длительность ≈ len(text)/14 с; фактическая > 2.5×+0.5с → один реген с alt seed). ### orchestrator.py (голосовой пайплайн) — WS :9199 - Каталог `/home/gmikcon/voice-pipeline/` (venv py3.14: faster-whisper 1.2.1, ctranslate2 4.8.5, av 19.0.2, websockets, webrtcvad, numpy; setuptools<81 обязателен для webrtcvad/pkg_resources) -- Запуск: `~/voice-pipeline/start.sh` (поднимает orchestrator + демо-UI; оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12) -- Цепочка: webrtcvad VAD (30мс кадры, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через :1919 +- Запуск: `~/voice-pipeline/start.sh` (оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12) +- Цепочка: webrtcvad VAD (30мс, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через /tts/generate (стабильный профиль) + анти-разнос guard - Протокол WS: клиент шлёт бинарные PCM16 mono 16kHz кадры; сервер отвечает {"type":"transcript"|"answer","text":...}, {"type":"tts_chunk","index":n,"b64":wav-base64} -- E2E-тест: `./venv/bin/python3 test_e2e.py` (кормит test_ru.wav, проверяет транскрипт, ответ LLM, чанки; 2026-11-04 E2E_OK: конец речи → первый аудиочанк ~1.5с, STT 6.2с-аудио за 0.95с) +- E2E-тест: `./venv/bin/python3 test_e2e.py`; 2026-11-04 после фикса E2E_OK ×2, чанки 0.5/3.4/1.2с и 0.5/4.1/0.6с, Whisper round-trip дословный ### Демо-UI — http://192.168.1.129:9090/demo.html -- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди. WS-адрес берётся из location.hostname. -- Требования: браузер с getUserMedia (https или localhost — для LAN IP в Chrome нужно включить unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090) +- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди. +- Требования: браузер с getUserMedia (для LAN IP в Chrome нужно unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090) ## Доступ -SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (пароль SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин. +SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин. ## История - 2026-10-01: записана как выключенная (stale-информация, хост жив) -- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS-сервер :1919 (en/ru/uk + клонирование OK), faster-whisper STT в ~/voice-pipeline/venv (cuda, ru 0.95с/6.2с-аудио, uk 0.27с), оркестратор WS :9199 (VAD→STT→LLM gemma4:e2b→чанк-TTS), E2E_OK, демо-UI :9090 +- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS :1919, STT (faster-whisper cuda), оркестратор WS :9199, демо-UI :9090, E2E_OK +- 2026-11-04: navi rei — диагноз «шумы вместо речи»: разнос zonos2 при серверных дефолтах /v1/audio/speech. Фикс: /tts/generate, профиль temp 0.6/topk 100/min_p 0.15/seed 42, guard от разноса. Повторный E2E ×2 чист, Whisper round-trip дословный. diff --git a/90-maintenance/pending-changes/20261104010457-f736ad0c.json b/90-maintenance/pending-changes/20261104010457-f736ad0c.json new file mode 100644 index 0000000..ffd7ad5 --- /dev/null +++ b/90-maintenance/pending-changes/20261104010457-f736ad0c.json @@ -0,0 +1,19 @@ +{ + "id": "20261104010457-f736ad0c", + "kind": "doc", + "target": "10-systems/workstations/gmikcon-pc.md", + "summary": "Разнос TTS лечён: /tts/generate, профиль temp 0.6/topk 100/min_p 0.15/seed 42 + guard; E2E чист", + "reason": "Диагноз жалобы владельца «в озвучке шумы»: разнос TTS при /v1/audio/speech. Источник: стресс-тест 12 генераций + Whisper-контроль 2026-11-04.", + "payload": { + "content": "---\ntitle: gmikcon PC — AI workstation (voice pipeline)\ntype: workstation\nenvironment: home\nstatus: active\nowner: gmikcon\nconfidence: high\nreview_interval: 180d\nlast_reviewed: 2026-11-04\nreviewed_by: navi rei\nsource_of_truth: ssh-host\n---\n\n# gmikcon PC (192.168.1.129)\n\n## Оборудование и ОС\n- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon`\n- 62 GiB RAM; NVMe 468G, used 362G (82%), free ~83G\n- nginx 1.30.6 на :80 (vhost-конфиг /etc/nginx/conf.d/local-sites.conf, .local-сайты из /srv/http)\n- GPU: NVIDIA GeForce RTX 3090 24GB\n- Локальный Ollama: /usr/local/bin/ollama serve (root, systemd-less, autostart), :11434 — модели qwen3.6:35b-128k (22.6GB), qwen3.6:35b (22.6GB), gemma4:e2b-it-qat (4.3GB), nomic-embed-text (0.3GB)\n\n## Роль\nРабочая AI-станция в home LAN. Голосовой пайплайн (STT→LLM→TTS), будущее ядро аватара.\n\n## Сервисы\n\n### zonos2-server (TTS) — :1919\n- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli, quantize-cli, start-zonos2.sh)\n- Модели: `zonos2-q6_k.gguf` 6786454400 B, `dac.gguf` 254172448 B, `spk-encoder.gguf` 24299552 B\n- GPU backbone q6_k (~11.7GB VRAM), RTF ~0.45\n- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale); клон-спикеры видны только в своей X-TTS-Session-ID\n- Тестовые WAV: /home/gmikcon/zonos2/test_*.wav; diag-файлы: /home/gmikcon/voice-pipeline/diag/\n\n#### ВАЖНО: endpoint'ы и стабильность\n- **POST /v1/audio/speech** НЕ использовать для продакшена: серверные дефолты сэмплинга (temp ~1.15) + quality-conditioning дают лотерею «разноса» — бесконечная бормотня/шум (замеры: 19с и 23с «аудио» на одно предложение), редкие оглуховки слов. Это и есть «высокочастотные шумы» из жалобы владельца 2026-11-04.\n- **POST /tts/generate** — родной протокол (поля в tts_ui.html ~line 2315): text, language, text_normalization, temperature, topk, top_p, min_p, max_tokens, fade_out_ms, repetition_window/penalty/codebooks, seed, stream (false → сырой float32 LE 44.1k mono, НЕ WAV!), accurate_mode, speaker_embedding_id, clean_speaker_background, quality_enabled/quality_buckets, speaking_rate_enabled/speaking_rate_bucket, emotion\n- **СТАБИЛЬНЫЙ ПРОФИЛЬ (проверено 3/3 точных синтеза + 2×E2E):** temperature=0.6, topk=100, min_p=0.15, top_p=0, max_tokens=1200, repetition_window=50, repetition_penalty=1.2, repetition_codebooks=8, accurate_mode=true, quality_enabled=false, speaking_rate_enabled=false, seed=42, fade_out_ms=20. Дефолт UI (temp 1.15) — оглуховки («в Афганистан» вместо «в парк»); speaking_rate_bucket сам даёт разнос; при seed=null результат варьируется.\n- Разнос лечится регенерацией с другим seed (в оркестраторе guard: ожидаемая длительность ≈ len(text)/14 с; фактическая > 2.5×+0.5с → один реген с alt seed).\n\n### orchestrator.py (голосовой пайплайн) — WS :9199\n- Каталог `/home/gmikcon/voice-pipeline/` (venv py3.14: faster-whisper 1.2.1, ctranslate2 4.8.5, av 19.0.2, websockets, webrtcvad, numpy; setuptools<81 обязателен для webrtcvad/pkg_resources)\n- Запуск: `~/voice-pipeline/start.sh` (оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12)\n- Цепочка: webrtcvad VAD (30мс, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через /tts/generate (стабильный профиль) + анти-разнос guard\n- Протокол WS: клиент шлёт бинарные PCM16 mono 16kHz кадры; сервер отвечает {\"type\":\"transcript\"|\"answer\",\"text\":...}, {\"type\":\"tts_chunk\",\"index\":n,\"b64\":wav-base64}\n- E2E-тест: `./venv/bin/python3 test_e2e.py`; 2026-11-04 после фикса E2E_OK ×2, чанки 0.5/3.4/1.2с и 0.5/4.1/0.6с, Whisper round-trip дословный\n\n### Демо-UI — http://192.168.1.129:9090/demo.html\n- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди.\n- Требования: браузер с getUserMedia (для LAN IP в Chrome нужно unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090)\n\n## Доступ\nSSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.\n\n## История\n- 2026-10-01: записана как выключенная (stale-информация, хост жив)\n- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS :1919, STT (faster-whisper cuda), оркестратор WS :9199, демо-UI :9090, E2E_OK\n- 2026-11-04: navi rei — диагноз «шумы вместо речи»: разнос zonos2 при серверных дефолтах /v1/audio/speech. Фикс: /tts/generate, профиль temp 0.6/topk 100/min_p 0.15/seed 42, guard от разноса. Повторный E2E ×2 чист, Whisper round-trip дословный." + }, + "status": "applied", + "created_at": "2026-11-04T01:04:57Z", + "updated_at": "2026-11-04T01:04:59Z", + "applied_at": "2026-11-04T01:04:59Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}