diff --git a/10-systems/workstations/gmikcon-pc.md b/10-systems/workstations/gmikcon-pc.md index 1a5cda9..150028e 100644 --- a/10-systems/workstations/gmikcon-pc.md +++ b/10-systems/workstations/gmikcon-pc.md @@ -1,5 +1,5 @@ --- -title: gmikcon PC — AI workstation (TTS/voice pipeline) +title: gmikcon PC — AI workstation (voice pipeline) type: workstation environment: home status: active @@ -16,27 +16,38 @@ ## Оборудование и ОС - Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon` - 62 GiB RAM; NVMe 468G, used 362G (82%), free ~83G -- nginx 1.30.6 на :80 (welcome-страница) -- GPU: NVIDIA consumer card; zonos2 backbone q6_k занимает ~11.6 GB VRAM при работе +- nginx 1.30.6 на :80 (vhost-конфиг /etc/nginx/conf.d/local-sites.conf, .local-сайты из /srv/http) +- GPU: NVIDIA GeForce RTX 3090 24GB +- Локальный Ollama: /usr/local/bin/ollama serve (root, systemd-less, autostart), :11434 — модели qwen3.6:35b-128k (22.6GB), qwen3.6:35b (22.6GB), gemma4:e2b-it-qat (4.3GB), nomic-embed-text (0.3GB) ## Роль -Рабочая AI-станция в home LAN. Носитель голосового пайплайна (TTS, в перспективе STT+LLM-аватар). +Рабочая AI-станция в home LAN. Голосовой пайплайн (STT→LLM→TTS), будущее ядро аватара. ## Сервисы ### zonos2-server (TTS) — :1919 -- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli) +- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli, quantize-cli, start-zonos2.sh) - Модели: `zonos2-q6_k.gguf` 6786454400 B, `dac.gguf` 254172448 B, `spk-encoder.gguf` 24299552 B -- GPU backbone q6_k, RTF ~0.45 (faster than realtime) -- OpenAI-совместимый endpoint: POST /v1/audio/speech {model, input, voice, response_format:"wav"} -- Родные endpoints: GET /tts/capabilities, GET /tts/speakers -- Клонирование голоса: POST /tts/speakers JSON {label, speaker_audio_base64 (data-URL), speaker_audio_name} + header X-TTS-Session-ID → создаётся speaker `spk_*`; сессийные спикеры видны в списке только с тем же header (multipart НЕ работает) -- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale), dim 2048 -- Тестовые файлы: /home/gmikcon/zonos2/test_ru.wav, test_uk.wav, test_clone.wav, test_clone_ru.wav +- GPU backbone q6_k (~11.7GB VRAM), RTF ~0.45 +- OpenAI-совместимый: POST /v1/audio/speech {model:"zonos2", input, voice, response_format:"wav"} +- Клонирование голоса: POST /tts/speakers JSON {label, speaker_audio_base64 (data-URL), speaker_audio_name} + header X-TTS-Session-ID → speaker `spk_*`; список сессийных спикеров виден только с тем же header (multipart НЕ работает) +- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale) +- Тестовые WAV: /home/gmikcon/zonos2/test_ru.wav, test_uk.wav, test_clone.wav, test_clone_ru.wav + +### orchestrator.py (голосовой пайплайн) — WS :9199 +- Каталог `/home/gmikcon/voice-pipeline/` (venv py3.14: faster-whisper 1.2.1, ctranslate2 4.8.5, av 19.0.2, websockets, webrtcvad, numpy; setuptools<81 обязателен для webrtcvad/pkg_resources) +- Запуск: `~/voice-pipeline/start.sh` (поднимает orchestrator + демо-UI; оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12) +- Цепочка: webrtcvad VAD (30мс кадры, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через :1919 +- Протокол WS: клиент шлёт бинарные PCM16 mono 16kHz кадры; сервер отвечает {"type":"transcript"|"answer","text":...}, {"type":"tts_chunk","index":n,"b64":wav-base64} +- E2E-тест: `./venv/bin/python3 test_e2e.py` (кормит test_ru.wav, проверяет транскрипт, ответ LLM, чанки; 2026-11-04 E2E_OK: конец речи → первый аудиочанк ~1.5с, STT 6.2с-аудио за 0.95с) + +### Демо-UI — http://192.168.1.129:9090/demo.html +- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди. WS-адрес берётся из location.hostname. +- Требования: браузер с getUserMedia (https или localhost — для LAN IP в Chrome нужно включить unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090) ## Доступ -SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685. +SSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (пароль SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин. ## История - 2026-10-01: записана как выключенная (stale-информация, хост жив) -- 2026-11-04: navi rei установила zonos2.cpp v0.5.2 + модели, подняла TTS-сервер, проверила en/ru/uk синтез и клонирование голоса +- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS-сервер :1919 (en/ru/uk + клонирование OK), faster-whisper STT в ~/voice-pipeline/venv (cuda, ru 0.95с/6.2с-аудио, uk 0.27с), оркестратор WS :9199 (VAD→STT→LLM gemma4:e2b→чанк-TTS), E2E_OK, демо-UI :9090 diff --git a/90-maintenance/pending-changes/20261104005137-3e9f8157.json b/90-maintenance/pending-changes/20261104005137-3e9f8157.json new file mode 100644 index 0000000..cc65d95 --- /dev/null +++ b/90-maintenance/pending-changes/20261104005137-3e9f8157.json @@ -0,0 +1,19 @@ +{ + "id": "20261104005137-3e9f8157", + "kind": "doc", + "target": "10-systems/workstations/gmikcon-pc.md", + "summary": "Обновить gmikcon-pc.md: RTX 3090 24GB, локальный Ollama (gemma4:e2b, qwen3.6:35b), оркестратор WS :9199 (VAD→STT→LLM→TTS, E2E_OK), демо-UI :9090, gotchas (LD_LIBRARY_PATH, setuptools<81, faillock)", + "reason": "Дополнение по итогам 2026-11-04: STT/оркестратор/демо-UI/локальный Ollama. Источник: ssh-host.", + "payload": { + "content": "---\ntitle: gmikcon PC — AI workstation (voice pipeline)\ntype: workstation\nenvironment: home\nstatus: active\nowner: gmikcon\nconfidence: high\nreview_interval: 180d\nlast_reviewed: 2026-11-04\nreviewed_by: navi rei\nsource_of_truth: ssh-host\n---\n\n# gmikcon PC (192.168.1.129)\n\n## Оборудование и ОС\n- Arch Linux (rolling), kernel 7.2.11-arch1-1, hostname `gmikcon`\n- 62 GiB RAM; NVMe 468G, used 362G (82%), free ~83G\n- nginx 1.30.6 на :80 (vhost-конфиг /etc/nginx/conf.d/local-sites.conf, .local-сайты из /srv/http)\n- GPU: NVIDIA GeForce RTX 3090 24GB\n- Локальный Ollama: /usr/local/bin/ollama serve (root, systemd-less, autostart), :11434 — модели qwen3.6:35b-128k (22.6GB), qwen3.6:35b (22.6GB), gemma4:e2b-it-qat (4.3GB), nomic-embed-text (0.3GB)\n\n## Роль\nРабочая AI-станция в home LAN. Голосовой пайплайн (STT→LLM→TTS), будущее ядро аватара.\n\n## Сервисы\n\n### zonos2-server (TTS) — :1919\n- zonos2.cpp prebuild v0.5.2 в `/home/gmikcon/zonos2/` (zonos2-server, zonos2-cli, dac-cli, spk-encoder-cli, quantize-cli, start-zonos2.sh)\n- Модели: `zonos2-q6_k.gguf` 6786454400 B, `dac.gguf` 254172448 B, `spk-encoder.gguf` 24299552 B\n- GPU backbone q6_k (~11.7GB VRAM), RTF ~0.45\n- OpenAI-совместимый: POST /v1/audio/speech {model:\"zonos2\", input, voice, response_format:\"wav\"}\n- Клонирование голоса: POST /tts/speakers JSON {label, speaker_audio_base64 (data-URL), speaker_audio_name} + header X-TTS-Session-ID → speaker `spk_*`; список сессийных спикеров виден только с тем же header (multipart НЕ работает)\n- Дефолтные спикеры: default_ad689b18cfb01a0d (AmericanFemale), default_80050000b2773f20 (AmericanMale), default_6adf52c0e46c9566 (BritishFemale)\n- Тестовые WAV: /home/gmikcon/zonos2/test_ru.wav, test_uk.wav, test_clone.wav, test_clone_ru.wav\n\n### orchestrator.py (голосовой пайплайн) — WS :9199\n- Каталог `/home/gmikcon/voice-pipeline/` (venv py3.14: faster-whisper 1.2.1, ctranslate2 4.8.5, av 19.0.2, websockets, webrtcvad, numpy; setuptools<81 обязателен для webrtcvad/pkg_resources)\n- Запуск: `~/voice-pipeline/start.sh` (поднимает orchestrator + демо-UI; оркестратору нужен LD_LIBRARY_PATH на venv nvidia-библиотеки, иначе ctranslate2 не найдёт libcublas.so.12)\n- Цепочка: webrtcvad VAD (30мс кадры, RMS>300, hangover 300мс, pre-roll 300мс) → faster-whisper large-v3-turbo (cuda, int8_float16, autolang) → Ollama gemma4:e2b-it-qat (локальный, think:false) → чанк-синтез по предложениям через :1919\n- Протокол WS: клиент шлёт бинарные PCM16 mono 16kHz кадры; сервер отвечает {\"type\":\"transcript\"|\"answer\",\"text\":...}, {\"type\":\"tts_chunk\",\"index\":n,\"b64\":wav-base64}\n- E2E-тест: `./venv/bin/python3 test_e2e.py` (кормит test_ru.wav, проверяет транскрипт, ответ LLM, чанки; 2026-11-04 E2E_OK: конец речи → первый аудиочанк ~1.5с, STT 6.2с-аудио за 0.95с)\n\n### Демо-UI — http://192.168.1.129:9090/demo.html\n- `web/demo.html` + `python3 -m http.server 9090` (user-space, без правок nginx): кнопка «Говорить», стрим mic PCM16 16k в WS, чат-пузыри, воспроизведение tts_chunk по очереди. WS-адрес берётся из location.hostname.\n- Требования: браузер с getUserMedia (https или localhost — для LAN IP в Chrome нужно включить unsafely-treat-insecure-origin-as-secure http://192.168.1.129:9090)\n\n## Доступ\nSSH gmikcon@192.168.1.129, пароль в gnexus-creds secret cfc8ee47-6bde-4155-a45b-1da8f1b40685 (пароль SSH=sudo). GOTCHA: faillock после серии неверных попыток — таймаут ~4-5 мин.\n\n## История\n- 2026-10-01: записана как выключенная (stale-информация, хост жив)\n- 2026-11-04: navi rei — zonos2.cpp v0.5.2 + модели, TTS-сервер :1919 (en/ru/uk + клонирование OK), faster-whisper STT в ~/voice-pipeline/venv (cuda, ru 0.95с/6.2с-аудио, uk 0.27с), оркестратор WS :9199 (VAD→STT→LLM gemma4:e2b→чанк-TTS), E2E_OK, демо-UI :9090" + }, + "status": "applied", + "created_at": "2026-11-04T00:51:37Z", + "updated_at": "2026-11-04T00:51:39Z", + "applied_at": "2026-11-04T00:51:39Z", + "validation": { + "status": "ok", + "issue_count": 0, + "issues": [] + } +}