Voice TTS

Локальный GPU-пайплайн синтеза речи в реальном времени с WebSocket API. Разработан для озвучки ИИ-агентов: текст поступает частями от LLM, аудио отдаётся клиенту по мере готовности.

Основное

• Стриминг текста: фразы от LLM приходят частями, сервер не ждёт полного текста
• Стриминг аудио: PCM-чанки отправляются сразу после синтеза
• Клонирование голоса: один спикер по референсному аудио
• Прерывание: немедленная остановка по сигналу stop
• Выбор бэкенда: переключение между моделями через TTS_BACKEND без изменения кода

Бэкенды

Быстрый старт (S2-Pro INT4)

# 1. S2 API сервер (требует ~9.6 GB VRAM, 50 tok/s с --compile)
cd models/fish-speech
PYTHONPATH=. /home/gmikcon/Projects/voice/.venv/bin/python tools/api_server.py \
  --llama-checkpoint-path checkpoints/fs-1.2-int4-g128-s2-pro-nf4 \
  --decoder-checkpoint-path checkpoints/s2-pro/codec.pth \
  --listen 127.0.0.1:8081 --compile

# 2. WebSocket прокси (в другом терминале)
TTS_BACKEND=s2 python -m voice_tts.main

Сервер слушает ws://localhost:8765/ws.

WebSocket протокол

Полная документация — docs/03_websocket_protocol.md.

Кратко

Клиент → Сервер:

• init — настройки сессии (голос, язык, скорость)
• text — чанк текста (payload — строка)
• flush — озвучить остаток буфера
• stop — немедленно прервать
• emotion / config — смена параметров

Сервер → Клиент:

• status — события (session_ready, segment_started, segment_finished, stopped)
• audio — PCM16 base64 с sample_rate
• error — ошибка

Архитектура

[LLM / AI Agent] → WebSocket → [SessionManager]
                                    │
                           TextBuffer / Segmenter
                                    │
                           segments (async tasks)
                                    │
                          TTS Engine (через реестр)
                                    │
                           AudioQueue → WS send

Бэкенды регистрируются через декоратор @register("name") в voice_tts.tts. Новый бэкенд добавляется одним файлом с декоратором — никаких правок в server.py.

from voice_tts.tts import register as _register_backend

@_register_backend("my_model")
class MyEngine(TTSEngine):
    ...

Установка

python3.11 -m venv .venv
source .venv/bin/activate
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

Конфигурация

Все переменные в .env (см. .env.example). Ключевые:

Тесты

pytest tests/ -v

Документация

• docs/01_overview.md — обзор проекта
• docs/02_architecture.md — архитектура
• docs/03_websocket_protocol.md — протокол
• docs/05_usage.md — использование и развёртывание