CubeLabs

1. Qué es VoiceStudio y por qué importa

VoiceStudio es una aplicación de escritorio open-source (AGPL-3.0) que reúne en una sola interfaz todo el flujo de audio con IA: clonar una voz a partir de unos segundos de grabación, inventar una voz nueva describiéndola con palabras, doblar un vídeo a otro idioma, dictar en cualquier campo de texto y generar audiolibros. Su eslogan de posicionamiento es «la alternativa local a ElevenLabs»: mismo tipo de funciones, pero ejecutándose en tu hardware.

Lo interesante para quien trabaja con agentes es que VoiceStudio no es solo una app con ventana. El proceso Python que la acompaña es también un servidor de voz local que expone una API compatible con OpenAI en el puerto 3900 y un servidor MCP montado en /mcp/. Es decir: es el proveedor de voz, tú pones el agente.

2. Hardware, requisitos e instalación

Antes de instalar conviene saber qué aceleración vas a tener, porque marca la diferencia entre «genero un párrafo en segundos» y «lo genero en un minuto».

# macOS / Linux — última release
curl -fsSL https://voicestudio.sh/install | sh

# Windows (PowerShell)
irm https://voicestudio.sh/install | iex

# Linux, AppImage
chmod +x VoiceStudio-Electron-*-linux-x64.AppImage
./VoiceStudio-Electron-*-linux-x64.AppImage

# Linux, paquete .deb
sudo apt install ./VoiceStudio-Electron-<version>-linux-x64.deb

git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun install
bun run setup:api   # prepara las dependencias de Python
bun run dev

3. Primer arranque: modelos, catálogo y GPU

VoiceStudio no trae los pesos: los descarga de Hugging Face en el primer uso. El motor por defecto es OmniVoice, que ocupa unos 2,3 GB. Las descargas van con un descargador segmentado (multi-conexión) y con verificación por checksum, así que el proceso es seguro incluso si se corta a medias.

Qué motor elegir

El Model Catalogue lista todos los motores, con un panel «Why?» que explica por qué uno aparece como no disponible. Se cambia con Ctrl/Cmd+E o fijando variables de entorno.

Para transcripción, el motor por defecto es WhisperX (marcas de tiempo por palabra + diarización, ideal para doblaje). Le acompañan Faster-Whisper, PyTorch Whisper, Parakeet TDT (25 idiomas), Moonshine (CPU ligero), FunASR/SenseVoice (50+ idiomas con diarización inline) y sherpa-onnx para dictado en streaming.

Comprueba que la GPU está trabajando

La app muestra un indicador de «GPU active» con el dispositivo detectado (cuda / mps / cpu) y el consumo de RAM/VRAM. Si aparece «cpu (no GPU acceleration detected)», todo funciona, pero varias veces más lento. Puedes forzar el dispositivo:

# Fijar dispositivo de cómputo (auto por defecto)
OMNIVOICE_DEVICE=cuda   # cuda | rocm | xpu | mps | cpu

# En hosts multi-GPU NVIDIA, exponer solo una tarjeta
CUDA_VISIBLE_DEVICES=0

4. Clonación de voz: tu voz en 30 segundos

La clonación en VoiceStudio es zero-shot: no hay entrenamiento ni fine-tuning. Le das un clip de referencia y el motor lo imita al generar.

Reglas del clip de referencia

• La app acepta clips de hasta 75 segundos, pero recomienda 5-15 segundos de voz limpia.
• OmniVoice usa hasta 20 segundos: elige el tramo con más habla y lo transcribe (best_window). VoxCPM2 usa los primeros 30 s tras recortar silencios.
• Sin música, sin reverberación, sin varias personas hablando a la vez.
• Un clip con más de 20 s no admite transcripción enviada en OmniVoice: el backend responde [clone_ref_too_long]. O recortas ambos al mismo tramo, o dejas la transcripción fuera.

El flujo en la interfaz es: Voice cloning → elegir o añadir una referencia → escribir el guion → Generate. Si falta el modelo, la app lo propone e instala en ese momento.

Calidad de audio y export

Bajo el guion hay un control de calidad que afecta a la siguiente toma (los archivos ya generados no se tocan):

5. Diseño de voz: crear voces que no existen

El diseño de voz resuelve el problema contrario: no tienes ninguna grabación, pero sabes cómo quieres que suene. Describes la voz («mujer, 40 años, tono cálido, acento neutro, ritmo pausado») y el motor la construye.

En la interfaz eliges un preset o ajustas los rasgos: género, edad, tono, estilo y acento. Con MCP hay una herramienta que separa la descripción de la creación:

Una vez guardada, esa voz se comporta igual que una clonada: aparece en list_voices y se puede invocar por nombre o por profile_id desde la API.

6. Doblaje de vídeo paso a paso

El doblaje es un pipeline de tres etapas: transcribir → traducir → hablar. La parte de traducción es enchufable y ahí está la gracia: puedes doblar sin conexión.

El flujo completo

1. Abre Dub desde la barra lateral de clonación o el buscador de comandos.
2. Sube o arrastra el audio/vídeo (o pega una URL). La preparación termina antes de empezar a transcribir.
3. Elige idioma destino y motor de traducción, y lanza Translate.
4. Revisa el texto traducido segmento a segmento: puedes editar y ajustar voz y tiempos por tramo.
5. Genera. Las pistas terminadas se previsualizan y se exportan con el diálogo nativo de guardado.

Si ya tienes la traducción hecha

Paste Translation acepta el texto traducido de donde sea (ChatGPT, DeepL, un traductor humano) y lo mapea a tus segmentos sin re-transcribir y sin perder los tiempos. Detecta tres formatos: subtítulos con marcas de tiempo (.srt/.vtt), líneas numeradas (1. …) y líneas planas.

Exportación

El vídeo exportado puede llevar varias pistas de audio (original + uno o varios doblajes) y VoiceStudio marca el doblaje elegido como pista por defecto, de modo que se reproduce solo en cualquier reproductor. También puedes quemar subtítulos en la imagen (hardsub) en dos estilos: línea estática o karaoke con resaltado por palabra usando los tiempos registrados al transcribir. El script .ass del karaoke se puede descargar aparte desde GET /dub/ass/{job_id}.

7. Dictado, transcripción, diarización y audiolibros

La transcripción es la otra mitad del producto y usa el mismo backend. Estas son sus caras:

• Dictado global: un atajo de teclado dicta en cualquier campo de texto del sistema. Requiere la app abierta (ninguna interfaz remota puede encender tu micrófono).
• Transcripción de archivos: lotes de audio con salida en json, text, verbose_json (con segmentos y palabras), srt o vtt.
• Streaming en vivo: por WebSocket, con parciales y final de sesión.
• Diarización: el pipeline de doblaje usa pyannote (requiere aceptar la licencia en HF) y FunASR puede diarizar inline con su modelo cam++.
• Aislamiento vocal: separa la voz del fondo para reutilizar o limpiar material.
• Cola por lotes: pensada para audiolibros y proyectos largos sin supervisión.

Para el dictado en streaming, sherpa-onnx es el motor ligero de CPU que emite final_kind: "utterance" antes del resumen autoritativo de la sesión. El cliente Python sin dependencias es cómodo para hooks y TUIs:

# Descubrir capacidades del backend
python -m backend.speech_client capabilities

# Transcribir un archivo
python -m backend.speech_client transcribe recording.wav

8. El backend como plataforma: API OpenAI-compatible

Aquí es donde VoiceStudio deja de ser «una app» y se convierte en infraestructura. La raíz del servicio es http://localhost:3900 y la base URL compatible con OpenAI es http://localhost:3900/v1. Cualquier cliente que hable con los endpoints de audio de OpenAI puede apuntar aquí y usar tu voz clonada, sin salir de tu máquina.

Tu primera petición de voz

curl http://127.0.0.1:3900/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "tts-1",
    "input": "Hola, esto lo dice mi propia voz clonada.",
    "voice": "mi-voz",
    "response_format": "mp3"
  }' --output saludo.mp3

Formatos de respuesta: mp3 (por defecto), opus (Opus en Ogg a 48 kHz), aac, flac/wav sin pérdida y pcm crudo a 24 kHz. Los comprimidos los codifica ffmpeg, que va incluido con la app.

Sobre seguridad y privacidad: ningún protocolo añade llamada de red, cuenta, analítica ni proveedor cloud obligatorio; los micrófonos se quedan en el borde de la interfaz, y una GPU remota nunca asume que posee tu dispositivo de entrada. Fuera de una LAN de confianza, usa HTTPS/WSS y nunca mandes credenciales bearer en HTTP plano.

9. MCP: dale voz a tus agentes de IA

VoiceStudio trae un servidor MCP montado en el propio backend, en http://localhost:3900/mcp/. No hay nada extra que arrancar: si la app está abierta, el servidor está ahí. Con él, un agente no solo escribe: habla con tu voz.

Además expone recursos como voice://{profile_id} y history://recent (máximo 20 elementos), todos en texto JSON: parsea la respuesta con un parser JSON.

Conectarlo a Hermes Agent

Hermes conecta sin configuración extra en VoiceStudio: se añade el servidor al config.yaml y se reinicia.

mcp_servers:
  voicestudio:
    url: "http://127.0.0.1:3900/mcp/"
    headers:
      X-OmniVoice-Client-Id: "hermes"

Conectarlo a Codex CLI

[mcp_servers.voicestudio]
url = "http://127.0.0.1:3900/mcp/"
http_headers = { "X-OmniVoice-Client-Id" = "codex-cli" }

Para Claude Code y Cursor, la app exporta configuraciones ya hechas desde la sección Integrations. La cabecera X-OmniVoice-Client-Id sirve para vincular cada agente a una voz concreta: tu agente de código puede hablar con una voz y tu asistente personal con otra.

No inundes el contexto del agente con audio

Un WAV en base64 ocupa muchísimo contexto. Dos variables lo resuelven:

10. Rendimiento, VRAM y solución de problemas

Los cuatro enemigos del rendimiento

1. Arranques en frío en cada generación. Los pesos se cargan de forma perezosa (~8 s) y CUDA compila kernels la primera vez.
2. Presión de memoria. En una máquina de 16 GB unificados, un navegador con muchas pestañas basta para degradar todo.
3. Generar en CPU sin saberlo. Un driver actualizado, un desajuste CUDA/torch o hardware sin ruta GPU te tiran a CPU en silencio.
4. Modelo «varado» en CPU. Si cancelas una transcripción a medias, el modelo TTS puede quedarse en CPU y todas las generaciones siguientes van 10-50× más lentas hasta reiniciar el backend.

Palancas útiles

Diagnóstico rápido

• Todo va lento: mira el indicador de dispositivo. Si dice CPU, revisa drivers y que el build de torch sea el correcto (OMNIVOICE_TORCH_VARIANT=cuda|cpu|rocm).
• Ventana en blanco en Linux (AppImage): lanza con --disable-gpu.
• Descargas que fallan: ajusta el espejo de Hugging Face en Settings → Models → Hugging Face mirror. El mirror sirve la ruta clásica, no Xet.
• Verificar aceleración: uv run python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))".

Preguntas frecuentes