Textos largos<\/strong>: por encima de unos 2000 caracteres\npuede empezar a degenerar o mezclar voces.<\/li>\n<\/ul>\nEl stack completo<\/h1>\n
La cadena de herramientas que mont\u00e9 en NixOS:<\/p>\n
\n\n\n| Herramienta<\/th>\n | Funci\u00f3n<\/th>\n<\/tr>\n<\/thead>\n |
\n\n| F5-TTS<\/td>\n | El motor de clonaci\u00f3n zero-shot<\/td>\n<\/tr>\n |
\nffmpeg<\/code><\/td>\n| Convertir audios al formato que F5 quiere<\/td>\n<\/tr>\n | \nwhisper.cpp=| Transcribir muestras autom\u00e1ticamente | | =ffprobe<\/code><\/td>\n| Inspeccionar duraciones, formatos, codecs<\/td>\n<\/tr>\n | \n| PipeWire<\/td>\n | Capturar audio del sistema en directo<\/td>\n<\/tr>\n | \npaplay<\/code><\/td>\n| Reproducir resultados<\/td>\n<\/tr>\n | \nuv<\/code> (Python)<\/td>\n| Gestor de venv y deps<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Todo libre, todo local. Lo \u00fanico de pago aqu\u00ed podr\u00eda ser la\nelectricidad y la GPU.<\/p>\n Hardware necesario<\/h2>\nHe probado en una RTX 2060 con 6GB de VRAM. Funciona sin problemas\npara muestras de hasta 20 segundos y textos de hasta unos 2000\ncaracteres. Cualquier GPU NVIDIA con 4GB o m\u00e1s deber\u00eda ir.<\/p>\n Sin GPU, olv\u00eddate. Pasa a Kokoro o Piper.<\/p>\n Instalaci\u00f3n<\/h1>\nF5-TTS se instala con pip<\/code> en un venv.\nYo lo dej\u00e9 fuera del flake de NixOS para no atarme las manos con el\nsistema de paquetes. Lo encapsul\u00e9 en un script bash que hace el setup\nautom\u00e1tico la primera vez.<\/p>\nEl proceso de instalaci\u00f3n:<\/p>\n <\/a># 1. Venv con Python 3.11<\/span><\/span>\n<\/a>uv<\/span> venv --python<\/span> 3.11 ~\/f5-tts\/venv<\/span>\n<\/a><\/span>\n<\/a># 2. F5-TTS (arrastra torch, transformers, etc \u2014 son ~5 GB)<\/span><\/span>\n<\/a>VIRTUAL_ENV<\/span>=<\/span>~\/f5-tts\/venv uv<\/span> pip install f5-tts<\/span>\n<\/a><\/span>\n<\/a># 3. Modelo en espa\u00f1ol (~1.3 GB de checkpoint + vocab)<\/span><\/span>\n<\/a>~\/f5-tts\/venv\/bin\/python3<\/span> -c<\/span> "<\/span><\/span>\n<\/a>from huggingface_hub import hf_hub_download<\/span><\/span>\n<\/a>hf_hub_download(repo_id='jpgallegoar\/F5-Spanish',<\/span><\/span>\n<\/a> filename='model_1200000.safetensors',<\/span><\/span>\n<\/a> local_dir='\/home\/user\/f5-tts\/es-model')<\/span><\/span>\n<\/a>hf_hub_download(repo_id='jpgallegoar\/F5-Spanish',<\/span><\/span>\n<\/a> filename='vocab.txt',<\/span><\/span>\n<\/a> local_dir='\/home\/user\/f5-tts\/es-model')<\/span><\/span>\n<\/a>"<\/span><\/span><\/code><\/pre><\/div>\nEspacio total en disco: unos 7 GB la primera vez. Tiempo: 5 a 15\nminutos seg\u00fan tu conexi\u00f3n.<\/p>\n Whisper para transcripciones<\/h2>\nSi vas a clonar voces necesitas transcribir las muestras (lo veremos\nen un momento). Para eso uso whisper.cpp<\/code>\ncon el modelo small<\/code> en espa\u00f1ol. En\nNixOS:<\/p>\n<\/a>environment.<\/span>systemPackages = [<\/span> pkgs.<\/span>whisper-cpp ]<\/span>;<\/span><\/code><\/pre><\/div>\nY descargas el modelo:<\/p>\n <\/a>mkdir<\/span> -p<\/span> ~\/.local\/share\/whisper\/models<\/span>\n<\/a>curl<\/span> -L<\/span> -o<\/span> ~\/.local\/share\/whisper\/models\/ggml-small.bin \\<\/span><\/span>\n<\/a> https:\/\/huggingface.co\/ggerganov\/whisper.cpp\/resolve\/main\/ggml-small.bin<\/span><\/code><\/pre><\/div>\nC\u00f3mo funciona F5-TTS por\ndentro<\/h1>\nAntes de la receta, dos minutos de teor\u00eda que ahorran muchos intentos\nfallidos.<\/p>\n F5-TTS es un modelo basado en flow matching<\/code>. Le das dos cosas:<\/p>\n\n- Audio de referencia<\/strong> (ref_audio<\/code>): una muestra de la voz que quieres\nclonar.<\/li>\n
- Texto de referencia<\/strong> (ref_text<\/code>): la transcripci\u00f3n EXACTA de ese\naudio.<\/li>\n<\/ol>\n
A partir de ah\u00ed, le pides un texto nuevo (gen_text<\/code>) y genera audio que suena como la\npersona del ref_audio<\/code> leyendo ese gen_text<\/code>.<\/p>\nLa clave que cuesta entender al principio: el ref_text<\/code> no es un par\u00e1metro opcional<\/strong>.\nEs la herramienta que el modelo usa para alinear los fonemas de la\nmuestra con el espacio de embeddings. Si la transcripci\u00f3n no coincide\ncon el audio palabra por palabra, la clonaci\u00f3n pierde calidad\nr\u00e1pido.<\/p>\nEsto explica un comportamiento que te volver\u00e1 loco si no lo sabes: si\ntranscribes \"hola que tal\" y en el audio dice \"hola qu\u00e9 tal\", el modelo\nse desorienta. Yo aprend\u00ed esto a base de hostias.<\/p>\n La regla de oro: 12 a 15\nsegundos<\/h1>\nLa duraci\u00f3n de la muestra es probablemente la decisi\u00f3n m\u00e1s importante\nde todo el proceso. Despu\u00e9s de probar de todo, esta es la tabla:<\/p>\n \n\n\n| Duraci\u00f3n<\/th>\n | Resultado<\/th>\n<\/tr>\n<\/thead>\n | \n\n| Menos de 8s<\/td>\n | Voz plana, rob\u00f3tica, sin entonaci\u00f3n<\/td>\n<\/tr>\n | \n| 8 a 10s<\/td>\n | Aceptable pero pierde matices<\/td>\n<\/tr>\n | \n12 a 15s<\/strong><\/td>\n\u00d3ptimo: timbre + prosodia + naturalidad<\/strong><\/td>\n<\/tr>\n\n| 15 a 18s<\/td>\n | Bien, pero F5 puede empezar a truncar internamente<\/td>\n<\/tr>\n | \n| M\u00e1s de 18s<\/td>\n | F5 trunca o degrada. Cortar.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Pero hay un detalle m\u00e1s importante que la duraci\u00f3n: el rango\npros\u00f3dico<\/strong> de la muestra. Una frase de 12 segundos con\ndeclarativa, \u00e9nfasis, pausa y pregunta vale infinitamente m\u00e1s que un\nmon\u00f3logo plano de 20 segundos.<\/p>\nLa mejor muestra que consegu\u00ed ten\u00eda 11 segundos y conten\u00eda:<\/p>\n | | | | | | | |