El Plan B de Ballantine’s con la Oreja de Van Gogh

PlanBallantines

Sólo podemos calificar como impresionante lo que hoy ha anunciado hoy el equipo de VoctroLabs a través del facebook de Vocaloid Bruno & Clara:

El PlanB consiste en que el grupo La Oreja de Van Gogh – Oficial ha compuesto una nueva canción (música y melodía) que todavía no tiene letra e invitan a todos los fans a participar en el proceso creativo de escribir la letra para esta canción. Hay una web donde puedes escuchar la canción y componer la letra, una vez compuesta la letra, y aquí es donde hemos participado nosotros, puedes escucharla sintetizada por una nueva voz que hemos creado para Vocaloid!. Así puedes hacerte una idea de como sonaría la letra que has compuesto cantada por un cantante real.

plan-b

La iniciativa está resultado un éxito tremendo y según anuncia la gente de El Plan B en su facebook, ya han alcanzado más de 450 letras distintas para la canción!

Si tienes más de 18 años y quieres participar regístrate en la web del PlanB. Una vez que tengas tu cuenta activada ya puedes comenzar a escribir la letra de la canción, que será interpretada  por una nueva voz Vocaloid femenina que ha preparado Voctrolabs.

La voz es muy bonita y similar al de Leire, la cantante de la Oreja de Van Goh, con un timbre brillante en los tonos altos y muy adecuada para el pop.

Aunque el resultado dista de ser perfecto, es interesante el resultado alcanzado y no está nada mal para ser algo completamente automático. Es de imaginar que para interpretar la canción con tu propia letra el equipo de Voctrolabs dispone de un software propio similar al Vocalistener en su concepto, en el que ya han preparado un archivo partiendo de la grabación original de Leire, recogiendo todos los cambios de sílabas, pitch, vibratos, y dinámica. Una partitura de interpretación a la que resta añadir tu propia letra como ya han hecho muchísimas personas.

Y tú, ¿no te animas a probar? Venga!

Anuncios

Voctrolabs en el SIMO, Madrid

Voctro-Labs ha acudido este año a participar en el Premio Vivero 2012 de la feria de tecnología Simo en Madrid. 14 Jóvenes empresas innovadoras ganan un stand en SIMO Network gracias al Premio Vivero. Todas ellas optan al Premio Especial de 9.000 euros que otorga Fundetec al mejor proyecto de la convocatoria.

He acudido a la feria SIMO para acompañar y ayudar dentro de lo posible a Voctro-Labs, ya que me pillaba en mi ciudad Madrid.

Ha sido una buena experiencia acompañar a Jordi Janer y Oscar Mayor (con su encantadora mujer Inés Campos) en el stand del pabellón 5 del Ifema.

Desde las 10 de la mañana y hasta las 7 de la tarde ininterrumpidamente, Voctro-Labs ha estado ahí, mostrando y explicando al público que pasaba el trabajo realizado desde hace más de 10 años en la Universidad Pompeu Fabra de Barcelona.

La feria SIMO ha cambiado mucho, ya no es lo que era, llena de stands y empresas con unas nuevas y asombrosas tecnologías, ahora es casi todo online, o con aplicaciones para aplicaciones, nada espectacular. Demasiadas charlas de empresas para empresas sobre cómo mejorar el rendimiento o las estadísticas… mucho bla bla bla y poca práctica la verdad.

Este año además estaba dedicada a la E-Justicia (que podían haber hecho una feria exclusiva para ese tema) nada interesante al público. ¿Y qué pinta en todo esto una empresa que presenta una tecnología de modulación y síntesis de voz como Voctro-Labs?

El premio finalmente ha sido para la empresa Ticarum, vinculada a la Universidad de Murcia, con un software homologado por la Agencia Tributaria que permite crear copias auténticas de documentos en formato electrónico y papel con la misma validez y eficacia que el original, ¡enhorabuena!

stand-voctrolabs

Stand de Voctrolabs

Y ahora vamos a lo que nos interesa. ¿Cual será la reacción de la gente que pasaba por el stand y veían a Bruno y Clara bailando y cantando?

Mi primer día fué un desastre, mi ordenador portatil no quiso arrancar y no pude hacer nada, solamente acompañar a Jordi , Inés y Oscar a ver a la gente pasar, era el día para profesionales y la verdad, no hubo mucha gente. Algún curioso se acercaba a preguntar ya que nuestro stand era distinto a los demás, como si Voctro-Labs se hubiera colado en una feria que no le perteneciera. Por la tarde estuve en casa reparando el ordenador y cargando todos mis archivos y canciones de Bruno y Clara para el día siguiente.

El segundo día estaba abierto a todo el público y se animó bastante por la mañana. En el monitor aparecían Bruno y Clara cantando y bailando las canciones de los usuarios y la gente se acercaba  mientras que Oscar y Jordi explicaban qué es esto de Vocaloid y quiénes son Bruno y Clara. La mayoría de la gente que se paraba a preguntar eran personas de mediana edad, incluso mayores, y por mucho que les explicábamos que Vocaloid es un software para PC con un cantante virtual que canta las canciones y letras que tu quieras o compongas, muchos creian que el software solamente representaba las notas musicales de la canción y que la voz era de un cantante real, no del programa.

La mayoría quedaba sorprendida y contenta de conocer este software, incluso nuestros vecinos de los otros stand y empresas nos preguntaban ya que les parecía curioso este software.

simo-oscar

Oscar Mayor explicando el trabajo de Voctrolabs

 

simo-jordi-j

Jordi Janer contestando preguntas sobre la transformación de voz

Yo también he colaborado explicando en que consistia Vocaloid, cómo funcionaba, etc. Incluso ya tengo nuevos “amigos” en mi canal de Youtube que me han buscado para ver mis canciones con Vocaloid, músicos amateurs que pasaban y veían por primera vez Vocaloid en una feria, contándome que han usado alguna vez Vocaloid con Miriam por ejemplo.

SONY DSC

Giuseppe mostrando cómo funciona Vocaloid

Los comentarios y reacción de la gente eran de sorpresa mayormente, alguien incluso dijo “solamente por ver esto ha merecido la pena venir al SIMO” y eso te anima a continuar y esforzarte más.

Han sido tres días geniales, intercambiando opiniones entre nosotros sobre las voces, los usuarios, las canciones y cómo mejorar y avanzar con Vocaloid.

En resumen, he pasado unos dias en la mejor compañia intentando acercar a la gente a Bruno y Clara, Vocaloid, el trabajo de modulación y síntesis de voz por Voctro-Labs y me gustaría repetir. Y para terminar os dejo con una fotografia con sorpresa…

simos-ines

Inés lleva las gafas de Clara!

Voctrolabs en TV

tincunaidea

Anoche el programa de televisión “Tinc una idea” ha emitido un reportaje realizado a los fundadores de Voctro-Labs. No te pierdas a Bruno y Clara en la televisión!.

En el reportaje aparecen los creadores de Bruno y Clara – Jordi Bonada, Merlijn Blaauw, Oscar Mayor y Jordi Janer- explicando qué es Vocaloid y cómo es el proceso de creación de las voces – grabación, edición y preparación de la base de datos con software propio -, y hacen mención al fenómeno Vocaloid en Japón y en el resto del mundo a través de sus personajes y su relevancia en las redes sociales.

Voctro-team

Jordi Bonada, Jordi Janer y Óscar Mayor, miembros de Voctrolabs

Como curiosidad podemos ver también a Facto y los amigos del norte, los compositores de la primera canción demo que Voctro-Labs publicó para la venta de Bruno y Clara, Juntos tú y yo.

Facto-y-Los-amigos-del-norte

Facto y Los amigos del norte, compositores de la canción “Juntos tú y yo”

Este es el vídeo del reportaje, está en catalán y pronto estará subtitulado:

Vocalistener tiene fecha de venta

Vocalistener

Yamaha ha anunciado que el plugin de trabajo Vocalistener estará disponible el próximo 19 de octubre, a un precio de 19.800 ¥, que al cambio son 193 € aproximadamente.

Como muchos ya sabéis, Vocalistener es una herramienta que hace posible que las voces Vocaloid canten de manera más realista, ya que es capaz de imitar la forma de cantar a partir de un archivo de audio que hayamos introducido en la aplicación.

¿Por qué Vocalistener?

Si ya tengo una buena grabación de un cantante, ¿para qué lo necesito?
Pues para que otra voz cante exactamente como tú. Imitará tu melodía y dinámica. Esto da lugar a muchos escenarios y posibilidades, entre otros:

  • Un cantante o banda graba los coros de sus canciones y los reemplaza por las voces virtuales.
  • Cantas bien pero tienes un timbre horroroso.
  • Doblaje de películas y videojuegos. Dramatización: Imagina a Terminator o a Clint Eastwood con la voz de Bruno o Clara!
  • Es algo nuevo, divertido y creativo. ¿Qué se te ocurre a tí?

Empezando con Vocalistener

Para obtener los mejores resultados es necesario de disponer de una buena grabación de voz cantada, bien entonada y sin efectos de procesamiento en la señal. Apuesto a que muchos usuarios comenzarán empleando acapellas de sus artistas favoritos que están disponibles en internet, no obstante puedo adelantar que el resultado no va a ser tan bueno, ya que dichas muestras de audio están coloreadas con efectos de compresión, reverb y delay que producirán un efecto no deseado. Pero especulemos sobre qué puede hacer:

Funciones principales

Por lo que he podido deducir sobre las imágenes mostradas del plugin, Vocalistener nos permitirá:

  • Corregir los errores en el tono y dinámica, dibujando o manipulando nosotros mismos las curvas de una manera sencilla ya que se muestra como referencia una representación espectral de los tonos detectados. Habrá que tener especial cuidado con los armónicos y con las notas más rasposas o sin tono definido.
  • Corregir el inicio de las sílabas o notas con unos  deslizadores horizontales dispuestos entre las sílabas para un ajuste rápido y preciso, ya que además de escuchar el resultado también se puede comparar visualmente mediante la representación gráfica de la onda de audio de origen con la de destino.

¿Se han olvidado de Bruno y Clara?

 ¡Esperemos que no! En principio Vocalistener parece estar sólamente disponible para las biblitecas de voces japonesas, por lo que sospecho que de alguna manera reconoce el idioma del audio y segmenta el comienzo de las sílabas para generar las notas. Cabe esperar que pronto anuncien su disponibilidad para las voces inglesas, ya que en la página de los desarrolladores existe un video con una muestra en inglés empleando la voz de Luka, pero con un resultado bastante penoso en la pronunciación, aunque la entonación y dinámica es exquisita.

El español es un lenguaje silábico y sencillo como el japonés, aunque con más fonemas. Dará un poco más de trabajo pero su implementación dependerá de las estrategias de marketing de Yamaha. Cuantas más copias de Vocalistener se vendan para el mercado japonés, antes podremos ver disponible Vocalistener para otros idiomas.

Conclusiones

Aunque tanto Giuseppe como yo consideramos que Vocalistener es una herramienta muy útil y aprovechable en manos expertas (no hace milagros, pero ayuda), el precio fijado de salida se nos antoja un tanto excesivo para la gran mayoría de los usuarios, máxime teniendo en cuenta la situación económica actual.

No hemos tenido la oportunidad de participar en las pruebas beta de este nuevo software, aunque yo lo he solicitado sin respuesta. En el pasado hemos hecho algunas pruebas con Melodine, que incorpora la opcion de generar un archivo MIDI  a partir de una melodia de una voz cantada con los ajustes de notas, tono y volumen para importar en Vocaloid. Como cabría esperar, los resultados no eran nada buenos y esperamos que con Vocalistener sea más sencillo poder crear una buena secuencia VSQX.

Por mi parte y para mejorar los resultados, además de mi oído regular empleo otras herramientas de audio especializadas y gratuítas en las que me apoyo para comparar los resultados para visualizar con más precisión dónde mejorar una pasaje melódico concreto, y los aplico en Vocaloid.

Al generar un VSQX con Vocalistener para Vocaloid tenemos la ventaja de poder hacer cantar a nuestro cantante virtual favorito, y ya que no todas las voces son iguales es posible que posteriormente se requieran algunos ajustes en el editor de Vocaloid.

Por nuestra experiencia con el uso de las voces inglesas, desconocemos si es posible el ajuste preciso de la duración de cada fonema en sílabas de 3 o más fonemas. Este aspecto es crítico para una correcta pronunciación sob re todo en inglés, una tarea a la que le dedicamos toda nuestra atención en cada trabajo. En el editor de Vocaloid supone demasiado tiempo de edición el partir sílabas para ajustar la duración de las vocales o consonantes, así que el deslizador de ajuste que hemos visto en Vocalistener parece muy interesante, pero sólo parece funcionar entre sílabas y sería deseable que existiese entre fonemas también.

Por otra parte me aventuro a especular que incluso sería posible editar canciones partiendo de una mezcla completa, ya que en la representación espectral del sonido es fácil ver el tono del cantante en muchas ocasiones. Se podría dibujar bastante bien aunque no podríamos hacer gran cosa con la dinámica, que sería editada de oído.

Mientras tanto, toca esperar!. No entiendo porqué el enuncio de su fecha de venta no viene acompañada de alguna demostración de audio o video como apoyo, lejos de los siempre espectaculares anuncios online de productos de audio realizados por otras compañías, aunque sean productos mediocres. Y Vocalistener no lo parece.

Conferencia de Voctrolabs en la Campus Party

campusparty2012

Desde el día 21 y hasta el 26 de Agosto se está celebrando en el aeropuerto de Tampelhof de Berlín laCampus Party , el mayor evento de internet a nivel mundial que desde 1997 reune a miles de apasionados de nuevas tecnologías de la información.

Entre las muchísimas conferencias disponibles en su canal de Youtube lógicamente la que más nos interesa en vocaloidmaster.com es la ofrecida por Jordi Janer de Voctrolabs bajo el título:

Vocal Illusions – Voice Synthesis and Transformation

Si sabes un poco de inglés podrás seguir con facilidad la charla con la ayuda de los textos de la presentación. Durante 40 minutos Jordi expone algunos de los resultados obtenidos de las investigaciones realizadas por el MTG-UPF (Music Technology Group de la Universitat Pompeu Fabra) en el campo de la síntesis y transformación de la voz:

Todo lo mostrado en la charla ya me era conocido desde hace tiempo ya que suelo devorar bastante información sobre la síntesis de voz y el modelado físico de instrumentos musicales, temática que me apasiona. De lo mostrado en la charla quiero destacar lo siguiente:

VDriven

Es un prototipo de aplicación en la que el usuario puede controlar mediante la voz la interpretación de un instrumento virtual monofónico. Esto es, el usuario canta o tararea sobre un micrófono conectado a VDriven, que convierte la voz en datos midi que pueden ser entendidos por un instrumento VST. Muy interesante y útil para añadir expresión a instrumentos de cuerda y viento, como un bajo, un violín, trompeta, flauta, etc.

Es mucho más sofisticado y complejo que las poco útiles aplicaciones que convierten audio a midi (he probado unas cuantas), éstas sólo interpretan el tono y volumen mientras que PDriven es capaz de describir las articulaciones características del instrumento de destino a partir de la voz u otra fuente de audio. Es una definición un poco basta, si queréis ampliar la información podéis leer la disertación de postgrado del Doctor Jordi Janer, Singin-driven interfaces for sound synthesizers.

Pero VDriven también sirve para hacer cantar a Vocaloid, este gran paso requiere reconocer fonéticamente el audio entrante, y no es tan sencillo como parece. Por lo que se ve en este video se emplea una grabación de canto y una transcripción fonética de la letra, información que VDriven emplea para hacer cantar a Bruno casi en tiempo real y de una manera muy próxima al original.

Ya queda  poco menos para que podamos cantar directamente en un micrófono y obtengamos una pista editada en Vocaloid!. En el estado de desarrollo de VDriven visto en el vídeo sería necesario corregir las extrañas oscilaciones de tono, pero creo que ahorraría mucho trabajo. Eso sí, si eres un buen cantante!

Respecto a la capacidad de VDriven para controlar intrumentos VST con la voz, a título personal me gustaría conocer el resultado que se podría obtener con los instrumentos de Samplemodeling. Para mi criterio, los mejores instrumentos de viento que se pueden encontrar hoy en el mercado. Suenan increíblemente bien y están tan genialmente diseñados que es posible interpretar frases realistas en un teclado, por lo que me parece de menor dificultad lograr buenos resultados de salida empleando audio de intrumentos reales como entrada.

Modelos de expresión

Finalmente! Aunque poco se sabe al respecto sobre este tema me alegra saber que por fín hay avances presentables en este campo. A partir de una partitura o archivo midi importado en Vocaloid Editor, con el uso de modelos de expresión la melodía automáticamente cobra vida y es más realista. 

Para ello se realiza un análisis de la intrepretación de fragmentos de melodías  grabadas de cantantes reales y se genera una buena base de datos que contiene información referente a cambios dinámicos, legatos, portamentos, vibratos, etc. Esto es, un modelo de expresión contienen la información tipo quedescribe cómo un cantante real interpreta una melodía, teniendo en cuenta el género musical y el tempo.Sencillamente genial!

No obstante aún queda trabajo. El ejemplo mostrado con la voz masculina en inglés me resultó muy interesante, aunque lejos de ser satisfactorio. Noté muy lentos algunos legatos y portamentos, flojos los vibratos y la intrepretación con insuficiente cambio dinámico. Haría bastantes correcciones a nivel fonético también, el idioma inglés es más dificil de editar ya que hay que ajustar mucho más los fonemas que en castellano. Aún así no es nada grave si se puede retocar y desde luego ahorraría mucho trabajo!

Sobre la implementación de modelos de expresión sólo conozco 2 instrumentos virtuales que emplean dicho principio:

Jamstix para baterías – bateristas modelados, cada uno con su forma particular de tocar, en muchos estilos. Muy lograda la implementación del auto acompañamiento.

Synful – Una orquesta de modelado físico que da el pego.

¿Qué os pareció la nueva voz inglesa? A mí me gustó mucho, un buen timbre que me recuerda mucho a Bruno. A falta de más información le llamaré John Doeloid, a ver si le dan pronto los papeles, así lo podré contratar para cantar algunas de las  canciónes en inglés que tengo preparadas que no encajan con el tono y timbre de Sweet Ann.

Growl, breath!

Qué sería de muchas canciones sin estos efectos producidos por la voz!

Growl es el término inglés que se emplea para definir el efecto de la voz rasposa, muy empleado en principalmente en géneros como blues, soul, etc, que transmite rabia y energía a la interpretación. Han puesto un buen ejemplo con la canción de Joe Cocker, Unchain my heart. Es un efecto vocal bastante complicado de reproducir en Vocaloid y los resultados pueden ser muy dispares y poco naturales, ya veremos cómo se ha resuelto la implementación. Para incluir este efecto tengo un temazo ya preparado realmente increíble.

Breath, echo en falta en Vocaloid una mejor implementación de este efecto para lograr una voz más susurrante o con más explusión de aire, muy apropiado para las baladas o grandes cambios dinámicos en los comienzos o finales de frases melódicas. Este efecto no lo pude apreciar bien por la deficiente calidad del audio, pero parece ser que es modelado y vas más allá de lo que se podría conseguir subiendo BRE y modificando otros parámetros en Vocaloid.

Aunque he leído que de estos efectos ya tenían un modelo imperfecto hace años, todo parece indicar tras esta presentación que han logrado un acercamiento a su implementación.

Nota final

Buen trabajo Voctrolabs, pero por favor, debéis preparar mejores demostraciones de audio para las presentaciones! 😉

Entrevista a VoctroLabs en Catalunya Ràdio

VoctrolabsCatalunyaRadio

¿Novedades tecnológicas en el mundo Vocaloid para este año?

En la entretenida entrevista que el programa Generació Digital de Catalunya Ràdio ha realizado a Jordi Bonada y Oscar Mayor, hemos escuchado varios cortes de canciones realizadas por usuarios y otras en las que emplean una tecnología propia similar a Vocalistener. También quiero entender que pronto veremos nuevas voces en Español para Vocaloid. Que sean parejita otra vez por favor!

Y no os perdáis la divertida imitación del genial humorista catalán Eugenio que hace Bruno, que también se marca un rap de la leche!:

El audio de la entrevista está en catalán con subtítulos  que podéis activar en el reproductor:

¿Qué os ha parecido?
Por mi parte espero ver cuanto antes una versión comercial de su programa tipo Vocalistener.
Como muchos ya sabéis, Vocalistener analiza la interpretación de un cantante a partir de una grabación de audio y la aplica a un archivo de Vocaloid. El resultado: una pista de Vocaloid cantando exactamente igual que el artista escogido.

En un vídeo que he visto de la aplicación Vocalistener en su versión japonesa , dispone de herramientas para ajustar las notas de la pista Vocaloid con el audio original en cualquier momento, si no nos convence el resultado obtenido. Algo que no me gusta demasiado es la excesiva información que genera en los parámetros de dinámica (DYN) y tono (PIT) para los portamentos y vibratos, que convierten el fichero VSQX en algo ineditable en Vocaloid, aunque necesaria para clonar la interpretación.

Creo que con otro enfoque similar tal vez se podría lograr una aproximación ponderada e idealizada con la mínima información simplemente dividiendo más las notas para generar los portamentos y convertir los vibratos a vibratos de Vocaloid, aunque parcialmente ya que los vibratos de Vocaloid no permiten control sobre el trémolo, muy reconocible sobre todo en los vibratos a bajo volumen.

Desde mi punto de vista, la aparición en escena de esta nueva tecnología ampliará el mercado de Vocaloid, con un mayor uso tanto por aficionados como por profesionales de la industria audiovisual. Por ejemplo, crear coros o voces solistas dobladas por Vocaloid a partir de grabaciones del cantante de un grupo musical, doblaje para anuncios, películas y videojuegos… imagino incluso un interesante mercado para los grandes y pequeños sellos discográficos, realizando versiones de sus grandes éxitos cantados por nuevas voces Vocaloid, en diferentes tonalidades, etc. Veremos…

Voctrolabs lanza el plugin DoubleDur

DoubleDur

Este sencillo pero útil plugin lanzado por Voctrolabs permite doblar la duración de las notas y los eventos de los ficheros VSQX. Por la descripción puede parecer no muy interesante, pero veamos la utilidad práctica de este estupendo plugin, DoubleDur:

De vez en cuando cargo proyectos incompletos en el editor de Vocaloid para valorar si continuo trabajando sobre ellos. Así que esta semana rescaté una canción que había comenzado hace semanas para la voz de Clara, una preciosa balada que dejé aparcada pues me resultaba difícil posicionar las notas en el momento correcto, además de que en aquel tiempo no tenía aún la suficiente experiencia.

Me puse manos a la obra: preparé una buena taza de café caliente y comencé a editar con gusto la canción, el resultado mejoraba por momentos pero enseguida reparé en el error cometido al abordar el proyecto. El tempo de la canción es lento, 73 BPM, con lo cual la rejilla de cuantización enseguida resultó insuficiente para ajustar correctamente las sílabas cortas, los diptongos, etc. ¡Era necesario tener una rejilla más fina!

Sólo había una posible solución: comenzar la edición del proyecto nuevamente, doblando la duración de las notas y modificar el tempo a 146 BPM. De esta manera lograría tener más resolución de cuantización pero debería sacrificar todo el trabajo anterior.

Entonces me puse en contacto vía e-mail con el equipo de Voctrolabs y tras explicarles el caso accedieron amablemente a programar tan sencillo pero útil plugin, el cual para mi sorpresa recibí al día siguiente en mi buzón de correo. Enseguida lo probé sobre la canción y ¡voilá!, apliqué el plugin, doblé el tempo y problema resuelto, ahora ya puedo continuar con el trabajo: la colocación de las notas ahora es más fácil y en tempo. En breve publicaré el resultado, estoy seguro de que os encantará lo bien que puede a llegar a cantar Clara.

Forma de uso

Aplicar sobre proyectos comenzados en los que el tempo sea inferior a 100 BPM y exista dificultad en el ajuste de las notas. Realmente es útil para cualquier proyecto en el que sea necesario una divisón mayor de rejilla de cuantización. Es necesario editar el tempo manualmente e introducir el doble del valor anterior, ya que los job plugin no pueden modificar el tempo de las canciones.

Descarga el plugin DobleDur de Voctrolabs AQUÍ

Gracias a todo el equipo de Voctrolabs por la ayuda prestada!