Tocamos instrumentos musicales con los dedos, las manos, la boca y los pies. Estas extremidades humanas se utilizan para tocar música porque son capaces de controlar los músculos con precisión. Nuestros rostros tienen más de 50 músculos y son capaces de realizar decenas de expresiones faciales. Desafortunadamente hasta ahora no hemos podido usarlos para hacer música. Bueno, ¡las cosas han cambiado! Las últimas tecnologías de seguimiento facial finalmente nos permiten hacer exactamente eso.
MusiFace a.k.a MusEmoji es una aplicación única de seguimiento facial de realidad aumentada. Le permite tocar instrumentos musicales MIDI cambiando sus expresiones faciales. La aplicación es un controlador y sintetizador MIDI. Cuenta con 12 instrumentos MIDI estándar, que puede tocar en sus rangos de octava completos. Tiene control de voz incorporado y puede ser utilizado por personas discapacitadas que quieran reproducir música con las manos libres.
La aplicación MusiFace está localizada en 20 de los idiomas más populares del mundo y cuenta con 30 melodías de práctica de esas regiones lingüísticas. También se encuentran disponibles instrucciones detalladas y videos instructivos.
MusiFace también incluye un juego y una demostración. Son emocionantes de tocar y le permiten mejorar fácilmente sus habilidades para hacer música mientras ejercita sus músculos faciales.
MusiFace usa ARKit y la cámara TrueDepth incorporada en iPad Pro y iPhone X y versiones posteriores para realizar un seguimiento de la cara y la cabeza.