Tocamos instrumentos musicais com os dedos, mãos, bocas e pés. Essas extremidades humanas são usadas para tocar música porque são capazes de um controle muscular preciso. Nossos rostos têm mais de 50 músculos e são capazes de fazer dezenas de expressões faciais. Infelizmente, até agora, não fomos capazes de usá-los para fazer música. Bem, as coisas mudaram! As tecnologias de rastreamento facial mais recentes nos permitem fazer exatamente isso.
MusiFace a.k.a MusEmoji é um aplicativo exclusivo de rastreamento facial de realidade aumentada. Ele permite que você toque instrumentos musicais MIDI alterando suas expressões faciais. O aplicativo é um controlador e sintetizador MIDI. Possui 12 instrumentos MIDI padrão, que você pode tocar em suas faixas de oitavas completas. Ele possui controle de voz integrado e pode ser usado por pessoas com deficiência que desejam tocar música com as mãos livres.
O aplicativo MusiFace está localizado em 20 dos idiomas mais populares do mundo e apresenta 30 melodias de prática dessas regiões de idioma. Instruções detalhadas e vídeos instrutivos também estão disponíveis.
MusiFace também inclui um jogo e uma demonstração. Eles são empolgantes de tocar e permitem que você melhore facilmente suas habilidades musicais enquanto exercita seus músculos faciais.
MusiFace usa ARKit e a câmera TrueDepth integrada no iPad Pro e iPhone X e superior para fazer o rastreamento de rosto e cabeça.