We spelen muziekinstrumenten met onze vinger, handen, mond en voeten. Deze menselijke ledematen worden gebruikt bij het spelen van muziek omdat ze in staat zijn tot fijne spiercontrole. Onze gezichten hebben meer dan 50 spieren en kunnen tientallen gezichtsuitdrukkingen maken. Helaas hebben we ze tot nu toe niet kunnen gebruiken voor het maken van muziek. Nou, de dingen zijn veranderd! Met de nieuwste technologieën voor het volgen van gezichten kunnen we dat eindelijk doen.
MusiFace a.k.a MusEmoji is een unieke Augmented Reality Face Tracking-app. Het stelt u in staat om MIDI-muziekinstrumenten te bespelen door uw gezichtsuitdrukkingen te veranderen. De app is een MIDI-controller en synthesizer. Het beschikt over 12 standaard MIDI-instrumenten, die u in hun volledige octaafbereik kunt spelen. Het heeft ingebouwde stembediening en kan worden gebruikt door mensen met een handicap die volledig handsfree muziek willen afspelen.
De MusiFace-app is gelokaliseerd in 20 van s werelds populairste talen en bevat 30 oefenmelodieën uit die taalgebieden. Gedetailleerde instructies en instructievideos zijn ook beschikbaar.
MusiFace bevat ook een game en een demo. Ze zijn opwindend om te spelen en stellen u in staat om gemakkelijk uw muziekvaardigheden te verbeteren terwijl u uw gezichtsspieren traint.
MusiFace gebruikt ARKit en de ingebouwde TrueDepth-camera in iPad Pro en iPhone X en hoger om het gezicht en het hoofd te volgen.