Wir spielen Musikinstrumente mit Finger, Händen, Mund und Füßen. Diese menschlichen Extremitäten werden beim Musizieren verwendet, weil sie eine feine Muskelkontrolle ermöglichen. Unsere Gesichter haben mehr als 50 Muskeln und können Dutzende von Gesichtsausdrücken machen. Leider konnten wir sie bisher nicht zum Musizieren verwenden. Nun, die Dinge haben sich geändert! Mit den neuesten Face-Tracking-Technologien können wir endlich genau das tun.
MusiFace a.k.a MusEmoji ist eine einzigartige Augmented Reality Face Tracking App. Sie können MIDI-Musikinstrumente spielen, indem Sie Ihre Mimik ändern. Die App ist ein MIDI-Controller und Synthesizer. Es verfügt über 12 Standard-MIDI-Instrumente, die Sie in ihren vollen Oktavbereichen spielen können. Es verfügt über eine integrierte Sprachsteuerung und kann von behinderten Menschen verwendet werden, die Musik vollständig freihändig abspielen möchten.
Die MusiFace-App ist in 20 der beliebtesten Sprachen der Welt lokalisiert und bietet 30 Übungsmelodien aus diesen Sprachregionen. Detaillierte Anweisungen und Anleitungsvideos sind ebenfalls verfügbar.
MusiFace enthält auch ein Spiel und eine Demo. Sie sind aufregend zu spielen und ermöglichen es Ihnen, Ihre Fähigkeiten zum Musizieren zu verbessern, während Sie Ihre Gesichtsmuskeln trainieren.
MusiFace verwendet ARKit und die integrierte TrueDepth-Kamera in iPad Pro und iPhone X und höher, um Gesichts- und Kopfverfolgung durchzuführen.