Na instrumentach gramy palcami, rękami, ustami i stopami. Te ludzkie kończyny są używane do odtwarzania muzyki, ponieważ są w stanie precyzyjnie kontrolować mięśnie. Nasze twarze mają ponad 50 mięśni i są w stanie uzyskać dziesiątki mimiki. Niestety do tej pory nie mogliśmy ich używać do tworzenia muzyki. Cóż, wszystko się zmieniło! Najnowsze technologie śledzenia twarzy w końcu pozwalają nam to zrobić.
MusiFace a.k.a MusEmoji to wyjątkowa aplikacja do śledzenia twarzy w rzeczywistości rozszerzonej. Umożliwia grę na instrumentach muzycznych MIDI, zmieniając wyraz twarzy. Aplikacja jest kontrolerem i syntezatorem MIDI. Posiada 12 standardowych instrumentów MIDI, na których można grać w pełnym zakresie oktaw. Posiada wbudowane sterowanie głosowe i może być używany przez osoby niepełnosprawne, które chcą odtwarzać muzykę bez użycia rąk.
Aplikacja MusiFace jest zlokalizowana w 20 najpopularniejszych językach świata i zawiera 30 melodii do ćwiczeń z tych regionów językowych. Dostępne są również szczegółowe instrukcje i filmy instruktażowe.
MusiFace zawiera również grę i wersję demonstracyjną. Są ekscytujące do grania i pozwalają łatwo poprawić umiejętności tworzenia muzyki podczas ćwiczeń mięśni twarzy.
MusiFace wykorzystuje ARKit i wbudowaną kamerę TrueDepth w iPadzie Pro i iPhonie X i nowszych do śledzenia twarzy i głowy.