私たちは指、手、口、足で楽器を演奏します。これらの人間の四肢は、筋肉を細かく制御できるため、音楽の再生に使用されます。私たちの顔には50以上の筋肉があり、何十もの表情を作ることができます。残念ながら、これまで音楽を作るためにそれらを使用することはできませんでした。さて、物事は変わりました！最新の顔追跡技術により、ついにそれが可能になりました。
MusiFace a.k.a MusEmojiは、ユニークな拡張現実フェイストラッキングアプリです。表情を変えることでMIDI楽器を演奏することができます。アプリはMIDIコントローラー＆シンセサイザーです。 12の標準MIDI楽器を備えており、全オクターブ範囲で演奏できます。音声コントロールが内蔵されており、完全にハンズフリーで音楽を再生したい障害者が使用できます。
MusiFaceアプリは、世界で最も人気のある20の言語にローカライズされており、それらの言語地域からの30の練習メロディーを備えています。詳細な説明と説明ビデオも利用できます。
MusiFaceにはゲームとデモも含まれています。 彼らは演奏するのがエキサイティングで、顔の筋肉を鍛えながら音楽制作のスキルを簡単に向上させることができます。
MusiFaceは、ARKitとiPadProおよびiPhoneX以降の組み込みTrueDepthカメラを使用して、顔と頭の追跡を行います。