Мы играем на музыкальных инструментах пальцами, руками, ртом и ногами. Эти человеческие конечности используются при воспроизведении музыки, потому что они способны управлять мышцами. На наших лицах более 50 мускулов, и они способны делать десятки мимик. К сожалению, до сих пор мы не могли использовать их для создания музыки. Что ж, все изменилось! Новейшие технологии отслеживания лиц наконец-то позволяют нам делать именно это.
MusiFace a.k.a MusEmoji - это уникальное приложение для отслеживания лиц в дополненной реальности. Это позволяет вам играть на музыкальных инструментах MIDI, изменяя выражение лица. Приложение представляет собой MIDI-контроллер и синтезатор. Он включает 12 стандартных MIDI-инструментов, на которых вы можете играть в их полных октавных диапазонах. Он имеет встроенное голосовое управление и может использоваться людьми с ограниченными возможностями, которые хотят воспроизводить музыку без помощи рук.
Приложение MusiFace локализовано на 20 самых популярных языков мира и содержит 30 практических мелодий из этих языковых регионов. Также доступны подробные инструкции и обучающие видео.
MusiFace также включает игру и демоверсию. В них интересно играть, и они позволяют легко улучшить свои музыкальные навыки, тренируя лицевые мышцы.
MusiFace использует ARKit и встроенную камеру TrueDepth в iPad Pro и iPhone X и выше для отслеживания лица и головы.