Нейросети учится распознавать музыкальные инструменты

Команда разработчиков из учебного заведения MIT анонсировала искусственный интеллект,получивший название «PixelPlayer». Программное решение умеет выделять отдельный музыкальный инструмент из полноценной композиции, заставляя его звучать громче или отдельно от остальных.

Разработка строится на нейросетях, позволяя одним щелчком мыши выделить инструмент на видео, чтобы тот зазвучал громче. Получается, что «PixelPlayer» взаимодействует с медиа на трёх уровнях: анализирует видео-картинку, сопоставляет видео и аудио дорожку, повышает громкость на основе полученных данных.

Так, для обучения искусственного интеллекта в стенах MIT было предложено 714 видеороликов с выступлением музыкантов (свыше 60 часов). Среди них есть, как сольные партии,так и оркестровые выступления. В общей сложности нейросетям «PixelPlayer» удалось распознать 11 музыкальных инструментов.

По материалам: https://hightech.fm/2018/07/06/mit