Нейросети учится распознавать музыкальные инструменты
Опубликовано: 23.08.2018
Команда разработчиков из учебного заведения MIT анонсировала искусственный интеллект,получивший название « PixelPlayer ». Программное решение умеет выделять отдельный музыкальный инструмент из полноценной композиции, заставляя его звучать громче или отдельно от остальных.
Разведопрос: Сергей Марков о машинном обучении
Разработка строится на нейросетях, позволяя одним щелчком мыши выделить инструмент на видео, чтобы тот зазвучал громче. Получается, что « PixelPlayer » взаимодействует с медиа на трёх уровнях: анализирует видео-картинку, сопоставляет видео и аудио дорожку, повышает громкость на основе полученных данных.
Так, для обучения искусственного интеллекта в стенах MIT было предложено 714 видеороликов с выступлением музыкантов (свыше 60 часов) . Среди них есть, как сольные партии,так и оркестровые выступления. В общей сложности нейросетям « PixelPlayer » удалось распознать 11 музыкальных инструментов.
По материалам: