«Октава Дизайн и Маркетинг» презентовала отечественную фиджитал-разработку, превращающую движение в звук

R&D-центр «Октава Дизайн и Маркетинг» представил уникальную технологию создания музыкальных произведений в реальном времени – цифровую систему «Танцгенератор». В основе разработки – фиджитал-телхнологии, объединяющие цифровое и физическое пространства. Программно-аппаратный комплекс без временной задержки создает музыку, используя алгоритмы обработки голоса и возможности компьютерного зрения, определяющего танцевальные движения людей в зале. Презентация проекта состоялась в историческом особняке «Дом Номер Один» на Якиманке в Москве. Вокальные партии исполнила меццо-сопрано Большого театра Элеонора Водянова.

Проект направлен на развитие отечественных фиджитал-технологий. Это особенно важно в свете грядущих «Игр Будущего» – масштабного спортивного события, построенного на концепции фиджитал и поддержанного Президентом Российской Федерации Владимиром Путиным.

Технически проект выглядит так: на танцпол направлена 2D-камера, изображение с нее анализируется алгоритмами компьютерного зрения, определяющими движения. Звуковая картина в помещении фиксируется при помощи радиосистемы Октава OWS-U1200H. Специально обученная нейросеть соединяет звучание окружающего пространства – фоновый шум, разговор гостей (без распознавания речи), шаги и т.д. – с движениями танцующего человека, а также голосом исполнителя. Вокал дополняет мелодическую основу генерируемого искусственным интеллектом в режиме реального времени музыкального произведения.

«Появление искусственного интеллекта дало толчок развитию во многих отраслях науки и технологий. Мы решили совместить искусство и технические решение, став идеологом создания первого программного продукта, который сможет генерировать музыку на основе собираемых "на ходу" данных», – отметила генеральный директор компании «Октава Дизайн и Маркетинг» Любовь Стальнова.

«Октава Дизайн и Маркетинг» объединила несколько команд разработчиков, чтобы создать уникальную технологию написания музыки. В реализации интерактивного проекта применены алгоритмы компьютерного зрения, обработки голоса в реальном времени, алгоритмы генерации музыки и обработки видео, оригинальные синтезаторы и скрипты. Также была использована новая цифровая вокальная радиосистема Октава OWS-U1200H, отлично зарекомендовавшая себя на рынке аудиооборудования. 

«Технология является воплощением философии живых пространств, главная идея которой заключается в принципиальной интерактивности любой современной техно-среды и возможности управлять параметрами данной среды с помощью голоса и физических действий», – рассказал один из разработчиков программы Андрей Лазоряк.

Техническим партнером проекта выступила компания «ОНТЕГРА», обеспечившая мероприятие современной техникой и ИТ-оборудованием. Также организация оказала содействие в создании специального программного обеспечения.

«Помимо реализации интеграционных проектов, мы стараемся делать что-то творческое. Например, организуем фестиваль электронной музыки. В коллаборации с ведущим производителем электроакустики – "Октавой" – развиваем фиджитал-технологии, представленные проектом "Танцгенератор". Такие инициативы на стыке культуры, искусства и технологий сейчас востребованы в России», – сказал генеральный директор компании «ОНТЕГРА» Сергей Романов.