В Ростове робота научили понимать жесты с помощью российского ПО

Учёные ДГТУ (Ростов-на-Дону)и МГТУ «Станкин» (Москва) разработали программное обеспечение, позволяющее управлять промышленным роботом жестами. Система использует обычную камеру и датчик глубины, распознаёт 10 жестовых команд и передаёт их на контроллер манипулятора. Разработка полностью отечественная, без импортных решений.

Камера фиксирует картинку, датчик измеряет расстояние до объектов. Вместе они компенсируют недостатки друг друга (например, плохое освещение). Нейросеть анализирует движения и преобразует их в вектор признаков — дескриптор. Затем контроллер робота выполняет заложенную команду: взять деталь, переместить, покрасить и т.д.

Систему уже обучили на 10 жестовых командах. Она подходит для погрузки, сборки, окраски, лазерной обработки, маркировки. В перспективе это позволит заменить импортные аналоги на российских производствах.

«Учёные ДГТУ научили робота понимать жесты. Разработка выполнена совместно с МГТУ "Станкин" в рамках гранта Российского научного фонда. Теперь отечественные промышленные манипуляторы смогут распознавать команды оператора так же, как зарубежные аналоги, но без использования импортных решений», — сказано в сообщении пресс-службы ВУЗа.