Управление роборукой при помощи leap motion

в 12:28, , рубрики: Leap Motion, python, Гаджеты. Устройства для гиков, робототехника, метки: ,

Управление роборукой при помощи leap motion

В прошлом году я собрал роборуку, написал для неё «драйвер» для linux, научил держать разные предметы. И как-то забыл про неё. Но вчера мне доставили leap motion и придумалась новая идея — научиться управлять роборукой по средством движений своих рук.

Чем нужно управлять

У роборуки есть:

  • база — может крутиться по и против часовой стрелки;
  • плечо — двигаться вверх и вниз;
  • локоть — двигаться вверх и вниз;
  • запястье — двигаться вверх и вниз;
  • клешни — открываться и закрываться.

Для всего этого «драйвер» предоставляет простое api:

from roboarm import Arm

arm = Arm()
arm.base.rotate_clock(3)
arm.elbow.up(1)
arm.grips.open(2)

Первая реализация

Управление роборукой при помощи leap motion

Leap motion умеет определять руки, пальцы и их направление.
Поэтому я решил привязать движения к пальцам:

Часть роборуки Моя рука Количество пальцев Ось
База Правая 4 или 5 X
Плечо Левая 4 или 5 Y
Локоть Правая 2 или 3 Y
Запястье Любая 1 Y
Клешни Левая 2 или 3 X

Ничего не вышло. Leap motion правильно определял, когда на руке 1-2 пальца, но когда больше — случайное значение от 1 до 5.

Вторая реализация

Leap motion отдаёт координаты рук в определённых границах, у меня примерно от -200 до 200 по X и от 0 до 400 по Y. Эту область я разбил на десять равных частей и привязал к ним действия:

Основа по часовой Плечо вверх Локоть вверх Запястье вверх Открыть клешни
Основа против часовой Плечо вниз Локоть вниз Запястье ввниз Закрыть клешни

Эта реализация оказалась рабочей =)

Что получилось

Видео с результатом, где роборука пытается поднять коробочку:

Ссылки

Роборука owi robotic arm.
Leap motion.
«Драйвер».
Исходный код реализации.

Автор: nvbn

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js