УДК 004.3

ОБЗОР ВОЗМОЖНОСТЕЙ ИНФРАКРАСНОГО ДАТЧИКА «LEAP MOTION» ДЛЯ РАСПОЗНАВАНИЯ ЖЕСТОВЫХ ЯЗЫКОВ

№22,

Технические науки

Матюшечкин Дмитрий Сергеевич

Научный руководитель: Орлова Ю. А., доктор технических наук.

Ключевые слова: РАСПОЗНАВАНИЕ РУК; ЖЕСТОВЫЕ ЯЗЫКИ; АЛЬТЕРНАТИВНАЯ КОММУНИКАЦИЯ; LEAP MOTION; HAND RECOGNITION; SIGN LANGUAGES; ALTERNATIVE COMMUNICATION.

Аннотация: В данной статье рассмотрен инфракрасный сенсор «Leap Motion» с точки зрения решения задачи распознавания жестовых языков. В работе выделены основные требования к устройству, которое может быть использовано для решения данной задачи. Проведен анализ возможностей сенсора и выявлены его преимущества и недостатки при работе с языком жестов.

Жестовый язык — самостоятельный язык для осуществления коммуникации, состоящий из жестов, каждый из которых производится руками [1].

Для осуществления распознавания жестовых языков необходимо осуществлять захват движения рук и определять динамику перемещения кистей и пальцев. Распознавание рук и слежение за их перемещением может дать возможность обучения нейронной сети на основании собранных данных, а так же распознавать захваченные жесты и переводить их в текстовые сообщения при помощи обученной нейронной сети. Основными требованиями к системе захвата движения кистей рук являются:
— определение контуров кистей обеих рук;
— определение положение кистей рук в пространстве;
— определение взаиморасположения пальцев на обеих руках;
— отслеживание динамики изменения положения рук.

От точности и подробности полученных данных зависит качество обучения нейронной сети и качество перевода сообщений на языке жестов.

«Leap Motion» — это датчик, позволяющий взаимодействовать с компьютером без клавиатуры и мыши. Конструктивно «Leap Motion» – это небольшой блок, под тонированным стеклом которого расположены инфракрасные датчики, с их помощью создается специальное поле, улавливающее движение рук или одной руки.

На рисунке 1 представлено расположение рук относительно датчика для захвата движения кистей.


Рисунок 1 – Расположение рук относительно датчика Leap Motion для захвата движения кистей

Для работы с данными, которые «Leap Motion» передает компьютеру, существуют SDK (программные интерфейсы) для различных языков программирования (Java, C#, JavaScript и Python) [2].

Предоставляемый разработчиками «Leap Motion» программный интерфейс позволяет получать в формализованном виде данные о скелете кистей рук человека. Передаются координаты в пространстве каждого из кончиков пальцев и суставов руки, а также углы, под которыми расположены кости скелета относительно друг друга.

Эти данные позволяют строить пространственные модели кистей рук, отслеживать положение и динамику их перемещения и осуществлять визуализацию.

При помощи «Leap Motion» можно передавать жестовые команды при помощи рук, которые могут быть распознаны и переведены на естественный язык.

Датчик «Leap Motion» был установлен и протестирован с целью сбора данных о движениях рук. «Leap Motion» позиционируется как контроллер, который в режиме реального времени транслирует данные о кистях рук за счет аппаратной реализации распознавания образов. Распознанные образы рук программное обеспечение (драйвер) датчика позволяет использовать в различных языках программирования. Полученные данные представляют собой набор координат суставов рук и углов наклонов фаланг пальцев относительно суставов. Пример возвращаемых данных и модель руки, построенная по этим данным представлена на рисунке 2.


Рисунок 2 — Пример возвращаемых данных и модель руки, построенная по этим данным

Преимуществом сенсора «Leap Motion» является аппаратная реализация захвата движения рук, что увеличивает производительность процесса захвата и решает задачу распознавания образов кистей рук в пространстве без необходимости реализации дополнительных алгоритмов.

Однако, недостаток датчика в том, что его сенсор получает плоское двумерное изображение для захвата рук, а возвращаемые им данные о положении части руки, сокрытой от датчика (например, ладонь «ребром») носят предикативный характер. Также датчик предсказывает положение руки при сокрытии одной руки другой, при скрещивании и наложении рук друг на друга. Предсказываемые данные не всегда соответствуют реальному положению рук, а также бывают ошибочными и хаотичными, что может негативно повлиять на качество обучения нейронной сети и качество распознавания жестов.

На основании проведенного обзора можно сделать вывод, что основными преимуществами сенсора «Leap Motion» являются простота и скорость получения данных о взаиморасположении кистей рук в пространстве за счет его аппаратной реализации. Недостатком устройства является то, что его показания строятся на основании двухмерного изображения и не дают точных данных о реальном положении рук в трехмерном пространстве.

Перспектива использования рассмотренного сенсора зависит от характера жестовых языков, которые планируется распознавать, а так же от способа дальнейшей обработки и использования полученных данных.

На сегодняшний день существуют иные способы получения данных о расположении кистей рук в пространстве, например, программное распознавание кистей рук при помощи видеокамеры или использование инфракрасной камеры «Kinect» [3]. Преимущества и недостатки данных средств требуют дополнительного исследования.

Список литературы

  1. Зайцева Г. Л. Методы изучения системы жестового общения глухих. — Дефектология, 1987, № 1
  2. Leap Motion: Lomond. [Электронный ресурс]. 2017. Дата обновления: 05.10.2018. URL: https://www.ixbt.com/peripheral/leap-motion.shtml (дата обращения: 05.10.2019).
  3. Kinect for Windows SDK. Часть 3. Функциональные возможности: habr. [Электронный ресурс]. URL: https://habr.com/post/151296/ (дата обращения: 05.10.2019).