УДК 004.3
ОБЗОР ВОЗМОЖНОСТЕЙ ИНФРАКРАСНОГО ДАТЧИКА «LEAP MOTION» ДЛЯ РАСПОЗНАВАНИЯ ЖЕСТОВЫХ ЯЗЫКОВ
№22,
Технические науки
Матюшечкин Дмитрий Сергеевич
Ключевые слова: РАСПОЗНАВАНИЕ РУК; ЖЕСТОВЫЕ ЯЗЫКИ; АЛЬТЕРНАТИВНАЯ КОММУНИКАЦИЯ; LEAP MOTION; HAND RECOGNITION; SIGN LANGUAGES; ALTERNATIVE COMMUNICATION.
Жестовый язык — самостоятельный язык для осуществления коммуникации, состоящий из жестов, каждый из которых производится руками [1].
Для осуществления распознавания жестовых языков необходимо осуществлять захват движения рук и определять динамику перемещения кистей и пальцев. Распознавание рук и слежение за их перемещением может дать возможность обучения нейронной сети на основании собранных данных, а так же распознавать захваченные жесты и переводить их в текстовые сообщения при помощи обученной нейронной сети. Основными требованиями к системе захвата движения кистей рук являются:
— определение контуров кистей обеих рук;
— определение положение кистей рук в пространстве;
— определение взаиморасположения пальцев на обеих руках;
— отслеживание динамики изменения положения рук.
От точности и подробности полученных данных зависит качество обучения нейронной сети и качество перевода сообщений на языке жестов.
«Leap Motion» — это датчик, позволяющий взаимодействовать с компьютером без клавиатуры и мыши. Конструктивно «Leap Motion» – это небольшой блок, под тонированным стеклом которого расположены инфракрасные датчики, с их помощью создается специальное поле, улавливающее движение рук или одной руки.
На рисунке 1 представлено расположение рук относительно датчика для захвата движения кистей.
Рисунок 1 – Расположение рук относительно датчика Leap Motion для захвата движения кистей
Для работы с данными, которые «Leap Motion» передает компьютеру, существуют SDK (программные интерфейсы) для различных языков программирования (Java, C#, JavaScript и Python) [2].
Предоставляемый разработчиками «Leap Motion» программный интерфейс позволяет получать в формализованном виде данные о скелете кистей рук человека. Передаются координаты в пространстве каждого из кончиков пальцев и суставов руки, а также углы, под которыми расположены кости скелета относительно друг друга.
Эти данные позволяют строить пространственные модели кистей рук, отслеживать положение и динамику их перемещения и осуществлять визуализацию.
При помощи «Leap Motion» можно передавать жестовые команды при помощи рук, которые могут быть распознаны и переведены на естественный язык.
Датчик «Leap Motion» был установлен и протестирован с целью сбора данных о движениях рук. «Leap Motion» позиционируется как контроллер, который в режиме реального времени транслирует данные о кистях рук за счет аппаратной реализации распознавания образов. Распознанные образы рук программное обеспечение (драйвер) датчика позволяет использовать в различных языках программирования. Полученные данные представляют собой набор координат суставов рук и углов наклонов фаланг пальцев относительно суставов. Пример возвращаемых данных и модель руки, построенная по этим данным представлена на рисунке 2.
Рисунок 2 — Пример возвращаемых данных и модель руки, построенная по этим данным
Преимуществом сенсора «Leap Motion» является аппаратная реализация захвата движения рук, что увеличивает производительность процесса захвата и решает задачу распознавания образов кистей рук в пространстве без необходимости реализации дополнительных алгоритмов.
Однако, недостаток датчика в том, что его сенсор получает плоское двумерное изображение для захвата рук, а возвращаемые им данные о положении части руки, сокрытой от датчика (например, ладонь «ребром») носят предикативный характер. Также датчик предсказывает положение руки при сокрытии одной руки другой, при скрещивании и наложении рук друг на друга. Предсказываемые данные не всегда соответствуют реальному положению рук, а также бывают ошибочными и хаотичными, что может негативно повлиять на качество обучения нейронной сети и качество распознавания жестов.
На основании проведенного обзора можно сделать вывод, что основными преимуществами сенсора «Leap Motion» являются простота и скорость получения данных о взаиморасположении кистей рук в пространстве за счет его аппаратной реализации. Недостатком устройства является то, что его показания строятся на основании двухмерного изображения и не дают точных данных о реальном положении рук в трехмерном пространстве.
Перспектива использования рассмотренного сенсора зависит от характера жестовых языков, которые планируется распознавать, а так же от способа дальнейшей обработки и использования полученных данных.
На сегодняшний день существуют иные способы получения данных о расположении кистей рук в пространстве, например, программное распознавание кистей рук при помощи видеокамеры или использование инфракрасной камеры «Kinect» [3]. Преимущества и недостатки данных средств требуют дополнительного исследования.
Список литературы
- Зайцева Г. Л. Методы изучения системы жестового общения глухих. — Дефектология, 1987, № 1
- Leap Motion: Lomond. [Электронный ресурс]. 2017. Дата обновления: 05.10.2018. URL: https://www.ixbt.com/peripheral/leap-motion.shtml (дата обращения: 05.10.2019).
- Kinect for Windows SDK. Часть 3. Функциональные возможности: habr. [Электронный ресурс]. URL: https://habr.com/post/151296/ (дата обращения: 05.10.2019).