УДК 004

АВТОМАТИЗАЦИЯ ПРОЦЕССА ОПРЕДЕЛЕНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА ПО ЕГО ПОЗЕ

№40,

Технические науки

Киселев Юрий Владимирович

Ключевые слова: ЭМОЦИОНАЛЬНОЕ СОСТОЯНИЕ; ПОЗА; ЖЕСТИКУЛЯЦИЯ; АНАЛИЗ ПОЗЫ; АНАЛИЗ ЖЕСТИКУЛЯЦИИ; АВТОМАТИЗАЦИЯ; EMOTIONAL STATE; POSTURE; GESTURES; POSTURE ANALYSIS; GESTURE ANALYSIS; AUTOMATION; OPENPOSE.

Аннотация: Знание эмоционального состояния человека позволяет лучше понимать его действия и предсказывать их с некоторой точностью. В работе приводится обзор способов получения данных для оценки эмоционального состояния человека, метода их считывания и анализа. Автоматизация данных процессов позволит улучшить опыт общения с человеком со стороны другого человека и со стороны программной системы.

Автоматизация сбора и конвертации информации в доступный для последующего анализа формат используется повсеместно, в том числе и для получения данных о человеке. Отслеживание эмоционального состояние человека позволяет прогнозировать поведение человека, определять причины совершаемых действий, а также улучшить качество взаимодействия с человеком [1]. Целью данной работы является определение характера извлекаемой информации для оценки эмоционального состояния человека и метода ее извлечения, построение архитектуры автоматизированной системы.

Эмоциональное состояние – это некоторое внутреннее переживание, которое формируется на основе внешних факторов среды и внутренних процессов человека [2]. Эмоциональное состояние является одной из побуждающих сил человека для его внутренних и внешних процессов [3]. К примеру, эмоциональное состояние может быть выражено в повышенной сердечной и дыхательной активности, в поведении, мимике, жестикуляции и позе человека.

Выделим доступные способы извлечения информации для оценки эмоционального состоянии человека, которые возможно автоматизировать.

Первый способ – задать вопросы человеку, ответы на которые послужат для оценки его эмоционального состояния. Автоматизация способа возможна с помощью использования виртуальных голосовых помощников для сбора информации и ее дальнейшего анализа. Проблема способа заключается в низком качестве получаемой информации от человека, так как не каждый человек способен передать словами свое эмоциональное состояние. Помимо этого, он может неверно его интерпретировать или намеренно предоставить ложную информацию.

Второй способ – использование профессиональной или полупрофессиональной аппаратуры для считывания показателей тела человека, на основе которых определять эмоциональное состояние. Данные, описывающие мозговую активность, температуру тела, частоту пульса, дыхания и сердцебиения и т.д. могут быть использованы для определения эмоционального состояния, к примеру использование электроэнцефалографа (устройство для изучения мозговой активности человека) [4]. Проблема способа заключается в повышенных требованиях: наличие специального оборудования, специалиста для работы с ним, определённых условий для работы оборудования (температура, пространство, источник питания и др. в помещении). Еще одной проблемой служит прямое влияние на анализируемого человека, что отразится на качестве конечного результата оценки.

Третий способ – анализ открытой информации о человеке: жестикуляция и поза тела [5]. Автоматизация возможна с помощью внедрения решений для детектирования позы тела человека для сбора информации и ее последующего анализа. Проблема этого способа заключается в необходимости учитывать факторы, влияющие на жестикуляцию и позы человека: культура, возраст, половая принадлежность, и т.д.

Использование третьего способа позволит при простоте извлечения данных избежать прямого влияния на анализируемого человека. Данный способ является оптимальным для решения поставленной задачи.

Определив способ извлечения информации, определим метод извлечения информации из реального мира в числовые значения для анализа.

Рассмотрим видеоряд, на котором изображен человек. Рассматривая его как объект исследования, его можно воспринимать как подвижные объекты с активными частями, движение и положение которых задают жесты и позу тела. Таким образом, человек является скелетом с подвижными частями как это изображено на рисунке 1.


Рис. 1. – Представление человека в виде скелета с активными частями для определения движений и поз

Для построения подобных скелетов используются нейронные сети, которые предсказывают ключевые точки и строят по ним окончательный скелет позы. Для построения скелетов на рисунке 1 было использовано программное решение OpenPose.

OpenPose использует непараметрическое представление, которое разработчики называют полями аффинности частей, чтобы ассоциировать части тела с людьми на изображении. Поля аффинности частей – это набор 2D векторных полей, содержащий местоположение и ориентацию в области изображения. Они определяются на предварительно построенной карте достоверности для детектирования частей тела. Эта восходящая система (сначала определяет отдельные части тела человека, после объединяет их в целое) обеспечивает высокую точность и производительность [6].

Существуют нейронные сети, которые обучаются конкретно для определения эмоционального состояния человека по его позе, без использования скелетов и их анализов. Для их обучения создаются наборы изображений с людьми, которые выражают конкретные эмоции: радость, грусть, злость и др. Данные решения не позволяют понять, каким образом нейронная сеть предсказала конкретное эмоциональное состояние человека, поскольку она находит решение ориентируясь на веса, которые были подобраны ею во время обучения. Так же, данные решения дают оценку рассматривая картину в целом, не учитывая важность отдельных жестов и элементов поз.

Более успешным решением является система с использованием нейронных сетей и анализе отдельных элементов позы и всей позы в целом.

На первом этапе данного решения выполняется детектирование элементов позы человека и построение его скелета с помощью первой нейронной сети.

На втором этапе происходит выделение определенных элементов позы и/или групп элементов позы скелета (к примеру, если руки человека поддерживают голову или лежат у него на коленях).

На третьем этапе выполняется анализ каждого элемента позы и/или группы из нескольких элементов позы индивидуально, для предсказания предварительной версии эмоционального состояния человека.

На последнем этапе происходит анализ предварительных версий спрогнозированных состояний для каждого отдельного элемента позы и/или группы элементов и прогнозирование окончательной версии эмоционального состояния человека по его позе. Описанные этапы отображены на рисунке 2.


Рис. 2. – Определение эмоционального состояния человека по его позе

Архитектура программного решение изображена на рисунке 3.


Рис. 3. – Архитектура программного решения для определения эмоционального состояния человека по его позе

Так же, архитектура предполагает возможность изменения решения для детектирования частей тела (и позы) в зависимости от возможностей устройства выполнения, блоки «Решение для детектирования позы человека» и «Форматирование данных». Последний блок сложит прослойкой, которая обеспечивает форматирование данных под стандарт системы.

Рассматривая жесты и позу человека как набор маркеров эмоционального состояния необходимо учитывать факторы, которые влияют на формирование таковых у рассматриваемого человека. Выделяют множество факторов, влияющих на невербальное выражение своего состояния, рассмотрим основные из них.

Первый фактор связан с культурой, традициями и социальным влиянием, в которых рос и воспитывался человек. Специалисты в области лингвистики, такие как Ю.Е. Прохоров, А.П. Садохин, В.И Тхорик и другие не раз обращали внимание на наличие национальной особенности в невербальной коммуникации. Национальная и/или социальная специфика невербальных жестов может характеризоваться иным исполнением, иным значением, принадлежности одной конкретной культуре [7].

Второй фактор – это половая принадлежность. Различия мужских и женских поз и движений особенно заметны в углах наклона корпуса тела и положении таза, что ярко проявляется в позах и походке [8-9].

Третий фактор – это возраст. Возраст накладывает свое влияние на жесты и позы, способность к невербальному выражению своего состояния и своих мыслей постепенно развивается на протяжении жизни человека. К примеру, дети выражают свое состояние более эмоционально и могут использовать различные действия для выражения одного состояния, в то время как взрослые люди используют уже более явные выражения своих переживаний, а их интенсивность и скорость ниже [10].

Четвертый фактор – это среда, в которой находится человек. Температура окружающей среды провоцирует человека на определенные позы, к примеру, при низких температурах происходит замедление и общая скованность движений, поза и действия направлены на сохранение тепла.

Описанные факторы необходимо рассматривать как ограничительную рамку для задания допустимой области анализируемых эмоциональных состояний разрабатываемой системы. Сформированная область обеспечивает внедрение поз и элементов позы для анализа в итоговую систему, оценка которых при анализе не будет являться ложной.

Список литературы

  1. Лобанова Е.Н. Анализ невербальной информации как детерминанты управленческого поведения // Вестник РУДН. Серия: Социология. 2013. №1. URL: http://cyberleninka.ru/article/n/analiz-neverbalnoy-informatsii-kak-determinanty-upravlencheskogo-povedeniya (дата обращения: 04.12.22).
  2. Бутузова Ю.А. Психологическая сущность эмоционального состояния личности // ОНВ. 2011. №5 (101). URL: http://cyberleninka.ru/article/n/psihologicheskaya-suschnost-emotsionalnogo-sostoyaniya-lichnosti (дата обращения: 04.12.22).
  3. Пырьев Е.А. Эмоциональные состояния, мотивирующие поведение человека // Известия РГПУ им. А. И. Герцена. 2012. №133. URL: http://cyberleninka.ru/article/n/emotsionalnye-sostoyaniya-motiviruyuschie-povedenie-cheloveka (дата обращения: 04.12.22).
  4. Savinov V.B., Botman S.A., Sapunov V.V., Petrov V.A., Samusev I.G., Shusharina N.N. Electroencephalogram-based emotion recognition using a convolutional neural network // Bulletin of Russian State Medical University. 2019. №3. URL: http://cyberleninka.ru/article/n/electroencephalogram-based-emotion-recognition-using-a-convolutional-neural-network (дата обращения: 04.12.22).
  5. Banerjee A, Bhattacharya U, Bera A. Learning Unseen Emotions from Gestures via Semantically-Conditioned Zero-Shot Perception with Adversarial Autoencoders // Department of Computer Science, University of Maryland – [USA], 2021. – 8 с.
  6. Cao Z, Hidalgo G, Simon T. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields // IEEE Transactions on pattern analysis and machine intelligence – [USA], 2019. – 14 c.
  7. Красикова Т.Ц. Невербальное поведение как отражение национального культурного кода // БГЖ. 2018. №1 (22). URL: http://cyberleninka.ru/article/n/neverbalnoe-povedenie-kak-otrazhenie-natsionalnogo-kulturnogo-koda (дата обращения: 04.12.22).
  8. Кириллова О.В. Мужские и женские жесты и мимика: общее и различное // Вестник ТГУ. 2007. №12-1. URL: http://cyberleninka.ru/article/n/muzhskie-i-zhenskie-zhesty-i-mimika-obschee-i-razlichnoe (дата обращения: 04.12.22).
  9. Сухова Н.В. Гендерные особенности невербального поведения // Международная научная конференция «Гендерные исследования и гендерное образование в высшей школе (Иваново, 25 – 26 июня, 2002)»: Ч. II: История, социология, язык, культура. – Иваново: ИвГУ, 2002. – С. 266 – 268.
  10. Возрастные различия в невербальной коммуникации // Справочник URL: http://spravochnick.ru/psihologiya/vozrastnye_razlichiya_v_neverbalnoy_kommunikacii (дата обращения: 04.12.22).