УДК 004.891.2

СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ УДОВЛЕТВОРЕННОСТИ КЛИЕНТА МАГАЗИНА ОКАЗАННЫМИ УСЛУГАМИ

№37,

Технические науки

Ульев Андрей Дмитриевич


Научный руководитель: Орлова Ю.А., д.т.н., доцент.


Ключевые слова: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ; КОНТРОЛЬ БЕЗОПАСНОСТИ; РАСПОЗНАВАНИЕ ПОЗЫ; КОНТРОЛЬ ПОВЕДЕНИЯ; ARTIFICIAL INTELLIGENCE; SECURITY CONTROL; POSTURE RECOGNITION; BEHAVIOR CONTROL.


Аннотация: В статье описан разработанный метод для классификации покупателей и продавцов по униформе. А также описан алгоритм для межкамерного сопровождения покупателя и продавца с модулем идентификации личности. Рассмотрены средства для контроля за уровнем взаимодействия покупателя и продавца, а также методы для определения удовлетворенности покупателя. Представлено описание реализации, показаны полученные итоги работы, а также пути дальнейшего развития.

Введение

Нейросетевые технологии играют все более значимую роль в повседневной жизни людей. Для решения проблемы повышения качества контроля активности продавца-консультанта в магазине, а также для контроля покупательского спроса и удовлетворенности взаимодействия с продавцом предлагается использовать систему, основанную на каскаде нейросетевых технологий.

Работа системы основана на использовании нейронной сети Pose Estimator, который позволяет определить положение человека [1, 3], уточняющих алгоритмах, вспомогательных нейронных сетях, позволяющих идентифицировать продавца-консультанта, а также определять качество предоставляемых им услуг.

Предлагаемая методология

Для решения рассматриваемой задачи предлагается использовать каскад из группы нейронных сетей, дополненных разработанными методами и алгоритмами:

– Нейронная сеть Fast Pose Estimator;
– Набор алгоритмов для контроля поведения сотрудника магазина, дополненные данными нейронной сети;
– Алгоритм межкамерного трекинга;
– Библиотека «Face Recognition» для идентификации людей в кадре;
– Нейронная сеть Hopenet;

Все модули системы работают в многопоточном режиме, обмениваясь между собой информацией о покупателе/продавце.

Первый этап, использование нейронной сети «Fast PoseEtimator»

Основная задача нейросети заключается в определении позы человека с изображения для установления местоположения униформы сотрудника магазина [7].

Главным преимуществом нейронной сети является ее высокая скорость. Входными данными для алгоритма «Оценки позы» является изображение сотрудника магазина, а выходными — изображение с выбранными частями человеческого тела.

Второй этап — определение доминирующего цвета одежды

Разработан модуль классификации сотрудников и покупателей, основной задачей которого является отнесение человека с изображения к необходимой группе. Нейронная сеть «Fast Pose Estimator» передает в модуль данные о координатах частей теле человека в кадре [6]. Модуль с использованием вышеуказанных данных определяет участок на изображении, отвечающий за сегменты одежды на теле человека. Для вычисления доминантного цвета в найденной области предлагается использовать метод k-средних [2].

Третий этап – обучение внешнему виду сотрудников заведения

Для отнесения человека в кадре к группе сотрудников необходимо учитывать различные условия освещения помещения в зависимости от времени суток, а также вероятность того, что в помещении могут быть освещенные и затемненные участки [5]. Таким образом, цвет распознанной формы может отличаться. Чтобы решить эту проблему требуется произвести обучение системы цветовому диапазону, «распознанному» с одежды продавца-консультанта.

Перед началом работы предполагается, что оператор программного продукта запустит режим обучения. Который поможет «обучить» систему преобладающим цветам униформы хаотично движущегося продавца в помещении [10]. «Средний доминирующий цвет» высчитывается за счет доминантных цветов униформы сотрудника магазина. Пример работы алгоритма обучения внешнему виду представлен на рисунке 1.


Рис. 1. – Пример работы алгоритма обучения внешнему виду продавца

Межкамерный трекинг

Предлагается использовать группу алгоритмов и методов межкамерного отслеживания для контроля перемещения людей в помещениях магазина. Этот модуль позволяет «отслеживать» человека «между кадрами» одной камеры. А также «свести» двух людей с разных камер, если один и тот-же человек вышел с зоны видимости одной камеры и вошел в зону видимости другой. Работа модуля межкамерного трекинга целиком строится на данных, получаемых от нейросети FastPoseEstimator.

Предлагается разделить область человеческого тела, полученную из алгоритма стабилизации «ключевых» точек, на пять равных областей и определить доминирующий цвет для каждой области. Для сформированных областей устанавливается доминирующий цвет и вычисляется цветовой диапазон. Пример представлен на рисунке 2.


Рис. 2. – Пример работы межкамерного трекинга

Идентификация сотрудников и клиентов

Изначально мы предполагали установить камеру с высоким разрешения на входе в магазин для идентификации личности покупателя/продавца [4]. Однако, мы сочли этот метод неактуальным ввиду все большего распространения камер видеонаблюдения с высоким разрешением. На таких камерах удается успешно идентифицировать личность по изображению лица, не прибегая к дополнительным технологическим решениям.

Для решения задачи идентификации личности покупателя и продавца предлагается использовать нейронную сеть «Face Recognition». Указанная библиотека упрощает разработку ввиду простоты использования. Также она включает в себя модули для поиска лиц на изображении и распознавания лиц в существующей базе данных [8]. Таким образом, после первого посещения магазина клиент будет занесен в базу данных и идентифицирован каждый раз, когда он посещает магазин. И его движение будет контролироваться модулем межкамерного слежения. Идентификация личности будет проводиться при первом «захвате лица» камерой. На рисунке 3 показан пример работы системы на задаче идентификации сотрудника магазина.


Рис. 3. – Пример работы системы на задаче идентификации сотрудника магазина

Анализ качества коммуникации между продавцом и покупателем

Для определения уровня взаимодействия между покупателем и продавцом мы предлагаем оценивать направления взгляда продавца [9].

В начальном подходе мы предполагали использовать основную нейронную сесть PoseEstimator, с помощь которой в 3D пространстве будут вычисляться векторы направления взгляда продавца. Однако, такой подход был расценен как избыточный.

Для решения указанной задачи предлагается использовать нейронную сеть HopeNet. Нейросеть способна определять местоположение головы [10] и вектор взгляда в пространстве. Отдельно следует отметить что реализацию нейронной сети рекомендуется использовать через dockerface. Dockerface — это детектор лиц с глубоким обучением. В случае, если взгляд продавца, направлен в сторону клиента N (устанавливается администратором системы) процентов от общего времени взаимодействия, то его работа оценивается как хорошая.

Распознавание эмоций покупателя

Важным качеством контроля качества работы сотрудника магазина является удовлетворение потребностей клиентов. На наш взгляд, недостаточно определить эмоциональную удовлетворенность только по одному признаку. Поэтому мы используем каскад из двух нейросетей, которые определяют эмоцию покупателя по голосу и по изображению лица.

Для определения по голосу предлагается использовать микрофон, прикрепленный к кассовому аппарату магазина и направленный в сторону покупателя. Чтобы определить эмоциональность человека по голосу, мы предлагаем использовать нейронную сеть «Speech Emotion Analyzer».

Чтобы определить эмоциональную составляющую изображения лица, мы предлагаем установить камеру с разрешением (1080px) на выходе из магазина. Для решения задачи мы предлагаем использовать нейронную сеть распознавания эмоций лица, которая позволяет определить эмоцию человека по изображению. Таким образом, мы получим эмоцию человека по двум характеристикам. Объединение этих эмоций с человеком реализует уже разработанный метод межкамерного слежения.

Рекомендация товаров покупателю

Предполагается в режиме реального времени, в момент прохождения распознанным клиентом витрины с электронным экранном, а также на кассе, демонстрировать информацию о товарах, которые клиенту показались интересными.

Для определения товаров, пользующихся популярностью у клиента, предлагается определять направления взгляда на витрину с товаром посредством использования нейронной сети HopeNet, работа который описана выше. Расположение витрин с типами товаров и местоположением экранов в магазине задает администратор системы и предполагается что их местоположение статично.

Таким образом, когда распознанный клиент (или идентифицированный по средствам FaceRecognition) будет походить мемо стенда, то система сама предложит товары на стенде для клиента согласно его предпочтениям. Которые рассчитываются исходя из того, насколько долго клиент смотрит в сторону витрины с товаром.

В случае идентификации личности предполагается вести базу данных с товарами, интересными для конкретного клиента. Данный модуль находится на стадии разработки.

Выводы

Ожидается дальнейшее развитие работы в области безопасности и предложений покупателю. Так, например, в случае появления человека в маске или с опасным предметом в руке (битой, пистолетом) можно автоматически отправить сигнал в местную службу безопасности, а в случаях бездействия таковой — в службу 911. Кроме того, возможна реализации нейронной сети, способной самостоятельно прогнозировать товары, которые могут быть интересны клиенту (сейчас задаются администратором).

Подводя итог, разрабатываемый программный продукт улучшит работу сотрудника магазина и приведет к улучшению клиентоориентированности бизнеса магазина.


Список литературы

  1. Бобков А.С., Розалиев В.Л. Фазификация данных, описывающих движение человека. [Fuzzification of data describing the movement of a person]. Открытые семантические технологии для проектирования интеллектуальных систем (OSTIS-2011): mater. stazher. nauchno-tekhnich. konf. (Minsk, 10-12 fevralya 2011 g.) [Open semantic technologies for the design of intelligent systems (OSTIS-2011) : mater. intern. scientifictechn. conf. (Minsk, Feb. 10-12. 2011)], 2011, стр. 483-486
  2. Осипова Ю.А., Лавров Д.Н. Применение кластерного анализа методом k-средних для классификации текстов научной направленности // МСиМ. 2017. №3 (43). URL: https://cyberleninka.ru/article/n/primenenie-klasternogo-analiza-metodom-k-srednih-dlya-klassifikatsii-tekstov-nauchnoy-napravlennosti (дата обращения: 01.11.2018).
  3. Розалиев В.Л., Орлова Ю.А. Определение движений и поз для идентификации эмоциональных реакций человека. [Recognition of gesture and poses for the definition of human emotions]. 11-ая Международная конференция по распознованию образов и анализу изображений: новые информационные технологии (PRIA-11-2013), Самара, 23-28 сентября 2013 г.: Труды конференции [11th International Conference of Pattern Recognition and Image Analysis: New Information Technologies (PRIA11-2013), Samara, September 23-28, 2013 : Conference Proceedings] 2013, №2, стр. 713-716
  4. Самойлов А.Н., Сергеев Н.Е., Дайебал Д.Б., Кучерова М.С. Модель интеллектуальной информационной системы для распознавания пользователей социальной сети с использованием биоинспирированных методов // ИВД. 2018. №4 (51). URL: https://cyberleninka.ru/article/n/model-intellektualnoy-informatsionnoy-sistemy-dlya-raspoznavaniya-polzovateley-sotsialnoy-seti-s-ispolzovaniem-bioinspirirovannyh (дата обращения: 22.06.2022).
  5. Андронова Н.Е., Гребенюк П.Е., Чмутин А.М. Алгоритм и программная реализация управления оттеночным контрастом цифровых изображений // ИВД. 2016. №4 (43). URL: https://cyberleninka.ru/article/n/algoritm-i-programmnaya-realizatsiya-upravleniya-ottenochnym-kontrastom-tsifrovyh-izobrazheniy (дата обращения: 22.06.2022).
  6. Cao, Z., Simon, T., Wei, S.-E., & Sheikh, Y. (2016). Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. CoRR, abs/1611.08050. Retrieved from http://arxiv.org/abs/1611.08050
  7. U. Iqbal and J. Gall (2016). Multi-person pose estimation with local joint-to- person associations. In ECCV Workshops, Crowd Understanding. Retrieved from https://arxiv.org/pdf/1608.08526.pdf
  8. Jiahao X., Haimin Z., Shiping W., Shuo Y., Min X.. (2021). An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking, abs/2103.07615. Retrieved fromhttps://arxiv.org/abs/2103.07615
  9. Ульянова Ольга Алексеевна Психологические особенности продавцов-консультантов сетевого маркетинга // Вестник Самарской гуманитарной академии. Серия: Психология. 2013. №1. URL: https://cyberleninka.ru/article/n/psihologicheskie-osobennosti-prodavtsov-konsultantov-setevogo-marketinga (дата обращения: 22.06.2022).
  10. Хорунжий М. Д. Метод количественной оценки цветов различий при восприятии цифровых изображений // Вестник НГУ. Серия: Информационные технологии. 2008. №1. URL: https://cyberleninka.ru/article/n/metod-kolichestvennoy-otsenki-tsvetov-razlichiy-pri-vospriyatii-tsifrovyh-izobrazheniy (дата обращения: 03.11.2018).