УДК 004.588

КОМПЛЕКСНЫЙ МЕТОД ОПРЕДЕЛЕНИЯ КЛЮЧЕВЫХ ПОКАЗАТЕЛЕЙ ДЫХАНИЯ ПОЛЬЗОВАТЕЛЯ НА БАЗЕ СИСТЕМЫ ЗАХВАТА ДВИЖЕНИЯ ИЛИ ПО ВИДЕОЗАХВАТУ

№43,

Технические науки

Зубков Александр Владимирович

Научный руководитель: Орлова Ю.А., д-р техн. наук, доцент ВолгГТУ.

Ключевые слова: АНАЛИЗ ДЫХАНИЯ; АНАЛИЗ ПАТТЕРНОВ ДЫХАНИЯ; НЕЙРОННЫЕ СЕТИ; МАШИННОЕ ОБУЧЕНИЕ; ПОВЫШЕНИЕ МОТИВАЦИИ; BREATH ANALYSIS; ANALYSIS OF BREATHING PATTERNS; NEURAL NETWORKS; MACHINE LEARNING; MOTIVATION ENHANCEMENT.

Аннотация: Одно из наиболее эффективных и перспективных направлений современной реабилитации – это применение компьютерных игровых комплексов, которые вызывают у пациентов повышенный интерес во время реабилитации. Цель исследования – повышение мотивации пациентов выполнять дыхательные тренировки за счет разработки интеллектуального комплекса, который позволит автоматизировать распознавание показателей дыхания человека, обучение и сопровождение пациента посредством рекомендаций. В данной статье рассматривается комплексный метод определения ключевых показателей дыхания пользователя на базе системы захвата движения или по видеозахвату. Разработанные методы позволяют повысить мотивацию пациентов путем внедрения в процесс реабилитации методов геймификации и автоматизации процесса тренировок.

Введение.

Во многих исследованиях [1-3], посвященных изучению влияния упражнений для органов дыхания на организм человека, отмечается их положительный эффект, например исследование Т. Сермана [1], Hae-Yong Lee и соавт. [3] и многие другие [2].

На данный момент одно из наиболее эффективных и перспективных направлений современной реабилитации – это применение компьютерных игровых комплексов, которые вызывают у пациентов повышенный интерес во время реабилитации, [4, 5] что является особенно важным в области реабилитации, где важно постоянное поддержание мотивации в процессе выполнения упражнений. Это связано с тем, что в сфере традиционной реабилитации процесс восстановления протекает довольно медленно, пациенты часто жалуются на низкую мотивацию и скуку, а также считают упражнения стрессовыми, что в результате приводит к тому, что пациенты отказываются совсем от терапии [5, 6]. Помимо того, данный вид комплексов повышает эффективность самой реабилитации, за счет многих изученных факторов [4, 7].

Цель исследования. Повышение мотивации пациентов выполнять дыхательные тренировки за счет разработки методов определения паттернов дыхания, подходящих для реализации кроссплатформенной системы дыхательных тренировок, подходящей для домашнего и ЛФК использования.

Комплексный метод определения ключевых показателей дыхания пользователя на базе системы захвата движения или по видеозахвату

Совместно со специалистами были сформулированы основные требования к разрабатываемым методам и средствам, главным из которых является определение паттерна дыхания так как при смешанном паттерне дыхания задействуются и мышцы грудной клетки, и диафрагма [16]. В таком дыхании грудная клетка расширяется во время вдоха, а диафрагма смещается вниз, расширяя брюшную полость. Во время выдоха грудная клетка сжимается, а диафрагма возвращается в исходное положение. Этот паттерн дыхания более эффективный, чем остальные, поскольку задействует больше мышц [3, 4].

Был проведен обзор и анализ существующих компьютерных систем реабилитации [8-11], в результате которого было выявлено, что ни одна из систем не определяет паттерн дыхания.

Для реализации интеллектуальной системы необходимо было разработать методы и модели определяющие паттерны дыхания, так как уже разработанные методы либо определяют только наличие самого [12, 13], либо просто определяют частоту дыхания [14], либо просто определяют только один паттерн дыхания(грудной) [15], что является недостаточным для разработки интеллектуальной системы.

Был разработан комплексный метод определения ключевых показателей дыхания пользователя на базе системы захвата движения или по видеозахвату, который предполагает под собой, что на теле человека размещаются ключевые точки, по которым возможно рассчитать нужные показатели, такие как доминирующий паттерн дыхания, частота дыхания и значение расширения торса или брюшной части тела. Для предотвращения большой погрешности при последующем определении паттерна дыхания было выбрано количество ключевых точек равное трем, так как в результате проведенного исследования было выявлено [16, 17], что такого количества достаточно для определения паттерна дыхания, такое количество должно минимизировать погрешность вычисления, а также стоит отметить, что пользователь может самостоятельно разместить их на себе в случае, например, домашней реабилитации.

Комплексный метод агрегирует в себе все остальные методы и связывает их между собой (рисунок 1). В зависимости от заданной конфигурационного, происходит выбор через какие модули проходит поток данных, поступающих в реальном времени. На вход может принимать как фреймы видео потока, так и срезы данных с MoCap системы. Данных подход позволяет понизить доступность системы, за счет снижения точности вычисляемых значений. Так как один из важных элементов реабилитации – это повторение одних и тех же действий для закрепления и развития мышечных функций, то даже при использовании методов с наиболее низким качеством использование системы остается релевантным решением в рамках домашних тренировок.


Рисунок 1 – Комплексный метода определения ключевых показателей дыхания пользователя на базе системы захвата движения или по видео захвату

Комплексный метод определения ключевых показателей дыхания пользователя на базе системы захвата движения или по видеозахвату, содержит в себе:

  • Метод получения координат ключевых точек в видеопотоке на базе цветового пятна. На вход данный метод принимает изображение, а также файл с конфигурацией в HSV формате. На выходе метод выдает три двухмерных координаты. Данный метод под собой не требует специальной конфигурации ЭВМ, но имеет сложность, которая заключается в постоянной длительной настройке конфигурационных файлов. А также точность результата сильно зависят от освещения, правильности конфигурации и цвета самих маркеров.
  • Метод получения координат ключевых точек в видеопотоке на сегментационной модели нейронной сети. На вход метод получает вдеокадр, который обрабатывается с помощью использования дообученной нейронной сети YOLOv5, а на выходе метод выдает координаты цветных маркеров. При обучении была достигнута точность 0.98, но метод требует дополнительных ресурсов, таких как видеокарта в конфигурации ЭВМ.
  • Метод определения паттерна дыхания и расчета показателей по координатам маркеров. Метод на входе получает данные или с системы захвата движения о положении маркеров или исходя из анализа видеопотока, а на выходе получается паттерн дыхания. В процессе разработки метода было проведено обучение ряда классификаторов, в ходе которого выявлено, что наилучшую точность дала модель составная модель из двух бинарных классификаторов на базе модели Hist Gradient Boosting Classifier. Метрики наилучшей модели, основанной на двух обученных бинарных классификаторах Hist Gradient Boosting Classifier: Accuracy = 0.81, Precision = 0.83, Recall = 0.82, F1-measure = 0.82, Training time = 0.875, Working time = 0.75, Logistic loss = 1.98.

 

Выводы.

Были разработан комплексный метод, содержащий в себе методы, позволяющие на основании их разработать интеллектуальную систему дыхательных тренировок. Так же стоит отметить, что разработанные методы позволят в дальнейшем учесть техническое обеспечение и место на базе которого будет производиться дыхательная тренировка таким образом, чтобы минимизировать время- и трудозатраты. Разработанные методы также позволяют определять не один паттерн дыхания, а несколько, причем исходя из технического обеспечения пользователя. Благодаря использованию современных технологий и элементам геймификации, впоследствии, на базе разработанных методов возможно разработать комплекс для дыхательных тренировок, который способен не только поддерживать мотивацию, но и повысить ее.

Список литературы

  1. Serman, T. Influence of Respiratory Exercises on the Functional State of the Cardiovascular System Under Different Physical Activities of Students / T. Serman // Journal of Vasyl Stefanyk Precarpathian National University. – 2022. – Vol. 9, issue 1. – Р. 219-226.
  2. Kumar, А. Pulmonary rehabilitation care: Current perspective / А. Kumar // P Indian Journal of Immunology and Respiratory Medicine. – 2023. – issue 8. – Р. 6-10. – DOI 10.18231/j.ijirm.2023.003
  3. Lee, H-Y Effect of diaphragm breathing exercise applied on the basis of overload principle / H-Y Lee, S-H Cheon, M-S Yong // Journal of Physical Therapy Science. – 2017. – Vol. 6, issue 29. – Р. 1054-1056.
  4. Motivating, game-based stroke rehabilitation: a brief report / S. R. Wood, N. Murillo, P. Bach-y-Rita [et al.] // Topics in stroke rehabilitation. – 2003. – Vol. 2, issue 10. – Р. 134-140.
  5. Kanupriya, R. Efficiency of VR based Exercises Rehabilitation program to motivate elderly people during COVID-19 era / R. Kanupriya, M. Hasan // Online International Conference on Celebrating Imperfections . – India, 2021. – Р. 11.
  6. Ismail, W. he Importance of Motivation Attributes in Developing Serious Games for Physical Rehabilitation – A Case Study / W. Ismail // MIR Preprints. – 20222. – issue 4. – Р. 47.
  7. Mutchnick M. G. The Role of Motivation in Rehabilitation / M. G. Mutchnick // Cognitive Approaches to Neuropsychology / J.M. Williams, C.J. Long. – Boston, MA. : Springer, 1988. – 9. – Р. 169–187.
  8. Breath Coach : сайт. – URL: https://oxygenadvantage.com/functional-breathing-coach-certification/ (дата обращения: 30.05.2023)
  9. Breathing as an Input Modality in a Gameful Breathing Training App (Breeze 2): Development and Evaluation Study / YX. Lukic, GW. Teepe, E. Fleisch, T. Kowatsch // MIR Serious Games. – 2022. – Vol. 3, issue 10. – Р. e39186.
  10. Life Tree: Understanding the Design of Breathing Exercise Games / R. Patibanda, F. Mueller, M. Leskovsek, J. Duckworth // Annual Symposium on Computer-Human Interaction in Play (CHI PLAY ’17). – New York : Association for Computing Machinery, 2017. – Р. 19–31.
  11. Bubble Breather — A Breathing Exercise Game to Support Pneumonia Rehabilitation and Recovery / A. Tabor, R. Pradantyo, B. Sadprasid [и др.] // Annual Symposium on Computer-Human Interaction in Play (CHI PLAY ’20) . – New York, NY, USA : Association for Computing Machinery, 2020. – Р. 86–90.
  12. Schoun, B. Real-time Thermal Medium-based Breathing Analysis with Python / B. Schoun, Sh. Transue, М.Н. Choi // PyHPC’17: Proceedings of the 7th Workshop on Python for High Performance and Scientific Computin . – New York, NY, USA : Association for Computing Machinery, 2017. – Р. 1-9.
  13. Smart Homes that Monitor Breathing and Heart Rate / F. Adib, H. Mao, Z. Kabelac [et al.] // CHI ’15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems . – New York, NY, USA : Association for Computing Machinery, 2015. – Р. 837–846.
  14. Spectral fusion-based breathing frequency estimation; experiment on activities of daily living / I. Alikhani, K. Noponen, A. Hautala [et al.] // BioMed Eng OnLine. – 2019. – issue 17. – Р. 99.
  15. BreathMentor: Acoustic-based Diaphragmatic Breathing Monitor System. / Y. Gong, Q. Zhang, H.P. Bobby [et al.] // Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies . – New York, NY, USA : Association for Computing Machinery, 2022. – Р. 1-28.
  16. Method for Determining the Dominant Type of Human Breathing Using Motion Capture and Machine Learning / Ю.А. Орлова, А.С. Горобцов, О.А. Сычев, В.Л. Розалиев, А.В. Зубков, А.Р. Донская // Algorithms. — 2023. — Vol. 16, issue 5. – Article 249. – 25 p.
  17. Разработка метода определения доминирующего типа дыхания человека на базе технологий компьютерного зрения, системы захвата движения и машинного обучения / А.В. Зубков, А.Р. Донская, С.Н. Бушенева, Ю.А. Орлова, Г.М. Рыбчиц // Моделирование, оптимизация и информационные технологии. — 2022. — Т. 10, № 4. – 15 с.