ИСТОРИЯ РАЗВИТИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
№5,
Технические науки
Мытников Александр Николаевич
Мытникова Екатерина Анатольевна
Ключевые слова: ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ; ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ; СМЕШАННАЯ РЕАЛЬНОСТЬ; СУЖЕННАЯ РЕАЛЬНОСТЬ; VIRTUAL REALITY; AUGMENTED REALITY; MIXED REALITY; NARROWED REALITY.
В настоящий момент, большинство исследований дополненной реальности используют видеоизображения в реальный момент времени, то есть системные процессы в цифровой форме добавляют компьютерно-генерированную графику. Другими словами, система, дополняющая изображения цифровыми данными. Энциклопедия Британника использует следующее определение для расширенной реальности: «Расширенная реальность, в компьютерном программировании — это процесс объединения или “дополнения” видео и фотографических изображений с помощью накладывания изображений с полезными компьютерно-генерированными данными». Компьютерная графика вместе с дополненной реальностью – это, к примеру, фотореалистичные визуализации, и интерактивные (“взаимодействующие”) анимации. Исследователи обычно определяют дополненную реальность как систему в реальном режиме времени.
Терминология.
Том Кадел, исследователь корпорации самолетостроения Боинг, предложил термин “дополненная реальность”. Он применил данный термин для шлема виртуальной реальности, с помощью которого руководствовались работники при сборке больших пучков электрических проводов воздушных судов. Это раннее определение дополненной реальности была системой, где виртуальные элементы были смешаны с реальным миром для лучшего восприятия человеком. Позже в 1994 году, Пол Милгром представил континуум “виртуальность-реальность”, также назвав его континуум смешанной реальности. С одной стороны, континуум содержит реальную окружающую среду – реальность, а с другой стороны – виртуальную реальность. Особенности виртуальной окружающей среды – виртуальность. Все между ними смешанная реальность. Смешанная реальность – система, соединяющая реальный мир с виртуальным миром с последующим созданием новой окружающей среды, где физические и цифровые объекты взаимодействуют и сосуществуют. Реальность здесь означает физическую окружающую среду, в контексте часто видимая часть мира, то есть как это видно на самом деле через видеокамеру или непосредственно.
В 1997 году, Рональд Азума опубликовал обширный обзор дополненной реальности, и из-за быстрого развития в области компьютерного зрения, он выпускает второй обзор уже в 2001 году. Он определяет дополненную реальность как систему, определяющуюся по следующим трем признакам:
• Это комбинирование реального и виртуального миров.
• Это взаимодействие в реальном мире.
• Это работает в 3D.
П. Милгром и Р. Азума определили таксономию для добавления контента в реальность или виртуальность. Тем не менее, система имеет возможность изменять окружающую среду в других отношениях: к примеру, изменить цифровой контент, удалить или скрыть объекты. В 2002 году, С. Манн добавляет вторую ось к виртуальности-реальности П. Милгрома для покрытия других форм изменения. Данная двумерная медиальность “виртуально-реального континуума” определяет опосредованную виртуальность и реальность. В опосредованной реальности восприятие человека окружающей среды управляется разными формами. Система может изменять реальность разными способами. Он может добавлять цифровое содержание (дополненная реальность), удалять что угодно (уменьшенная реальность) или изменять его каким-либо другим способом (модулированная реальность). С. Манн также представил отношения этих областей в виде диаграммы Венна. В уменьшенной реальности мы удаляем существующие реальные объекты из окружающей среды. Таким образом, уменьшенная реальность в некотором смысле является противоположностью дополненной реальности. На сегодня большинство определений дополненной реальности и смешанной реальности базируются на определениях П. Милгрома, Р. Азумы и С. Манна. Тем не менее, категоризация является неточной и разграниченной между разными областями часто трудна и нестабильна, а иногда даже противоречат друг другу. Например, С. Манн определил виртуальную реальность, как подобласть смешанной реальности, в то время как Р. Азума полностью разделяет общую виртуальность от смешанной реальности.
Определение виртуальной реальности в качестве захватывающей среды, моделируемой в компьютере.
Самая простая форма виртуальной реальности – это 3D изображение, которое пользователь может исследовать в интерактивном режиме с персонального компьютера, как правило, манипулируя клавиатурой или мышкой. Сложные виртуальные системы состоят из окружающих дисплеев, реальных виртуальных комнат, носимых компьютеров, тактильных устройств, джойстиков и так далее. Виртуальную реальность можно расширить дополненной виртуальностью, к примеру, добавлением реальных элементов, таких как видеопотоки в виртуальный мир. Приложения дополненной реальности в основном сосредоточены на визуальной расширенной реальности и, в некоторой степени, на тактильных ощущениях в виде тактильной обратной связи. Суженная реальность состоит из всех типов опосредованных смешанных сред. Подгруппа суженной реальности, которая включает в себя взаимодействие, 3D регистрацию и компоненты в режиме реального времени — это смешанная реальность.
Рекламодатели используют опосредованную среду для повышения привлекательности своих продуктов, а также для популяризации своих брендов. Они корректируют лица на фотографиях журналов, удаляя пятна с лиц, разглаживая кожу, удлиняя ресницы и тому подобное. С помощью редакторов настраиваются цвета, контраст и насыщенность. Они изменяют пропорции объектов и удаляют ненужные объекты из изображения. Считается, что этот вид редактирования изображения в офлайн не относится к концепту смешанной или дополненной реальности.
Приложения дополненной реальности.
Технология дополненной реальности полезна в некоторых областях. Он хорошо подходит для местной визуализации, как в помещениях, так и на свежем воздухе, для визуального руководства при сборках, при техническом обслуживании и обучении. Дополненная реальность позволяет разрабатывать интерактивные игры и новые формы реклам. Некоторые услуги, использующие координаты местоположения, применяют браузеры дополненной реальности. В печатных средствах массовой информации дополненная реальность соединяет 3D-графику и видео с печатными изданиями. Кроме того, дополненная реальность была испытана в медицинских целях, а также для мультисенсорных целей. В дизайне интерьера дополненная реальность позволяет пользователям виртуально проверить, как предмет мебели вписывается в их собственную гостиную. Приложения дополненной реальности для дизайна часто используют неподвижные изображения. Тем не менее, взаимодействие с пользователями происходит в режиме реального времени, а дополнение в 3D режиме. К примеру, в приложении для интерьера (дополненный интерьер с цифровыми изображениями камер) пользователь фотографирует изображения комнаты и загружает их в свой компьютер. Пользователь также может добавить мебель, удалить или вращать его в интерактивном режиме. Наглядным примером является приложение дополненной реальности для дизайна интерьера “VividPlatform AR+”. Компания “Vivid Works” презентовала это приложение в 2010 году на мебельной выставке Стокгольма. Опыт его использования показал, что пользователи считают, что использовать приложение с неподвижными объектами удобнее. Тем не менее, приложение можно использовать и в режиме реального времени для наложения анимации через компьютер или мобильный телефон.
Наружные системы визуализации обычно используют видео в реальном режиме времени. Создание проектов также может быть визуализировано с помощью использования веб-камеры дополненной реальности. Веб-камера дополненной реальности может иметь несколько пользовательских настроек. К примеру, используя камеру PTZ, пользователь может удаленно управлять наклоном камеры, увеличивать изображение. Если система подключится к базе данных «Информационное моделирование зданий», пользователь может взаимодействовать с материалами и просматривать график строительства здания, как в информационной системе «Интегрирование моделей строительного продукта с потоком видео».
При сборке, дополненная реальность может показывать инструкции после каждого шага сборки. Система может отображать инструкции на дисплей виртуального шлема, например, на смартфон или монитор. Пользователь может взаимодействовать с системой сборки, используя голосовые команды, жесты или клавиатуру. Преимущества инструкций с дополненной реальностью по сравнению печатным руководством очевидны. Пользователь может увидеть инструкции в виде анимации объектов, что позволяет сосредоточиться на сборке без пересмотра печатного руководства. Система дополненной реальности может помочь с техническим обслуживанием, предоставляя дополнительную информацию, так же, как и при сборке. К примеру, мобильная система дополненной реальности может обеспечить обслуживающему персоналу соответствующую информацию из базы данных. Мобильное устройство является хорошим выбором для отображения информации во многих случаях. Однако если задача обслуживания является более практической, то шлем дополненной реальности — лучший выбор. В колумбийском университете разработана программа «ARMAR», система дополненной реальности для сопровождения и ремонта. Он показывает инструкции на шлем дополненной реальности для обслуживающего персонала. Обслуживающему персоналу с помощью программы «ARMAR» стало легче тестировать последовательные задачи. Кроме монтажа и технического обслуживания, дополненная реальность также используется для обучения ремонта и техническому обслуживанию, а также для учебных целей в других областях.
В игровой индустрии дополненная реальность сделала настоящий прорыв. Дополненная реальность позволила пользователю взаимодействовать с окружающей средой. Расширенная реальность может делать игры привлекательнее. Разработчики таких игр считают, что дополненная реальность является перспективной идеей для повышения игрового опыта игрока с помощью новых способов управления персонажем.
Кроме того, точность менее критична в играх, чем в промышленных или медицинских применениях. К примеру, игра дополненной реальности “Kinder”. Игрушечная машина, найденная в шоколадном яйце “Kinder”, запустит интерактивную игру на компьютере. Игра обнаруживает объект (в нашем случае игрушечную машину), после чего использует функцию распознавания жестов. Пользователь управляет гоночной машиной с помощью жестов рук, которое имитирует движение руля. Мобильные игры дополненной реальности очень популярны, в ноябре 2011 года, быстрый поиск в App Store выдавал около 200 мобильных приложений дополненной реальности для iPhone. SpecTreck (Games4All, 2011) игра дополненной реальности для смартфонов на ОС Android. Он использует GPS и камеру для руководства пользователя, чтобы захватить “призраков” из окружающей среды. На карте он показывает местоположение “призраков”. В поле зрения камеры он показывает “призраков” более детально для того, чтобы можно было пользователю их поймать. Помимо игр, сервисы дополненной реальности, основанные на определении местоположения, популярны и в других сферах мобильных платформ. Одним из примеров является браузер дополненной реальности Wikitude, который использует GPS, компас и камеру мобильного устройства для дополнения информации на основе местоположения пользователя. Он работает на нескольких платформах (Symbian, Android и iOS). Wikitude Drive также использует карты Navteq`s для создания дополненных навигационных инструкций. В настоящее время на рынке существует несколько браузеров дополненной реальности: Acrossair Browser, Yelp Monocle, Layar, Junaio Glue, приложения PressLite и другие.
Браузеры дополненной реальности имеют два основных подхода. Первый подход заключается в том, что в браузер добавляются различные информационные среды, и пользователь может выбрать, какая информация будет дополнять приложение. Этот подход используют Wikitude, Layar, Junaio Glue. (В Junaio, окружающую среду называют «каналами», в Wikitude «мирами», а в Layar «слоями»). К примеру, пользователь может выбрать, какую туристическую информацию просмотреть. Другой подход заключается в назначении каждого информационного слоя в отдельное приложение. PressLite использует этот подход. Путеводитель по Парижу для метро и система совместного использования для метро Лондона — это отдельные программы.
Система Yelp используется для обмена между пользователями отзывами и рекомендациями насчет ресторанов, магазинов, ночных развлечений, сервисов и так далее. Дополнительная функция Monocle – это социальная медиа с реальным окружающим миром с использованием дополненной реальности. Это вероятно первый в мире социальный медиа браузер. Пользовательский интерфейс имеет функцию обнаружения движения; пользователь активирует монокль путем встряхивания телефона. Дополненная реальность хорошо подходит для рекламы. В 2010 году разные компании запустили рекламные кампании с использованием дополненной реальности. Одним из этих кампаний является Benetton. Программа соединяет рекламные объявления с журналов, рекламных щитов и каталогов продукции с технологией дополненной реальности. Они используют некую символику во всех своих товарах. Маленькая иконка оповещает о том, что пользователь может использовать веб-камеру или загрузить приложение из “App Store”. Затем приложение дополненной реальности увеличивает видео на верхней части маркера, например, в каталоге. Версия для персональных компьютеров использует программное обеспечение “Adobe Flash Player”, которое у большинства пользователей всегда установлено на компьютерах. Технологии дополненной реальности используются для обогащения печатных средств массовой информации. Журнал Esquire опубликовал вопрос с дополненной реальностью в Декабре 2009 года, газета Süddeutche Zeitung выпустила свой первый выпуск с содержанием дополненной реальности в 2010 году. В Esquire пользователи смогли увидеть содержимое дополненной реальности, когда пользователь наводил веб-камеру компьютера на журнал. В Süddeutche Zeitung пользователи могли увидеть содержимое с мобильного телефона после загрузки приложения. Бразильская газета “O estado de Sao Paulo” дополняет свои газеты регулярно технологией расширенной реальности с 2009 года. Или идея книги с дополненной реальностью — “волшебная книга”. («Волшебная книга – плавное перемещение между реальностью и виртуальностью»). Тем не менее, потребовалось некоторое время, прежде чем технология была достаточно надежной для массового рынка.
В развитии технологии дополненной реальности принимают участие также такие большие компании, как Microsoft и Qualcomm. Компания Microsoft создала очки дополненной реальности HoloLens, которые снабжены датчиками, сенсорами и дальномерами. В HoloLens используется алгоритм, который основан на распознавании и отслеживании безмаркерных объектов. Компания Qualcomm, занимающаяся исследованием и разработкой беспроводных средств связи, разработала целую платформу дополненной реальности Vuforia. В Vuforia используется алгоритм обработки и отслеживания плоских и простых реальных объемных объектов (цилиндр, квадрат, сфера), также платформа умеет распознавать текст. Vuforia может интегрироваться с игровым движком Unity, что в свою очередь позволяет создавать приложения дополненной реальности для Android и iOS.
Медицинские приложения требуют абсолютную надежность и высокую степень точности. Исследователи предложили дополненную реальность для лапароскопической хирургии, к примеру, новый метод визуализации в лапароскопической хирургии с использованием непрерывной объемной компьютерной томографии. К тому же, дополненную реальность используют в медицинских вузах для обучения в хирургии, а также в стоматологической хирургии.
В России с 2015 года функционирует ассоциация виртуальной и дополненной реальности. Главной целью организации является вывод российской продукции AR/VR-отрасли на мировой рынок с последующим занятием первых позиций. Стоит заметить, что данная технология появилась в России совсем недавно по сравнению с зарубежными странами. Тем не менее, развитие дополненной реальности российскими компаниями происходит довольно активно.
При создании систем виртуальной реальности [6, 7], в том числе систем с распознаванием речи [1, 8], мобильных приложений виртуальной реальности [9], не стоит забывать об информационной безопасности [2, 3, 5], соответствовать общим критериям международного стандарта [4].
Список литературы
- Алюнов Д.Ю., Сергеев Е.С., Пигачев П.В., Мытников А.Н. Реализация алгоритма обработки и распознавания речи // Современные наукоемкие технологии. – 2016. – № 3-2. – С. 225-230.
- Егорова Ю.Н., Мытникова Е.А., Мытников А.Н., Егорова О.А. Программный комплекс оценки угроз информационной безопасности информационных систем как эффективное средство формирования профессиональных компетентностей бакалавров по дисциплине «Информационная безопасность» // Современные наукоемкие технологии. – 2016. – № 4-1. – С. 109-113.
- Егорова Ю.Н., Мытников А.Н., Мытникова Е.А., Егорова О.А. Разработка системы управления информационными рисками // Информационные технологии, в экономике, образовании и в бизнесе: VIII материалы Международной научно-практической конференции. (16 декабря 2014 г.); отв. ред. А.А. Зарайский. — Саратов: Издательство ЦПМ «Академия бизнеса», 2014. — С. 40-45.
- Иванов С.О., Ильин Д.В., Ильина Л.А., Назарова О.В. Имитационное моделирование средств защиты информации, соответствующих общим критериям международного стандарта ISO/IEC 15408 // Вестник Чувашского университета. — 2016. — № 3. — С. 194-200.
- Иванов С.О., Ильин Д.В., Ильина Л.А. Методика анализа риска с использованием модели последствий // Вестник Чувашского университета. — 2015. — № 3. — С. 149-153.
- Кириллов Д.Ю., Ильина Л.А. Создание 3D-панорам // В сборнике: Информатика и вычислительная техника сборник научных трудов. Чебоксары, 2016. С. 96-97.
- Кириллов Д.Ю., Ильина Л.А. Виртуальная экскурсия по лицею // В сборнике: Сборник научных трудов молодых ученых и специалистов Чебоксары, 2016. С. 100-103.
- Мытников А.Н., Мытникова Е.А., Кузнецова Л.Н., Николаев М.С. Распознавание речи // Теория и практика современной науки. — 2016. — № 4 (10). — С. 507-510.
- Мытников А.Н., Мытникова Е.А., Кузнецова Л.Н., Солин С.Ю. Технологии разработки мобильных приложений // Теория и практика современной науки. — 2016. — № 4 (10). — С. 504-507.