ЭФФЕКТИВНЫЕ СПОСОБЫ ПОЛУЧЕНИЯ ОТКРЫТОЙ ИНФОРМАЦИИ В СЕТИ ИНТЕРНЕТ

№9,

Технические науки

Молоков Вячеслав Витальевич (Кандидат технических наук)

Ключевые слова: ИНТЕРНЕТ; ИСТОЧНИКИ ОТКРЫТОЙ ИНФОРМАЦИИ; СОЦИАЛЬНЫЕ СЕТИ; ЭФФЕКТИВНЫЙ ПОИСК ИНФОРМАЦИИ; INTERNET; SOURCES OF OPEN INFORMATION; SOCIAL NETWORKS; SEARCH FOR THE EFFECTIVE CONTENT.

Аннотация: Совершенствование приемов поиска информации в сети Интернет является актуальной задачей. В статье рассматриваются источники открытой информации и методы поиска значимых в интересах различных субъектов данных. Приводятся примеры использования недокументированных операторов поисковых запросов в популярных социальных сетях и интернет-сервисах. Даются основы интернет-разведки и технологий эффективного поиска контента.

Введение

Эпоха интернета трансформировала информационное пространство человека, размыла границы реальности и виртуального мира. В отличие от материально существующего объекта информации, имеющего определенные формы, внешние атрибуты, рамки восприятия, Всемирная паутина не имеет границ, свободно трансформируется, а главное является открытой для всех. Темпы развития сети Интернет колоссальны. В информационном поле находится большая часть человечества, и их интеграция с виртуальным пространством становится более тесной и зависимой.

В настоящее время люди не только пользуются информацией в сети, они активно насыщают ей Всемирную паутину, зачастую оставляя следы хронологии своей жизни (записи, фотографии, комментарии, документы и т.п.). И эта информация является общедоступной для всех, так как подчиняется изначальному принципу открытости, на котором и создавалась сеть Интернет. Упрощая процессы в сети Интернет их можно свести к элементарным операциям с информацией: прием, передача, хранение. Рассмотрим наиболее типичные источники открытой информации в сети Интернет [1].

Классической ассоциацией источника информации во Всемирной паутине выступает понятие сайта. Если говорить общеупотребительным языком, то сайт – это место в сети Интернет, в котором содержатся данные, предоставляемые для всеобщего обозрения владельцем с определенной целью. Сайт ассоциируется с доменным именем, являющимся мнемоническим адресом в сети Интернет, например library.ru. В зависимости от целей, которые ставит человек в процессе создания информационного ресурса, сайты можно типизировать по различным разновидностям.

Источники информации в сети Интернет

Портал – крупнейший информационный ресурс, предоставляющий пользователю интернета различные интерактивные сервисы, работающие в рамках одного веб-сайта, такие как почта, поиск, погода, новости, форумы, обсуждения, голосования. На порталах пользователь может создать свой почтовый ящик, интернет-страничку, пользоваться доской объявлений и т.п. Большинство веб-порталов построено вокруг поисковых машин и каталогов.

Корпоративный сайт – это сайт компании, её официальное виртуальное представительство в сети Интернет. На нём размещается полная информация о компании, о сфере её деятельности, предлагаемой продукции и услугах. Рассказывается о том, чем занимается, что производит или какие услуги оказывает организация. Часто на корпоративном сайте размещают каталог производимой продукции и дополнительные сервисы – форум, опросы, рассылки и тому подобное.

Сайт-визитка – содержит общую информацию о компании, организации или о предпринимателе. На таких сайтах размещают прайс-листы, резюме, схему проезда и график работы владельца, физический адрес, контактные телефоны, все то, что фактически могли бы написать в обычном буклете. Такой сайт удобен тем, что на нем можно быстро изложить важную информацию, которая подтолкнет клиента к сотрудничеству.

Информационный сайт – распространенный вид сайта. Классический информационный сайт – это сайт издания, газеты, новостей и прочее. Иначе, это такой сайт, на котором необходимо донести до пользователя разнородную информацию, сгруппировав и подав её в наиболее удобном для читателя виде. В настоящее время создаются, чаще всего, не для удовлетворения информационных потребностей посетителей, а для заработка на тематических партнерских программах или контекстной рекламе.

Чем качественнее сайт, а именно его контент, тем перспективнее будет заработок с него. Есть сайты коммерческих тематик, реклама на которых стоит очень дорого. Тематики могу быть совершенно разные – от разведения животных до конструирования машин.

Интернет-магазин – виртуальный магазин с каталогом продукции, который удобен продавцу и покупателю. Продавцу не нужно арендовать помещение для размещения товара, достаточно определится с поставщиком. А покупатель в любое время, находясь за компьютером, может, выбрав необходимый товар, удобный вид доставки и оплаты, приобрести необходимую вещь или услугу.

Форум – место для общения людей. Бывают обще и узкотематическими. Раньше форумы были самым популярным видом сетевого общения, наряду с менее серьезными чатами. Сейчас же их агрессивно вытесняют социальные сети и блоговые сообщества. Они менее удобны для тематического общения, но удобнее для широкого круга людей которые желают просто поболтать.

Блог – онлайн дневник, но только не личный, а общедоступный. Любой посетитель может прочесть предоставляемую информацию и оставить свои комментарии. Блоги создают, чтобы поделиться своими профессиональными навыками, к примеру, в области дизайна. Или, разделить свое увлечение (хобби) с единомышленниками, к примеру, рыбалкой или кулинарией. На блоге можно размещать информацию в виде текста, фото, аудио и видео. Еще одной особенностью блогов, являются регулярно добавляемые записи (посты), которые размещаются соответственно дате, но в обратном порядке – новая запись находится сверху.

Микроблог – блог в уменьшенном варианте, он создан для коротких сообщений. Одним из самых ярких представителей этой группы, является популярный сервис Твиттер (Twitter).

Социальные сети – сайты, созданные для объединения людей по определенному признаку (интересы, профессия, вероисповедание). Это социальная структура, состоящая из групп узлов, которыми являются социальные группы, личности, индивидуумы. Система «друзей» и «групп» одна из отличительных черт социальных сетей.

Медиахранилища – ресурсы, дающие пользователям возможность загружать файлы, предоставляя другим людям доступ к ним. Пример социальной сети такого типа – Youtube.

Таким образом, мест, где человек может свободно разместить информацию или воспользоваться уже имеющейся, в сети Интернет достаточно много. В условиях тотального увлечения молодежи виртуальным общением объем скопившихся персональных данных в интернете огромен. Тенденцией современного мира является неконтролируемое распространение личной информации в виде медиа контента. Примером тому является социальная сеть Instagram.

Все это дает основания для использования персональных данных в интересах различных организаций и компаний. Направление интернет-разведки существует уже давно, область ее интересов больше касается конкурентной разведки, но не исключением являются правоохранительные органы [2]. Получение информации в открытых источниках в интересах раскрытия и расследования преступлений одно из актуальных направлений совершенствования деятельности оперативных подразделений органов внутренних дел.

Методы поиска информации в сети Интернет

Рассмотрим основные приемы и способы получения значимой информации в сети Интернет.

Общеизвестный и самый распространенный способ поиска информации во Всемирной паутине – это использование поисковых сервисов, таких как Яндекс или Google. Две мощнейшие интернет-компании предоставляют пользователям удобные инструменты нахождения нужного контента. Следует уточнить, что сеть Интернет изначально не предполагала организацию формализованного хранения данных, как например это реализовано в базах данных. Принципы стандартизации представления информации, в виде пригодном для машинной обработки, заложены в семантическом вебе, но его внедрение уже давно тормозится. Поэтому более простым способом доступа к необходимой информации считается автоматизированный поиск контента на ресурсах интернета и его индексация в базе данных поискового сервиса. Когда мы ищем информацию с помощью поиска Яндекс, мы на самом деле обращаемся к его базе данных, а он в свою очередь анализирует наш запрос и выдает ссылки на наиболее соответствующие ожиданиям источники. Многочисленные сайты Всемирной паутины просматривают и анализируют «поисковые роботы» (пауки, боты) и помещают собранную информацию в базу поискового сервиса.

Разработчики поисковых машин постоянно совершенствуют технологии анализа пользовательских запросов, но для эффективного поиска информации рекомендуется использовать дополнительные команды, а точнее операторы поисковых выражений. Ими наделен любой поисковый портал и, как правило, многие операторы универсальны, то есть работают в разных поисковых машинах.

Так как наиболее мощными и результативными являются поисковые сервисы Яндекс и Google, то приведем наиболее типичные операторы поиска этих порталов.

Первая ситуация. Вам необходимо найти информации в сети Интернет по точному совпадению фразы, фамилии или имени определенного человека. Для этого в поисковой строке следует ввести фразу в той форме, в какой вы собираетесь ее обнаружить и заключить ее в кавычки. Например, «Иванов Иван Иванович» или «сотрудник компании Ураган». Однако следует иметь ввиду, если указанная последовательность слов в оригинальном тексте не совпадает, то результат поиска будет отрицательным. Необходимо использовать различные комбинации, например: «Сидоров Виталий Иванович», «Виталий Иванович Сидоров», «В.И. Сидоров» и т.п.

Вторая ситуация. Результат запроса содержит множество полезных ссылок, но в них встречается лишняя информация, которую можно охарактеризовать каким-либо атрибутом (словом). В этом случае следует исключить из выдачи определенное слово, указав его после знака тире. Например, для исключения из поисковой выдачи актеров следует указать: «Виталий Иванович Сидоров» -актер. Последовательность исключений не ограничена.

Третья ситуация. Вам известны сайты или домены, в которых определенно может находиться интересующий контент. В этом случае оптимальным решением будет прямое указание сайта в поисковой строке Google, на котором необходимо проводить поиск. Например, site:kopendat.ru «Виталий Сидоров».

Четвертая ситуация. Вам известно, что на сайте компании есть документы, где фигурирует фамилия Сидоров. В этом случае в поисковой строке Google можно указать следующее выражение: site:kopendat.ru filetype:doc Сидоров. Будут найдены ссылки на файлы документов, содержащие ключевое слово Сидоров. Доступен поиск и по другим типам файлов: xls, pdf, txt.

Таким образом, поиск информации с помощью поисковых сервисов является неординарной задачей. Следует менять выражения поиска, вводить уточняющие запросы, использовать операторы поиска, проводить поиск на определенном ресурсе или домене, пользоваться различными поисковыми машинами [3].

Полная информация по операторам поиска поисковых сервисов содержится на страницах помощи. Ниже приведены ссылки на страницы помощи Яндекс и Google.

Яндекс – https://Яндекс.ru/support/search/query-language/qlanguage.html
Google – https://support.google.com/websearch#topic=3081620

Поисковые системы обладают дополнительными сервисами, расширяющими возможности поиска. В Яндекс это «Поиск людей». В Google – «Поиск по картинке». Сервис Яндекс «Поиск людей» не требует авторизации в социальной сети и может искать людей сразу в нескольких сетях одновременно.

Конечно, это первое с чего необходимо начинать поиск. Если человек «засветился» на просторах интернета, то обязательно информация о нем попадет в страницы выдачи запросов. Но если информация об интересующем фигуранте находится в одной из социальных сетей, то обычные поисковые сервисы здесь могут не справиться, так как социальная сеть является сложным программным продуктом, не индексируется «поисковыми пауками» или же просто запрещает им доступ. Сервис Яндекс «Поиск людей» пытается решить эту задачу, но не всегда успешно. В этой ситуации следует прибегать к прямому поиску информации в социальной сети.

Для начала необходимо иметь фейковый (вымышленный) профиль в интересующей социальной сети. Все крупные социальные сети типа «Вконтакте», «Одноклассники», «Facebook» позволяют осуществлять поиск открытой информации среди своих пользователей под авторизованным профилем.

Операторы поисковых запросов

Рассмотрим механизмы поиска в социальной сети «ВКонтакте», так как эта социальная сеть обладает дополнительными поисковыми операторами, позволяющими наиболее эффективно искать требуемую информацию.

Для поиска фотографий вблизи определенных координат в поисковой строке сети «ВКонтакте» следует указать оператор near и координаты места в формате: долгота, широта. Например, near:52.83,93.35 выдаст фотографии пользователей в регионе Ергаки. Для справки, сервис www.ipconsulting.ru позволяет определить точные координаты по интерактивной карте.

Запросы для поиска контента в репостах или комментариях соответственно должны содержать операторы:

type:copy
type:reply

Для исключения из выдачи определенного слова или объекта используется дефис. Конструкция:
-type:copy -type:reply
позволяет искать контент непосредственно в оригинальных постах.

Следующая группа операторов накладывают условия на вложения в пост, репост, комментарий. Используя их, можно искать фотографии, видеофайлы, аудиофайлы, граффити, заметки, опросы, ссылки, документы, альбомы, содержащие только текст записи.

has:photo
has:video
has:audio
has:graffiti
has:note
has:poll
has:link
has:doc
has:album
has:none

Комбинация запроса:
has:graffiti has:audio has:link -has:photo
позволяет найти записи с вложением граффити, аудио и ссылки, но без вложения фото.

Следующая группа операторов позволяет искать записи с определенным количеством лайков (<=10, <=100, <=1000):
likes:10
likes:100
likes:1000

Для поиска записей, содержащих ссылки на сайты или домены используются операторы:
url:сайт
domain:домен

Следующий оператор позволяет искать копии указанной фотографии:
copy:photo123455_123455

Для просмотра реального id пользователя, в случае использования псевдонима, можно воспользоваться сервисом vk.com/linkapp.

Искать упоминания о человеке можно с помощью URL-запроса в строке браузера:
vk.com/feed?obj=ID&section=mentions
где ID – это уже известный идентификатор пользователя.

Для поиска упоминания сообщества необходимо в той же конструкции перед его id поставить дефис:
vk.com/feed?obj=-ID&section=mentions

Приведенные операторы могут использоваться в различных комбинациях, тем самым конкретизируя запрос. Другие интересные варианты конструкции запросов всегда можно найти в поисковой выдаче Яндекс или Google.

Затрагивая тему поиска информации в социальной сети «ВКонтакте» стоит уделить внимание сервису поиска общих друзей и подписок. Находится ресурс по адресу 220vk.com.

Для корректной работы сервиса необходимо авторизоваться. Все опции интуитивно понятны, а именно: скрытые друзья; скрывающие друзья; черный список; города друзей; сохраненные фотографии; возможные друзья; общие друзья друзей; дата регистрации. Рассмотрим функцию поиска общих друзей.

В окне вводится ссылка на id первого пользователя и ссылка на id второго пользователя. Информацию об id пользователя всегда можно получить в строке профиля интересующего лица. Например, адрес страницы https://vk.com/id51354222, где id=51354222. После запуска поиска в случае обнаружения появятся списки общих друзей и общих сообществ. В дальнейшем процесс анализа связей можно продолжать от профиля других пользователей, состоящих в друзьях с искомым. Таким образом, данный сервис является инструментом наблюдения и может использоваться в решении различных тактических задач.

Социальная сеть «Одноклассники» более консервативна. По умолчанию пользователю доступен расширенный поиск, можно искать по городу, дате рождения, месту рождения, школе, учебе в вузе, группе и т.п. Но существуют и недокументированные возможности. Например, если необходимо найти имя толи Таша, толи Тиша, то следует указать в поисковой строке: Т_ша. Будут выданы все имена людей, в которых встречаются различные комбинации второй буквы, либо без нее.

Следующая социальная сеть видео контента — это сервис Youtube – безоговорочный лидер среди всех площадок для хранения и просмотра видео. Ежедневно пользователи просматривают около 4-х миллиардов роликов, и каждую минуту загружается 48 часов нового видео. В таком потоке данных становится всё труднее найти то, что действительно интересует пользователя.

Поэтому сервис Youtube оснащен скрытыми возможностями использования ключевых параметров поиска. Рассмотрим наиболее употребительные операторы.

Поиск по точной фразе. Для поиска точного соответствия, как и в поисковых сервисах, используются кавычки, например:
«бермудский треугольник»

Поиск канала. Чтобы найти определённый канал, нужно к фразе добавить запятую и слово «channel», например:
космос, channel

Поиск видео по времени добавления. Можно задать временной промежуток для поиска видео. Для этого нужно добавить к поисковой фразе одно из слов:

this week – видео загружено на этой неделе;
this month – видео загружено в этом месяце;
today – видео загружено сегодня;
this year – видео загружено в этом году.

Включить или исключить слово при поиске. Если некоторые результаты поиска упущены, можно принудительно включить показ результатов. Для этого нужно добавить «+» и ключевое слово. Например, ищем «русских в Америке»:
русские +Америка

Используя знак «-» (дефис) можно наоборот исключить из результатов все совпадающие с ключевым словом видео. Чтобы найти все видео «Русские с ключевым словом Америка, но не на Брайтон-Бич» указываем:
русские +Америка -Брайтон-Бич

Искать в заголовках. Данный оператор можно использовать для поиска видео по искомой фразе в заголовках. Например:
intitle: футбол

Поиск фильмов на Youtube. На Youtube есть полнометражные киноленты и их десятки тысяч. Чтобы легко искать фильмы на Youtube, добавьте слово «movie» к запросу:
«Служебный роман», movie

Поиск видео наилучшего качества. Современный телевизор может спокойно подключаться к сети Интернет и с помощью встроенного браузера, можете смотреть фильмы на его экране. Конечно, не все видео на Youtube в хорошем качестве, но можно поискать ролики в высоком разрешении, для этого следует добавить «HD» к запросу:
«Служебный роман», hd

Для более точного поиска можно использовать сразу несколько ключевых слов одновременно. Ключевые слова и параметры следует разделять запятой. Перечисленные параметры не являются официальными операторами поиска в Youtube, но данный метод может значительно упростить доступ к необходимой информации.

Перейдем к рассмотрению инструментов поиска в популярной сети обмена сообщениями Twitter. Twitter как и другие интернет сервисы поддерживает операторы запросов, намного уточняющие критерии и соответственно результат поиска. Рассмотрим некоторые из них, например:

Новости Москва – твит содержит слова «новости» и «Москва». Это оператор по умолчанию во всех интернет сервисах.
«Погодная аномалия» – содержит точную фразу «погодная аномалия».
Мир OR война – содержит либо «мир» либо «войну» (или оба слова).
Мечтать -вредно – содержит слово «мечтать», но не «вредно».
#instagram – содержит хэштег «instagram».
@utkin – ссылка на профиль «utkin».
From: utkin – отправлено человеком с ником «utkin».
To: utkin – отправлено профилю «utkin».
Победители since:2017-01-01 – содержащие слово «победители» и опубликованные после даты «2017-01-01» (год-месяц-день).
Инопланетяне until:2013-10-10 – содержащие слово «инопланетяне» и опубликованные до «2013-10-10».
Новости filter:links – содержащие слово «новости» и адреса ссылок.
Новости source:twitterfeed – содержащие слово «новости» и опубликованные через Twitterfeed.

В заключении стоит уделить внимание поиску в Instagram. Это одна из самых популярных сетей обмена фотографиями и видео.

Классические приемы поиска в Instagram работают также, как и в других социальных сетях. По умолчанию вы имеете возможность искать по имени пользователя (его аккаунту), если он вам конечно известен. Для поиска по хэштегам используйте перед ним знак решетки (#), например, #love.

Элементы интернет-разведки

Резюмируя сказанное, сформулируем некий алгоритм поиска информации в сети Интернет:
1. Начинать поиск следует с запросов к поисковому сервису Яндекс или Google. При этом зона Рунета больше индексирована Яндексом и он лучше работает с русскоязычными предпочтениями. Однако мощности Google позволяют ему в некоторых случаях находить уникальную информацию. Следует отметить, что для поиска в пределах определенного сайта Google работает несколько лучше. Используйте для поиска уточняющие запросы, эффективно добавляйте операторы поиска, ограничивайте области поиска доменами или сайтами. Если вы ищите информацию о человеке, то важной находкой могут стать его ник (псевдоним в социальной сети) и адрес электронной почты. Обращайте внимание на возможные упоминания псевдонима в переписке, адресе страницы, форуме, сленге. Алгоритм формирования имени может быть похож на ассоциации: имя+год, имя+фамилия, имя+персонаж и т.п.

2. Пробуйте использовать дополнительные поисковые сервисы порталов Яндекс и Google: «Поиск по картинке», «Поиск людей».

3. Сформировав представление о найденной информации, ищите факты, фрагменты, ссылки за которые можно «зацепиться» в дальнейшем. Если становится известен электронный адрес пользователя, можно попытаться найти его переписку в форумах, указав в поисковом запросе электронную почту. При поиске людей проверяйте информацию: где учился, где родился, где работал, с кем дружил и т.д. Но это уже не поддается формализации и требует навыка и опыта.

4. Продолжайте поиск, если необходимо, в социальных сетях, видеохостингах, блогах, форумах и т.п. Оптимизируйте запросы с помощью поисковых операторов. Используйте автоматизированные системы поиска [4]. Пробуйте адреса страниц профиля пользователя с указанием предполагаемых либо известных псевдонимов, например vk.com/crazy_pit или facebook.com/crazy_pit. Многие пользователи социальных сетей имеют одинаковые никнеймы во всех социальных сетях, поэтому можно пробовать искать по известному имени. Так как социальные сети, как правило, объединяют пользователей по группам и интересам, то возможно следует искать интересующего человека через его знакомых, в сообществах, по месту учебы или рождения.

5. Если вам известен номер телефона пользователя, его ник или логин, адрес электронной почты, то можно попробовать имитировать восстановление пароля в интернет-сервисе или социальной сети, в которой он зарегистрирован. Как правило, для восстановления пароля используются либо данные телефонного номера, либо электронной почты. Зная один из идентификаторов можно определить другой, так как сервис сообщает на какой номер или его часть будет отправлено СМС, либо демонстрируется электронный адрес отправки.

На протяжении всего поиска фиксируйте в файле найденные ссылки, документы, скриншоты изображений и т.п. Собранная информация может оказаться полезной в дальнейшем [5].

Обобщим подходы, которые используются для деанонимизации пользователей в сети Интернет:

1. Фотографии. Поиск по картинкам и использование некоторых специализированных сервисов может дать информацию о человеке по его изображению. Чем чаще пользователи используют одну и ту же фотографию, тем выше вероятность связать картинку с конкретным человеком.

2. Ники. То же самое касается и никнеймов. Пользователи не любят запоминать разные логины и пароли, поэтому часто пользуются одинаковыми данными во всех своих сервисах (форумы, блоги, социальные сети и т.д.). Множественное использование никнейма значительно уменьшает анонимность пользователя.

3. Речь. В общем случае в сети используются такие же речевые стили, которыми человек пользуется в живом общении с друзьями, коллегами, случайными прохожими. В некоторых случаях может быть применен анализ речевых особенностей (лингвистический анализ). Авторские тексты, использование специфических слов, сленга, знаков препинания индивидуализируют человека. Манеру письма подделать довольно трудно.

4. Профессия. Работников узкого профиля можно вычислить через отдельные профессиональные сайты и ресурсы, а также по использованию экспертной терминологии или материалов. Наличие грамотных сообщений и комментариев в узкоспециальной области само по себе резко выявляет данного человека.

5. Друзья. По списку друзей на одном ресурсе можно без особых трудностей восстановить личность на другом. Даже если там не будет никакой информации о человеке или она будет ложной. Если кто-либо из друзей знает лично пользователя, желающего сохранить анонимность, он может случайно его деанонимизировать.

Таким образом, можно констатировать, что люди оставляют о себе в сети Интернет огромное количество информации, эта информация может быть использована в интересах различных субъектов. Инструменты поиска в сети совершенствуются, но для их эффективного использования необходим навык. Приемы эффективного поиска нередко обсуждаются на различных тематических сайтах и их также можно найти в сети.

Список литературы

  1. Типы сайтов // Зетнет : сайт. – URL: http://znet.ru/raskrutka/vidyi-saytov-i-ih-klassifikatsiya-s-primerami (дата обращения 04.10.2017).
  2. Молоков В.В. Использование систем анализа ресурсов сети Интернет и социальных медиа в вопросах противодействия информационным террористическим угрозам // Современные системы безопасности – Антитеррор : материалы конгрессной части XI специализированного форума. – Красноярск: СибЮИ ФСКН России, 2015. – С. 53-55.
  3. 60+ способов использования операторов поиска Google // Conversion : сайт. – URL: https://conversion.im/ispolzovanie-operatorov-poiska (дата обращения 03.10.2017).
  4. Галушин П.В., Смирнов И.А. Автоматизация аналитической работы органов наркоконтроля с информацией, размещенной в социальных сетях // Вестник Сибирского юридического института МВД России. – 2014. – № 3. – С. 117-121.
  5. Как «пробить» человека в интернет: используем операторы Google и логику // Хабрахабр : сайт. – URL: https://habrahabr.ru/company/echelon/blog/321754 (дата обращения 05.10.2017).