osint framework что это
OSINT или как посмотреть на свою сеть глазами хакера
Добрый день! Сегодня я вам расскажу какую информацию об организации можно обнаружить в открытых источниках и как ей может воспользоваться потенциальный злоумышленник. Многие из вас наверняка слышали об OSINT (Open Source INTelligence, перечень мероприятий, направленный на сбор информации из открытых источников), который чаще всего используется для сбора информации о конкретном человеке. Но также OSINT можно использовать для поиска информации о конкретных организациях для оценки защищенности. Ведь согласитесь, полезно посмотреть, что о вас есть в открытом доступе и как вы выглядите со стороны потенциального злоумышленника.
Популярные ресурсы, где проходит сбор информации
Для проведения активного сканирования необходимо подписание NDA и согласование проведения работ, что естественно требует времени. В связи с этим необходимо использовать только данные, находящиеся в открытых источниках, не сканировать ИТ-инфраструктуру и соответственно не тратить человеко-часы на бюрократию. 
Так что же можно найти в свободном доступе?
Наиболее подробно на этот вопрос отвечает osintframework.com, рекомендую ознакомиться для получения обобщенного ответа на поставленный вопрос.
Я же постараюсь выделить из обширного объема информации наиболее интересную для ИБ специалистов. Искать будем:
В интернете существует огромное количество инструментов для поиска почтовых адресов компании по доменам, например:
Расширение браузера Email Finder от Snov.io — на данный момент имеет огромный функционал в бесплатной версии и находит огромное количество доменных учетных записей, но надолго ли.
theHarvester — собирает как почтовые адреса, так и субдомены, открытые порты а также данные о виртуальных хоcтах. Предустановлен в Kali Linux.
Инструменты бывают как платные, так и бесплатные, выбор использования зависит от наличия желания/возможности платить за улучшенный функционал. Имеет смысл пользоваться несколькими инструментами одновременно так, как результаты они выдают разные. В конечном итоге имеем большой список почтовых адресов компании, который необходимо проверить на наличие скомпрометированных учеток.
Провести проверку можно на многим известном сервисе haveibeenpwned.com.
На выходе инструмент дает нам информацию в каких базах содержатся упоминания учетной записи, есть ли в этих базах данные по паролям, физическим адресам, номерам телефона и т.д.
Самих паролей тут мы не получим, но сможем разделить почтовые адреса на “чистые” и потенциально скомпрометированные.
Тут стоит отметить, что инструмент имеет платный API. Без него, конечно, можно проверить все почтовые адреса, но придется подавать их на вход по одному, что займет уйму времени. При покупке API (3,5$ в месяц, чисто символическая плата) получим возможность использовать его в различных скриптах и соответственно существенно ускорить и автоматизировать процесс анализа.
В дальнейшем можно воспользоваться ботом в telegram @mailsearchbot.
На вход даем ему потенциально скомпрометированные почтовые адреса, на выходе получаем пароли, использовавшиеся в связке с данным почтовым адресом. Стоит отметить, что далеко не для всех учеток удается найти пароли, но процент обнаружения большой. И опять же при наличии желании/возможности финансово поддержать разработчика можно получать полные данные, без скрытых звездочками символов, но к сожалению тут цена уже кусается.
Следующим этапом необходимо собрать информацию о субдоменах. Инструментов, позволяющих это сделать очень много, например:
dnsdumpster.com — умеет рисовать красивые графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.
pentest-tools.com — советую познакомиться с сайтом поподробнее, так как тут можно не только субдомены искать. В lite версии имеет ограничение на 2 сканирования в день, но легко обходится TORом)
Тут также имеет смысл комбинировать инструменты для определения наибольшего количества субдоменов. Зачастую в паре с субдоменом идет IP-адрес, который в дальнейшем можно скормить шодану (shodan.io) для получения списка открытых портов и сервисах, торчащих в интернете.
В дальнейшем можно подобрать уязвимости и эксплойты по определенным версиям сервисов, используя такие ресурсы, как:
exploit-db.com — большая пополняемая база эксплойтов. Тут стоит обратить внимание, что есть подтвержденные администрацией сайта эксплойты и не проверенные.
В данных шодана нам также интересна принадлежность ip-адреса какой-либо автономной системе. Проверка производится в различных Whois-сервисах, которых также большое количество. По большому счету нет никакой разницы с каким инструментом работать, поэтому продемонстрирую те, на которых остановился я:
ididb.ru — в большей степени заточен на сбор информации об автономных системах Рунета.
В случае обнаружения автономной системы, принадлежащей компании имеет смысл прогнать все ip через shodan и собрать как можно больше информации по версиям сервисов.
Для анализа определений на каких технологиях построен сайт можно использовать расширение браузера Wappalyzer. Зачастую инструмент определяет версии и соответственно вы также можете подобрать для них уязвимости.
Переходим к заключительному этапу – поиск скрытых директорий и файлов сайта. Тут нам пригодятся:
В свою очередь DirBuster это инструмент поиска скрытых директорий и файлов, которые забыли удалить из общего доступа или добавили туда по ошибке. В нем имеется несколько встроенных словарей для осуществления поиска. Рекомендуется использовать словарь directory-list-2.3-medium для оптимизации соотношения затраченного времени к выхлопу.
При использовании этих инструментов придется проанализировать большое количество информации, но зачастую старания вознаграждаются.
Популярные курсы/книги для обучения
Топ — 5 проблем, которые нам удается обнаружить в рамках OSINT-а
На моей практике удавалось:
Заключение
Итак, мы видим, что информация, находящаяся в открытых источниках может стать плацдармом для проведения атаки на корпоративную инфраструктуру. Необходимо периодически проверять как организация выглядит со стороны потенциального злоумышленника и по возможности скрывать данную информацию.
Инструменты OSINT, которые ускорят исследования в сети
Почти у всех периодически возникает необходимость разобраться в какой-то новой сфере, провести исследования или быстро найти очень узкоспециализированную информацию. Но поисковик не всегда нас понимает. Мы старательно пытаемся объяснить: вводим большие предложения на смену коротким словосочетаниям. Рыскаем по страницам и ссылкам. И, вероятно, через несколько часов обнаруживаем в каком-то документе pdf запрос, который надо было вводить с самого начала.
Бывает, не всегда легко выразить свою информационную потребность в поисковом запросе. Может не хватать нужной терминологии, или вы еще не совсем уверены, в том, что именно ищите, а увидев возможные варианты, сразу поймете что нужно. А может, то, что вы ищите, вообще сложно облечь в лаконичный поисковой запрос.
Помогут понять, что вообще искать
1. OneLook
Это словарик, который подбирает слова и фразы, как-то относящиеся к вашему запросу. Тут же можно быстро найти определения тех или иных слов — результат придет из разных словарей.
2. Keyword Tool
Платформа показывает ключевые слова по введенному запросу на любом языке и по любой стране. В некоторых запросах даже видно, насколько они популярны, хотя эта услуга платная. Можно искать ключевые слова по Google, YouTube, Twitter, Instagram, Amazon, eBay, Play Store, Bing.
Ища по Google, можно, например, выбрать ключевые выражения, содержащие в себе вопросительные слова или предлоги. А слева есть фильтры, где можно искать по ключевым словам уже в получившейся выдаче.
3. Answer the Public
Тут вы вводите интересующее вас слово и получаете варианты запросов с ним, по которым ищут люди. Есть выбор языков, в том числе русский. Вот так выглядит раздел с запросами, содержащими вопросительные слова.
Единственный минус — в бесплатной версии можно искать только около 3-4 запроса в день.
За ручку проведут к нужному источнику
Это справочные указатели сайтов. В них по тематическим папкам разложены сайты. Вам нужно выбрать интересующую тему и посмотреть, что старательно отобрали для вас редакторы платформы.
4. Dmoz
Поможет понять, какая информация вам нужна, предлагая свои варианты. Позволит найти точный сайт, проводя вас из папки в папку и сокращая область поиска.
5. Web Directory
Выбор здесь не очень большой, но может пригодиться. Каждая ссылка имеет краткое описание от редакторов платформы, что сокращает время на просматривание каждого ресурса.
Рассортируют выдачу по тематическим группам
6. Open Knowledge Map
Ресурс выдает все материалы с открытым доступом из BASE (поисковик по огромному количеству научных материалов) и PubMed (база данных медицинских и биологических публикаций). Можно отфильтровать по формату материалов — аудио, книги, карты, патенты, отчеты, ПО, видео, научные тезисы и тд.
Фишкой ресурса является то, что он показывает выдачу по запросу в виде тематических кругов. Они соприкасаются и пересекаются. Чем ближе круги друг к другу, тем более родственными будут их темы. В центре находятся те, которые имеют самое сильное предметное сходство со всеми остальными кругами на карте. Справа можно искать по ключевым словам уже в пределах получившейся карты. Наведя мышкой на круг, можно увидеть, сколько документов есть по теме этого круга. Если нажать на круг, он увеличивается, и можно выбрать подходящий документ.
Более того, у платформы есть ПО, с которым можно визуализировать в такой же манере свой собственный набор документов.
Минусом можно назвать то, что платформа выдает только 100 наиболее релевантных результатов. Хотя для кого-то это, наоборот, плюс, так как сокращает время поиска.
7. Carrot 2
Кстати, если при поиске, Carrot показывает вам вот это, то просто поменяйте страну в VPN и обновите страницу.
Ищите → выбираете интересующую папку → справа будут результаты.
Вот так выглядит Treemap, если поискать в Carrot информацию о метамодернизме:
Платформа удобна ещё тем, что ищет сразу по 15 поисковикам (в т.ч. Google, Яндекс, Bing).
8. BizNar
BizNar преподносится как ресурс для поиска бизнес информации: исследование рынка и различных индустрий. Платформа ищет по Deep web (не то же самое, что Dark web) — выдаются результаты, которые не индексируются привычными поисковиками. Включает в себя поиск по патентам и социальным сетям.Также BizNar расфасовывает выдачу по тематическим папкам и в виде пайчарта (нажимаем «visual» слева).
После ввода запроса, слева внизу есть график, в каком году сколько материалов по теме было опубликовано. Можно выбрать год, и в выдаче отобразятся публикации только за этот период.
9. World Wide Science
Поиск по международным и национальным исследовательским базам. Запрос можно вводить на любом из предложенных языков (в том числе русском). Если захотите получать уведомления на почту о появлении новых материалов, нужно будет зарегистрироваться. Однако, эта функция доступна только для английских источников.
Выдачу можно фильтровать по различным показателям, а также она рассортирована по темам.
На домашней странице есть карта. При нажатии на интересующую страну, отображается список баз, по которым может искать платформа.
Все возможное в одном месте
10. Fagan Finder
На платформе собрано огромное количество разнообразных поисковых ресурсов, разделенных на группы. Здесь вы найдете, например, поисковики только по энциклопедиям, только по документами, по статьям из журналов или, в конце концов, по презентациям. В общем поиске можно искать не только по картинкам и видео, но и по аудио или по группам и форумам. На первой странице, проскролив ниже, вы сможете получить и короткие гайды к каждому источнику.
То, что собрано здесь, можно не найти через обычный поисковик, потому что источник информации может быть не онлайн, поиск может счесть его недостаточно важным или может быть опубликованным не в том виде, в котором поисковик имеет к нему доступ.
Найдет упоминание вашего запроса во всех популярных соцсетях и не только
11. Hash At It
Инструмент ищет по хештегам, ключевым словам, URL и по упоминаниям профилей. Сразу выдает самые новые результаты, но выбрав какую-то конкретную социальную сеть в фильтре, можно быстрее увидеть и более старые результаты.
Если вы зарегистрируйтесь на сайте, то появится возможность подписаться на определенный хештег или запрос, чтобы сразу получать новые посты по теме.
12. Social Search
Ищет по упоминаниям и в соцсетях и в поисковиках. Что интересно, в списке социальных сетей, по которым он ищет, есть VK. Обычно иностранные поисковые системы его не включают. Тут тоже можно настраивать уведомления на e-mail о новых публикациях по вашему запросу.
Быстрый поиск по новостям, чтобы быть в курсе всех трендов по интересующей теме
13. Watson News Explorer
Это такой банк с новостями. Здесь можно изучить, как личности, компании и новости связаны друг с другом. Платформа расскажет, какие темы, персоны, организации в той или иной степени связаны с вашим запросом. Карта справа показывает, какая страна — источник информации, можно отфильтровать выдачу по конкретным странам.
Поиск можно настроить так, что он будет искать только по людям, компаниям или некоммерческим организациям. А расширенный поиск позволит найти связь между двумя запросами.
Ресурс выдает данные за последний месяц, и внизу отображается временная линейка, когда какие материалы были опубликованы.
14. World News
Это ресурс со всеми возможными новостям, в том числе на разных языках. Можно просто искать по ключевым словам по всем сообщениям, а можно выбрать страну и тему. Еще, кстати, здесь можно искать по радио и подкастам в разных странах. Если нажать на «Classic» в верхнем правом углу, то откроется более подробный поиск — все отсортировано по темам и подтемам и легче искать. Есть мобильное приложение.
15. News Now
Здесь все свежие новости в одной куче. По маленькими флажкам рядом с заголовком можно понять, откуда это сообщение. Новости можно фильтровать по странам или тематикам. Еще здесь можно увидеть, какие новости наиболее просматриваемые и читаемые.
16. All You Can Read
Выбираете страну, а выдача дает все возможные онлайн СМИ, которые есть в этой стране. Плюс, можно сортировать по конкретным темам. Один из самых крупных новостных ресурсов с журналами и газетами со всего мира. Однако, поиск по ключевым словам здесь не предусмотрен.
Доставят нужную информацию прямо на ваш e-mail
Эти инструменты отследят появление новых материалов по теме, а также помогут с мониторингом изменений на интересующих вас сайтах.
17. Google Alert
Инструмент автоматически оповещает по e-mail о новых материалах по теме. Для того, чтобы им воспользоваться, нужен Google-аккаунт.
И так, вводим запрос, за которым хотим следить. Открываем «Еще параметры» и смотрим, как же мы можем настроить наш поиск. «Автовыбор» здесь означает, что информация будет поступать из всех видов источников. Но можно выбрать и какой-то один. Например, вам интересны только новые книги по теме. «Только лучшие результаты» в разделе «Количество» подразумевают под собой, что информация будет приходить только от ресурсов, обладающих хорошей репутацией.
18. Visual ping
Ждете результатов конкурса, появления скидок на авиабилеты или отслеживаете изменения в законодательстве? Этот ресурс пришлет вам уведомление, когда на указанной вами ссылке что-то изменится. Программа делает скриншот и сверяет его с предыдущим. Таким образом она замечает изменения. Расширение для Chrome поможет вам создавать новые уведомления прямо находясь на сайте, за которым вы хотите проследить. А еще можно создать групповые уведомления в Slack (подробнее, как их настроить, можно посмотреть в FAQ в самом низу). Отличная подойдет для отслеживания изменений у конкурентов.
Функция «действия перед проверкой» помогает автоматизировать определенное действие перед новым скриншотом-проверкой. Например, нужно ввести пароль, закрыть всплывающее окно или нажать на кнопку. Как ей пользоваться подробнее здесь и здесь (более продвинутое использование).
Можно настроить уведомления, чтобы вам их присылали только тогда, когда появляется указанное вами ключевое слово.
В бесплатной версии есть ограничения по количеству проверок.
19. Watch That Page
Этот ресурс попроще, чем предыдущий. Например, он не анализирует изменения в изображениях, только текст и ссылки. Однако для личных аккаунтов здесь можно делать почти неограниченное количество проверок.
В одном письме приходят все обновления по указанным вами сайтам. Но можно и разделить ссылки по темам — ресурс будет присылать их отдельными письмами. Для каждого сайта можно выбрать: вы хотите просто узнавать, что там что-то изменилось и самостоятельно проверять; или же сразу получать сами эти изменения в письме. Тут объясняется, как быстрее добавлять новые сайты для отслеживания.
Расширения, которые ускорят ваш обычный поиск
20. Selection Search
Устанавливаете расширение → выделяете интересующий текст → расширение предлагает варианты, где можно поискать информацию по этому запросу.
21. Infinite Scroll for Google
Здесь все элементарно просто — вам не нужно лишний раз кликать на следующую страницу поисковой выдачи. Вы просто листаете вниз, а расширение автоматически открывает для вас новые результаты.
22. Search Preview
Расширение позволяет сразу увидеть, как выглядит сайт, чтобы зря не заходить на него. Поддерживает Google, DuckDuckGo, Yahoo и Bing.
Что еще может пригодиться
23. Wolfram Alpha
Это своеобразный поисковик, который не ищет ресурсы, где можно найти ответы, он сразу дает ответы. Он анализирует файлы разного рода, делает сложные вычисления, дает точные характеристики выбранного объекта, сравнивает и тд.
Чтобы понять, как с ним работать, ресурс предлагает примеры применения. Wolfram Alpha отлично подойдет, если нужно быстро узнать какие-то точные данные по работе в области финансов, социологии, медицины, транспорта, химии, инженерии, статистики, лингвистики и тд. Его можно использовать для обучения и просто для ответов на повседневные вопросы.
24. Gigablast
Это простой и понятный поисковик, в нем нет рекламы, есть приватность и справочник сайтов. А также большой список дорков для эффективного поиска.
25. Symbol Hound
Поисковик, который не игнорирует специальные символы, такие как &, %, π, так что пригодится при поиске информации о выбранном языке программирования.
26. Digle
В конце концов можно попросить кого-то найти нужную вам информацию за деньги или заработать на поиске самому.
OSINT Framework – Один сайт, чтобы править всеми
Сайтов по поиску людей, E-Mail адресов, телефонов и другой подобной информации в сети множество, но все они разрознено распологаются друг от друга. Можно конечно воспользоваться специализированными ботами о которых писалось в этой статье, но, ими поиск OSINT не ограничавается, да и исчераывающую информацию все равно придется искать в ручную. Для этих целей можно воспользоваться фреймворками, и одним из них является OSINT Framework. Этот сайт вобрал в себя множество ресурсов для поиска разного рода информации. Все сервисы разбиты по группам, как например поиск людей или E-Mail адресов. Правда, стоит сразу оговориться, что знание Английского языка вам понадобится хотя бы на начальном уровне, либо, пользоваться переводчиками.
OSINT – Поиск по открытым источникам
OSINT – Open source intelligence, или разведка на основе открытых источников, чаще всего называют как пробив. По сути, в умелых руках и с большим опытом это весьма полезный навык. Но, вернемся к OSINT Framework, при заходе на сайт, вас встретит приветственный слоган, в правой стороне от него будет расшифровка некоторых обозначений которые вы встретите в процессе работы с этим фреймворком. Представлю перевод этих обозначений:
Пользоваться данным фреймворком довольно просто, из списка выбираем нужный пункт, пусть это будет поиск по имени, а соответственно, выбираем пункт “Username”. В результате откроются дополнительные пункты “Username Search Enginis” и “Specific Sites”:
Для примера, давайте выберем первый пункт списка. После нажатия появятся дополнительные варианты поиска, из этих вариантов можно выбрать именно тот, который нас интересует. Как уже говорилось, знание Английского языка необходимо, хотя бы начальное, ну или как вариант, пользоваться переводчиком. Обратите внимания на пункты со скобками в которых написана буква “T”. Если вспомним описание, то это означает (T) – указывает ссылку на инструмент, который необходимо установить и запустить локально:
Впоследствии, если вы будете пользоваться данным OSINT Framework, вы периодически будете встречать данные обозначения в скобках, не забывайте о них. И так, вернемся к пунктам, при нажатии на первый пункт – “Namechk” нас перебросит на другой сайт, на котором можно задать поисковый запрос:
Точно так же и с остальными пунктами, для примера давайте рассмотрим поиск по E-Mail. Выбираем пункт “”Email Adress”, затем пункт “Email Search”:
И следующим шагом будет сервис по поиску, как вариант, используем сервис “Thats Them”, нас опять перенаправит на сайт этого сервиса, на котором необходимо ввести соответствующий поисковый запрос:
Описывать остальные пункты не стану, остановлюсь разве что на пункте который находится в самом низу, а именно “Training”:
Как не сложно понять, этот пункт по тренировке, а так же по обучению OSINT, там помимо всего прочего имеется игры, которые помогут вам понять основы поиска OSINT. В том числе там же будут и операторы Google (Google Dorks), о которых уже упоминалось в отдельной статье.
Заключение
Более подробно рассматривать каждый пункт и подпункт не стану, так как это затянется не на одну статью. По сути, можно написать целую книгу об этом фреймворки и об основах OSINT. Честно сказать, я и не все эти пункты знаю, их там множество, пользуюсь лишь малым количеством из всего арсенала. Да и то, только при необходимости, которая к слову возникает не повседневно. OSINT Framework имеет открытый исходный код, при желании каждый может его просмотреть, а располагается он на GitHub. Если же вам интересна данная тематика, а именно OSINT и все что с ним связано, вы можете прочесть книги. Как вариант “Конкурентная разведка” автор Ющук, данную книгу вполне возможно найти в сети. А главное, не злоупотребляйте полученной информацией.
P.S Все описанные методы получения персональной информации предоставлены исключительно для ознакомления и просвещения общественности. Помните, что так называемый пробив, то есть, получение персональной информации может повлечь за собой уголовную ответственность. Автор не несет ответственности за деяния других, информация предоставленная в данной статье носит исключительно образовательный характер и не побуждает на какие-то действия.
А на этом сегодня все, надеюсь, данная статья будет вам полезна.
Хотелось бы выразить огромную благодарность тем, кто принимает активное участие в жизни и развитии журнала, огромное спасибо вам за это.
Журнал Cyber-X