open source intelligence что это
OSINT или как посмотреть на свою сеть глазами хакера
Добрый день! Сегодня я вам расскажу какую информацию об организации можно обнаружить в открытых источниках и как ей может воспользоваться потенциальный злоумышленник. Многие из вас наверняка слышали об OSINT (Open Source INTelligence, перечень мероприятий, направленный на сбор информации из открытых источников), который чаще всего используется для сбора информации о конкретном человеке. Но также OSINT можно использовать для поиска информации о конкретных организациях для оценки защищенности. Ведь согласитесь, полезно посмотреть, что о вас есть в открытом доступе и как вы выглядите со стороны потенциального злоумышленника.
Популярные ресурсы, где проходит сбор информации
Для проведения активного сканирования необходимо подписание NDA и согласование проведения работ, что естественно требует времени. В связи с этим необходимо использовать только данные, находящиеся в открытых источниках, не сканировать ИТ-инфраструктуру и соответственно не тратить человеко-часы на бюрократию. 
Так что же можно найти в свободном доступе?
Наиболее подробно на этот вопрос отвечает osintframework.com, рекомендую ознакомиться для получения обобщенного ответа на поставленный вопрос.
Я же постараюсь выделить из обширного объема информации наиболее интересную для ИБ специалистов. Искать будем:
В интернете существует огромное количество инструментов для поиска почтовых адресов компании по доменам, например:
Расширение браузера Email Finder от Snov.io — на данный момент имеет огромный функционал в бесплатной версии и находит огромное количество доменных учетных записей, но надолго ли.
theHarvester — собирает как почтовые адреса, так и субдомены, открытые порты а также данные о виртуальных хоcтах. Предустановлен в Kali Linux.
Инструменты бывают как платные, так и бесплатные, выбор использования зависит от наличия желания/возможности платить за улучшенный функционал. Имеет смысл пользоваться несколькими инструментами одновременно так, как результаты они выдают разные. В конечном итоге имеем большой список почтовых адресов компании, который необходимо проверить на наличие скомпрометированных учеток.
Провести проверку можно на многим известном сервисе haveibeenpwned.com.
На выходе инструмент дает нам информацию в каких базах содержатся упоминания учетной записи, есть ли в этих базах данные по паролям, физическим адресам, номерам телефона и т.д.
Самих паролей тут мы не получим, но сможем разделить почтовые адреса на “чистые” и потенциально скомпрометированные.
Тут стоит отметить, что инструмент имеет платный API. Без него, конечно, можно проверить все почтовые адреса, но придется подавать их на вход по одному, что займет уйму времени. При покупке API (3,5$ в месяц, чисто символическая плата) получим возможность использовать его в различных скриптах и соответственно существенно ускорить и автоматизировать процесс анализа.
В дальнейшем можно воспользоваться ботом в telegram @mailsearchbot.
На вход даем ему потенциально скомпрометированные почтовые адреса, на выходе получаем пароли, использовавшиеся в связке с данным почтовым адресом. Стоит отметить, что далеко не для всех учеток удается найти пароли, но процент обнаружения большой. И опять же при наличии желании/возможности финансово поддержать разработчика можно получать полные данные, без скрытых звездочками символов, но к сожалению тут цена уже кусается.
Следующим этапом необходимо собрать информацию о субдоменах. Инструментов, позволяющих это сделать очень много, например:
dnsdumpster.com — умеет рисовать красивые графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.
pentest-tools.com — советую познакомиться с сайтом поподробнее, так как тут можно не только субдомены искать. В lite версии имеет ограничение на 2 сканирования в день, но легко обходится TORом)
Тут также имеет смысл комбинировать инструменты для определения наибольшего количества субдоменов. Зачастую в паре с субдоменом идет IP-адрес, который в дальнейшем можно скормить шодану (shodan.io) для получения списка открытых портов и сервисах, торчащих в интернете.
В дальнейшем можно подобрать уязвимости и эксплойты по определенным версиям сервисов, используя такие ресурсы, как:
exploit-db.com — большая пополняемая база эксплойтов. Тут стоит обратить внимание, что есть подтвержденные администрацией сайта эксплойты и не проверенные.
В данных шодана нам также интересна принадлежность ip-адреса какой-либо автономной системе. Проверка производится в различных Whois-сервисах, которых также большое количество. По большому счету нет никакой разницы с каким инструментом работать, поэтому продемонстрирую те, на которых остановился я:
ididb.ru — в большей степени заточен на сбор информации об автономных системах Рунета.
В случае обнаружения автономной системы, принадлежащей компании имеет смысл прогнать все ip через shodan и собрать как можно больше информации по версиям сервисов.
Для анализа определений на каких технологиях построен сайт можно использовать расширение браузера Wappalyzer. Зачастую инструмент определяет версии и соответственно вы также можете подобрать для них уязвимости.
Переходим к заключительному этапу – поиск скрытых директорий и файлов сайта. Тут нам пригодятся:
В свою очередь DirBuster это инструмент поиска скрытых директорий и файлов, которые забыли удалить из общего доступа или добавили туда по ошибке. В нем имеется несколько встроенных словарей для осуществления поиска. Рекомендуется использовать словарь directory-list-2.3-medium для оптимизации соотношения затраченного времени к выхлопу.
При использовании этих инструментов придется проанализировать большое количество информации, но зачастую старания вознаграждаются.
Популярные курсы/книги для обучения
Топ — 5 проблем, которые нам удается обнаружить в рамках OSINT-а
На моей практике удавалось:
Заключение
Итак, мы видим, что информация, находящаяся в открытых источниках может стать плацдармом для проведения атаки на корпоративную инфраструктуру. Необходимо периодически проверять как организация выглядит со стороны потенциального злоумышленника и по возможности скрывать данную информацию.
OSINT — что это такое и с чем его едят?
Дата: 28.09.2020 г. / Рубрика: Surface Web
@darkstack — официальный Telegram-канал блога DarkStack, в котором вы найдете еще больше полезной информации о безопасности и анонимности, чем здесь ИЛИ на каком-либо еще веб-ресурсе в Рунете.
Вся информация предоставлена исключительно в ознакомительных целях. Ни редакция, ни автор НЕ НЕСУТ ОТВЕТСТВЕННОСТИ за любой возможный вред, причиненный материалами данной статьи.
Основные цели боевого OSINT и сферы его применения
Цели OSINT, как и сферы его применения могут быть самыми разными, поэтому невозможно выделить какую-либо область, в которой можно использовать интернет-разведку. Например, ПРЕДПРИЯТИЯ могут задействовать OSINT для конкурентной разведки или для (незаконного) промышленного шпионажа.
Однако основная цель OSINT — это Сбор Данных об объекте, независимо от сферы деятельности. Ну, а далее подобного рода информацию, как правило, используют для ИЗВЛЕЧЕНИЯ собственной выгоды. Например, можно в веб-приложении конкурента и уже на их основе проводить атаку.
При этом, существует 2 типа разведки: пассивная разведка на основе открытых источников и активная разведка с применением атаки. Сейчас мы с вами разберем оба типа разведки, которые обычно используют хакеры и пентестеры.
Пассивная разведка на основе открытых источников
Пассивная разведка — это первоначальный сбор ОБЩЕЙ ИНФОРМАЦИИ об объекте, которая, как правило, необходима для того, чтобы подобрать соответствующий способ нападения. То есть на данном этапе нужно узнать все необходимое для непосредственного получения доступа к системе жертвы.
Активная разведка с применением атаки
Вот ОСНОВНЫЕ ДАННЫЕ, сбор которых проводят хакеры и пентестеры, с целью проведения успешного нападения на систему объекта:
Однако нужно учитывать, что если с первого раза не удалось произвести взлом системы объекта, то со второго раза анонимно собрать дополнительной информации для новой попытки взлома будет степени сложнее.
Настоящий пример использования OSINT в реальной жизни
ТОП-4 лучших OSINT-инструментов для интернет-разведки
В Рунете вы найдете кучу однотипных статей, типа « лучшая OS для детективов и журналистов — это CSI Linux, а для хакеров и пентестеров — Kali Linux ». Ну или всякие подборки утилит, которые и так входят, и в CSI Linux, и в Kali Linux. Но в своей статье я НАМЕРЕННО не буду писать о том, что и так почти всем известно.
Инструменты для розыска в Telegram
Telegram, как и DarkNet — это зона влияния НЕТСТАЛКЕРОВ, а не OSINT-разведчиков, т. к. он относятся к Deep Web, а не к Surface Web. Тем не менее в этой статье я все же хочу поделиться с вами своим списком различных ботов для деанонимизации пользователей («анонимного») мессенджера Телеграм.
@HowToFind_bot
Данный бот — разведчик, который может подсказать различные секреты и приемы по OSINT. Он содержит в себе кучу всевозможных баз и ссылок.
@AvinfoBot
Один из самых интересных ботов, который после ввода номера телефона выдаст вам ссылки на социальные сети, марку и номер автомобиля, а также оператора и даже все объявления обладателя этого номера в Avito.
@buzzim_alerts_bot
Поисковый бот и в то же время avalanche-сервис, с помощью которого можно искать людей по нику и отслеживать упоминания в новостях.
@mailsearchbot
В 2014 году в DarkNet утекли 1,5 млрд. паролей от email-адресов. Так вот, этот бот реализует поиск по этим email-адресам и выдает пароль. Рекомендую вам проверить все свои email-адреса с помощью этого бота.
@deanonym_bot
Ну, а с помощью данного бота можно узнать номер любого пользователя Telegram. Просто отправляете ему логин без @ и он выдаст вам номер.
@list_member_bot
За счет этого бота можно выгрузить все никнеймы участников тех или иных Телеграм-чатов. Польза конечно от него минимальная с точки зрения разведки, но он в значительной степени автоматизирует данный процесс.
@telesint_bot
Иногда может потребоваться пробить того или иного юзера Telegram в открытых чатах. Этот бот без проблем поможет справиться с этой задачей.
Помимо ботов для OSINT, у Телеграма есть еще свои поисковые системы, с помощью которых вы сможете найти сообщения, группы, пользователей, ботов, каналы и статьи. Они здорово могут вам пригодиться, если вы например, будите о каком-нибудь человеке или даже организации.
| Поисковик | Короткое описание |
| Tgstat.ru | Популярный веб-сервис, который показывает статистику, а также предоставляет расширенный поиск по группам. |
| Lyzem.com | Мощный поисковик, который осуществляет поиск по каналам, а также группам, статьям в Telegraph и по ботам. |
| Buzz.im | С помощью этой поисковой системы можно НАЙТИ ВСЕ возможные сообщения, каналы и авторов в Telegram. |
Snoop Project для пробива логинов
Данную утилиту можно скачать с GitHub, она полностью совместима с такими операционными системами, как Linux, Windows (64-bit/32-bit) и Android. В дополнение, мне хотелось бы отметить следующие достоинства этой утилиты:
Программный комплекс «Виток-OSINT»
Виток-OSINT может вести наблюдение за происходящим в мире на любых языках, вовремя оповещать о важных событиях и анализировать информацию. Еще данный программный комплекс извлекает текст из документов и изображений, а также адреса, телефоны, почту, авиаперелеты, авторов и т. д.
Понятно, что Виток-OSINT не бесплатный, но на официальном сайте данного программного комплекса цена не указана. Возможно, он распространяется только среди привилегированных клиентов компании, либо среди спецслужб.
Старый добрый OSINT Framework
Хотя, многие хвалят данный OSINT Framework, но я больше тащусь по утилитам. Кстати, если ссылки из этого каталога у вас тоже не вызывают доверия, то тогда рекомендую помимо VPN установить TOR или операционную систему Tails Linux. Ну и заодно какой-нибудь ФАЕРВОЛ, чтобы вообще ничего не опасаться.
Подборка обучающих книг и курсов по OSINT-разведке
К сожалению, в Рунете очень мало обучающих книги и курсов по OSINT, несмотря на то что Маркетологи Порочат Невероятные Перспективы в будущем для тех, кто занимается и Data Science. Их буквально можно сосчитать по пальцам, т. к. профессионально этим мало кто занимается.
Курс Андрея Масаловича — «Методы киберразведки»
Ну, а вот краткое содержание данного курса:
Книга «Интернет-разведка. Руководство к действию»
Курс: «Русский OSINT. Поиск и Пробив Информации»
Курс «Русский OSINT. Поиск и Пробив Информации» от Mefodiy Kelevra мне вообще не понравился, но подавляющее большинство отзывов о нем в основном положительные. Ну, а по тому, что автор тупо сделал обзор всевозможных OSINT-инструментов для «школьников».
Из этого круса вы узнаете следующее:
Ответственность перед законом за использование OSINT
Однако в статье 29, части 4 Конституции РФ сказано следующее:
Подведем важные итоги в заключение данного материала
Однако это не значит, что вам нужно быть такими же больными паранойяками, как и я. Просто по возможности закрывайте свои профили от посторонних пользователей, не переходите по ссылкам из сообщений, где вам пишут о том, что вы выиграли и т. д. То есть, просто будьте чуточку осторожнее.
P.S. Ну и на этом пожалуй закончим. Если вдруг у вас ВОЗНИКЛИ какие-либо ВОПРОСЫ КО МНЕ или же вы просто хотите дополнить данную статью, то тогда пишите свои комментарии. Буду искренни рад обсудить с вами этот материал.
Комментарии к записи: “ OSINT — что это такое и с чем его едят? ”
Позвольте оставлять комментарии без регистрации. А то Вы такой просвещенный во взломах, что страшно оставлять информацию о себе.
Привет, Гость! У меня в блоге не требуется регистрация для того, чтобы оставить комментарий:) А так идея хорошая, обязательно уберу 2 лишних поля и затем оставлю только поле имени, и текстового сообщения.
P.S. И я не хакер, а криптоанархист, поэтому вам нечего боятся.
Добавить комментарий Отменить ответ
«DarkStack» — блог о скрытых сетях, целью которого заключается в популяризации шифрования трафика и инструментов обхода цензуры.
Боевой OSINT — разведка и сбор информации из открытых источников
OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста. От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:
DNS-именах и IP-адресах;
доменах и субдоменах, зарегистрированных за компанией;
фактах компрометации почтовых адресов;
открытых портах и сервисах на них;
публичных эксплойтах для найденных сервисов;
имеющихся механизмах безопасности и т.д.
Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере нашей компании.
Статья носит информационный характер. Не нарушайте законодательство.
Консольные инструменты
TheHarvester
Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:
А при использовании Google:
Dmitry
Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:
При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.
WhatWeb
TiDos
поиск email-адресов и прочую контактную информацию в Интернете;
Разведка на основе открытых источников
Введение
С каждым годом количество пользователей интернета растет. К началу октября 2020 года 4.9 млрд людей, а это 63.2% жителей земли, пользуется интернетом. А размер данных в интернете достигал 2.7 Зеттабайт (1 ЗБ
10 12 ГБ). И каждый год —количество пользователей и устройств, подключенных к сети, увеличивается на 6% и 10% соответственно. Большая часть этой информации общедоступна. Источники, ссылающиеся на эти данные или на данные из газет, журналов, радио и телепередач, публичных отчетах правительства, называются открытыми. Поиск информации по таким источникам, выбор и сбор, а также дальнейший анализ – это разведывательная дисциплина, именуемая разведкой на основе открытых источников (OSINT).
https://www.internetworldstats.com/stats.htm
Разведка на основе открытых источников или OSINT
Нужно отличать OSINT (Open Source INTelligence) от «просто информации» (иногда именуемой OSIF, или Open Source InFormation), то есть данных и сведений, циркулирующих в свободно доступных медиаканалах. OSINT – это специфическая информации, собранная и особым образом структурированная ради ответа на конкретные вопросы. Сбор данных в OSINT принципиально отличается, от других направлений разведки, прежде всего от агентурной. Главной проблемой для агентурной разведки является получение информации из источников, в основном не желающих сотрудничать. А в OSINT главной трудностью является поиск содержательных и надежных источников среди изобилия общедоступной информации.
История развития
История OSINT начинается с формирования в декабре 1941 года Службы мониторинга зарубежных трансляций в США для сбора и изучения радио программ. Сотрудники записывали и переводили радио передачи, а затем отправляли в военные ведомства в виде еженедельных отчетов. Одним из примеров их работы исследования корреляции между стоимостью апельсинов в Париже и успешностью бомбардировок железнодорожных мостов. [iv]Следующем этапом можно назвать период с 2005 по 2009 год, когда в США был создан центр по анализу разведывательных материалов из открытых источников. Доступность интернета и начавшийся бурный рост социальных сетей в этот же период, увеличил кол-во общедоступной информации. С 2009 по 2016 продолжающиеся развитие социальных сетей и усиления их влияние на нашу жизнь, а также появления интернета вещей, вызвало бурный рост объема информации. И наконец последний период 2016-2019, когда OSINT начинает активно применяться бизнесами, политическими кампаниями, следователями, правоохранительными органами, инвесторами и службами безопасности в их деятельности.
https://www.youtube.com/watch?v=bP3jbfP4xZY
Основные сферы использования
Разведка на основе открытых источников применяется не только государствами для защиты своих интересов. Рассмотрим несколько сценариев использования, не связанных с взаимодействием стран.
OSINT активно использует исследователями угроз и уязвимостей различного программного обеспечения. Они исследуют возможные пути распространения вредоносных программ и препятствуют этому. Одним из открытых источников, для проверки файлов или программ на наличие вредоносного функционала является virustotal.com. У пользователя есть возможность проверить файл по контрольной сумме или же загрузить его, и удостоверится в его безопасности.
Злоумышленники тоже используют OSINT. Предварительный анализ позволяет узнать информацию об целевой инфраструктуре, о работниках, о клиента, что позволяет лучше произвести атаку. Это одна из причин для того, чтобы ограничивать публичную информацию о компании.
Эта методика также используется в бизнесе для получения аналитики. Например, развития новых рынков, оценка рисков, мониторинг конкурентов, а также исследование целевой аудитории и клиентов для рекламных кампаний, что благоприятно влияет на успешность бизнеса.
Нельзя забыть о журналистах, которые используют открытые источники, как материалы для своих расследований. Например, фонд борьбы с коррупцией использует выписки из кадастра и информацию о полетах самолетов для своих расследований.
Еще одним полезным применением OSINT в жизни занимается сообщество любителей CTF. Они организовали компанию, которая занимается поиском информации об пропавших людях. Они проводят сбор разведывательных данных о пропавшем без вести лице и передают полученные сведения в правоохранительные органы. Они предоставляют обучающие курсы для желающих и помочь в поисках информации.
Трудности, с которыми сталкивается OSINT сегодня
Новые источники информации появляются очень быстро. На каждые 5 источников, которые пропадают, появляется еще 10 новых. Необходимо поддерживать актуальность данных, что увеличить их ценность при использовании. Большое количество источников исчезает из-за ужесточения норм компьютерной безопасности и конфиденциальности.
Еще одной трудностью является ограниченность функционала средств для поиска информации. В основном одной программы с открытым исходным кодом для поиска недостаточно, а также они не пригодны для масштабирования. А в корпоративных инструментах слишком много не настраиваемых компонентов. Для успешного поиска информации требуется знание различных инструментов и умение, поиска новых методов получения информации.
Как идентифицировать владельца Bitcoin кошелька
Появления криптовалют упрощает доступ к отслеживанию платежей. Дизайн блокчейна делает общедоступным информацию об транзакциях. Например, по адресу биткоина можно вычислить информацию об источнике или получателе перевода, его размере, количестве транзакций и времени их совершения, и связать с другими адресами биткоинов в том кошельке. Раньше для отслеживания информации об переводах и транзакциях требовалось обращаться в банк, что требовало достаточно много времени и основания для запроса.
Основные этапы разведки
Рассмотрим процесс проведение разведки, приведенной в книге Майкла Баззелла.
1. Во-первых, необходимо составить план исследования или определить цель.
2. Подготовить оборудование и программы, необходимые для решения поставленной задачи.
3. Выполнить поиск по всем доступным идентификаторам.
5. Анализ полученные данные.
6. Подготовка заключение и результатов.
7. Архивирование или очистка оборудования.
Заключение
Несмотря на длительную историю, разведка по открытым источникам только начинает своё развитие, в связи с бурным ростом объема информации. Данная область является востребованным видом исследования материалов. Для тех, кто её использует, открывают дополнительную информацию: для работников – возможность больше узнать о будущем работодателе, для бизнеса – анализ рынка и клиентов. Но с другой стороны, каждый человек должен понимать, какую информацию стоит сообщать публично и понимать, что может стать общедоступной информацией.