netsphere map что это

Файлы, отображаемые в память

#include
void *mmap( void *addr, size_t len, int prot, int flag, int filedes, off_t off);

Она возвращает адрес начала участка отображаемой памяти или MAP_FAILED в случае неудачи.
Первый аргумент — желаемый адрес начала участка отбраженной памяти. Не знаю, когда это может пригодится. Передаём 0 — тогда ядро само выберет этот адрес.
len — количество байт, которое нужно отобразить в память.
prot — число, определяющее степень защищённости отображенного участка памяти(только чтение, только запись, исполнение, область недоступна). Обычные значения — PROT_READ, PROT_WRITE (можно кобминировать через ИЛИ). Не буду на этом останавливаться — подробнее читайте в манах. Отмечу лишь, что защищённость памяти не установится ниже, чем права, с которыми открыт файл.
flag — описывает атрибуты области. Обычное значение — MAP_SHARED. По поводу остальных — курите маны. Но замечу, что использование MAP_FIXED понижает переносимость приложения, т.к. его подержка является необязательной в POSIX-системах.
filedes — как вы уже догались — дескриптор файла, который нужно отобразить.
off — смещение отображенного участка от начала файла.

Важное замечание. Если вы планируете использовать MMF для записи в файл, перед маппингом необходимо установить конечный размер файла не меньше, чем размер отображенной памяти! Иначе нарвётесь на SIGBUS.

Ниже приведён пример(честно стырен из замечательной книжки «Unix. Профессиональное программирование») программы, которая копирует файл с использованием MMF.

Источник

Network Maps. Краткий обзор софта для построения карт сети

Статья обновляется по мере узнавания автором о новых продуктах и наличия у того же автора свободного времени на добавление информации.

0. Вводная..

Данная статья родилась только потому, что крайне трудно найти сравнительные характеристики подобного программного обеспечения, а то и просто список, в одном месте. Приходится перелопатить кучу материала, чтобы прийти хоть к какому-то выводу.

В связи с этим я решил немного сэкономить время и силы тех, кого интересует данный вопрос, и собрал максимально возможное, читай осиленное мной, количество систем для network mapping’а в одном месте.

Часть систем, описанных в данной статье, были в свое время испробованы мной лично. Скорее всего, это были неактуальные на данный момент версии. Часть из нижеприведенного я вижу впервые, и информация по ним собиралась исключительно в рамках подготовки данной статьи.

В силу того, что трогал я системы давно, а часть из них не трогал вообще, у меня не осталось ни скриншотов, ни каких-либо примеров. Так что я освежил знания в гугле, вики, на youtube, сайтах разработчиков, там же натырил скриншотов, и в итоге получился вот такой вот обзор.

1. Теория

1.1. Зачем?

Чтобы ответить на вопрос «Зачем?» сначала нужно понять, что же такое «Карта сети». Карта сети – (чаще всего) логико-графико-схематическое представление взаимодействия сетевых устройств и их связи, которое описывает их наиболее значимые параметры и свойства. В наше время часто применяется в связке с мониторингом состояния устройств и системой оповещения. Так вот: затем, чтобы иметь представление о расположении узлов сети, их взаимодействии и связях между ними. В связке с мониторингом мы получаем рабочий инструмент для диагностики поведения и прогнозирования поведения сети.

1.2. L1, L2, L3

Они же Layer 1, Layer 2 и Layer 3 в соответствии с моделью OSI. L1 – физический уровень (провода и коммутация), L2 – уровень физической адресации (mac-адреса), L3 – уровень логической адресации (IP-адреса).

Строить карту L1 смысла, по сути, нет, она логически вытекает из той же L2, за исключением, пожалуй, медиаконвертеров. И то, сейчас существуют медиаконвертеры, которые так же можно отслеживать.

По логике – L2 строит карту сети, основываясь на mac-адресах узлов, L3 – на IP-адресах узлов.

1.3. Какие данные отображать

Тут зависит от решаемых задач и пожеланий. Мне, например, само собой хочется понимать, «жива» ли сама железка, на каком ее порту что «висит» и в каком состоянии порт – up или down. Это может L2. Да и вообще L2 мне кажется наиболее применимой в прикладном смысле топологией карты сети. Но, на вкус и цвет…

Скорость соединения на порту – неплохо, но не критично, если там находится конечное устройство – принтер\ПК. Хорошо бы иметь возможность посмотреть уровень загрузки процессора, количество свободной оперативной памяти и температуру на железке. Но это уже не так просто, тут нужно будет настраивать систему мониторинга, которая умеет читать SNMP и выводить и анализировать полученные данные. Об этом позднее.

По поводу L3 нашел вот такую статью.

1.4. Как?

Можно руками, можно в автоматическом режиме. Если руками – то долго и нужно учитывать человеческий фактор. Если автоматически – то нужно учесть, что все сетевые устройства должны быть «умными», уметь в SNMP и этот SNMP должен быть правильно настроен, чтобы система, которая будет собирать с них данные, смогла эти данные считать.

Вроде не сложно. Но есть подводные камни. Начиная с того, что не каждая система сможет считать с устройства все те данные, которые мы бы хотели видеть, или не все сетевые устройства могут эти данные отдать, и заканчивая тем, что не каждая система умеет сама строить карты сети в автоматическом режиме.

Процесс автоматического формирования карты примерно следующий:

2. Практика

Итак, поговорим теперь о том, с помощью чего можно построить карту сети. Возьмем за отправную точку, что мы хотим, конечно же, максимально автоматизировать данный процесс. Ну, то есть Paint и MS Visio отпадают… хотяяяя… Нет, все-таки отпдают.

Существует специализированный софт, решающий задачу построения карты сети. Какие-то программные продукты могут только предоставить среду для «ручного» добавления картинок со свойствами, отрисовывания связей и запускают «мониторинг» в крайне урезанном виде (жива ли нода, или уже не отвечает). Другие же могут не просто самостоятельно отрисовать схему сети, но и считать кучу параметров с SNMP, оповещать пользователя по SMS в случае поломок, предоставить кучу информации по портам сетевой железки, и все это является лишь частью их функционала (та же NetXMS).

2.1. Продукты

Список далеко не полный, так как существует ну очень много подобного рода софта. Но это все, что выдает гугл по теме (в том числе и англоязычные сайты):

Open Source проекты:

LanTopoLog
Nagios
Icinga
NeDi
Pandora FMS
PRTG
NetXMS
Zabbix
The Dude
nMap
yEd Graph Editor

LanState
Total Network Monitor
Solarwinds Network Topology Mapper
UVexplorer
Auvik
AdRem NetCrunch
UserSide

2.2.1. Бесплатное ПО

2.2.1.1. LanTopoLog

ПО разработки Юрия Волокитина. Интерфейс простой настолько, насколько это вообще возможно. Софтина поддерживает, скажем так, полуавтоматическое построение сети. Ей нужно «скормить» настройки всех маршрутизаторов (IP, SNMP credentials), далее все произойдет само, а именно будут построены связи между устройствами с указанием портов.

Есть платная и бесплатная версии продукта.

2.2.1.2. Nagios

Open Source ПО, существует с 1999 года. Система разработана для мониторинга сети, то есть она умеет считывать данные через SNMP и автоматически строить карту сети, но так как это ее не основная функция, то делает она это весьма… странно… Для построения карт используется NagVis.

2.2.1.3. Icinga

Icinga – это Open Source система, которая в свое время отпочковалась от Nagios. Система позволяет автоматически строить карты сети. Проблема лишь в том, что карты она строит при помощи аддона NagVis, который был разработан под Nagios, так что будем считать, что в качестве построения карты сетей эти две системы идентичны.

2.2.1.4. NeDi

Умеет автоматически обнаруживать ноды в сети, и на основе этих данных строить карту сети. Интерфейс довольно простой, есть мониторинг состояния по SNMP.

Есть бесплатная и платная версии продукта.

2.2.1.5. Pandora FMS

Умеет в автообнаружение, автопостроение сети, SNMP. Приятный интерфейс.

Есть бесплатная и платная версии продукта.

2.2.1.6. PRTG

ПО не умеет в автоматическое построение карты сети, только перетаскивание картинок вручную. Но при этом умеет мониторить состояние устройств через SNMP. Интерфейс оставляет желать лучшего, на мой субъективный взгляд.

30 дней — полный функционал, потом — «бесплатная версия».

2.2.1.7. NetXMS

NetMXS – это в первую очередь Open Source система мониторинга, построение карты сети – побочная функция. Но реализована она достаточно аккуратно. Автоматическое построение на основе автообнаружения, мониторинг нод по SNMP, умеет отслеживать состояние портов маршрутизаторов и другую статистику.

2.2.1.8. Zabbix

Zabbix – это тоже Open Source система мониторинга, причем более гибкая и мощная, чем NetXMS, но карты сети он умеет строить только в ручном режиме, а вот мониторить может практически любые параметры маршрутизаторов, сбор которых только можно настроить.

2.2.1.9 The Dude

В целом не сложная бесплатная утилитка, заточенная под работу с маршрутизаторами Mikrotik. Позволяет управлять устройствами, не выходя из программы. Так же может работать и с устройствами других вендоров, но об этом не заявлено официально, и списка поддерживаемых устройств я не нашел. На мой вкус интерфейс не самый приятный, но работать в нем можно.

2.2.1.10. nMap

Основной функционал данного ПО — сканирование безопасности сети. Но на базе собранных данных система может построить и карту сети, правда, мониторить в привычном смысле она не может (насоклько я понял). Зато выводит исчерпывающую информацию на карту.

2.2.1.11. yEd Graph Editor

Данное ПО не умеет автоматически строить карты сети, но к нему можно написать собственные модули на Python. Готового модуля для решения данной задачи я не нашел. У объектов есть свойства, в которые можно добавить ссылки для ускорения перехода на объекты. Так же можно настроить мониторинг.

Вообще, это ПО предназначено не только для отрисовки карт сети, оно имеет более широкий функционал.

Канал на YouTube, от создателей, где можно найти и туториалы по работе, и описание функций. Канал на английском языке.

2.2.2. Платное ПО

2.2.2.1. LanState

Платное ПО, позволяющее автоматически просканировать топологию сети и на базе обнаруженного оборудования построить карту сети. Позволяет мониторить состояние обнаруженных устройств только по up\down самой ноды.

2.2.2.2. Total Network Monitor

Платное ПО, которое не умеет автоматически строить карту сети. Не умеет даже автоматически обнаруживать ноды. По-сути это тот же Visio, только ориентированный на сетевую топологию. Позволяет мониторить состояние обнаруженных устройств только по up\down самой ноды.

Черт! Я же писал выше, что от Paint и Visio мы отказываемся. Ладно, пусть будет.

Видео-мануал я не нашел, да он и не нужен… Программка так себе.

2.2.2.3. Solarwinds Network Topology Mapper

Платное ПО, есть триал-период. Может автоматически просканировать сеть и самостоятельно составить карту по заданным параметрам. Интерфейс довольно простой и приятный.

2.2.2.4. UVexplorer

Платное ПО, 15-тидневный триал. Умеет автообнаружение и автоматическое отрисовывание карты, мониторинг девайсов только по состоянию up/down, то есть через пинг устройства.

2.2.2.5. Auvik

Довольно симпатичная платная программка, умеет в автообнаружение и мониторинг сетевых устройств.

2.2.2.6. AdRem NetCrunch

Платная софтина с 14ти дневным триалом. Умеет в автоопределение и автопостроение сети. Интерфейс восторгов не вызвал. Умеет так же в SNMP мониторинг.

2.2.2.7. UserSide

По-сути, это мощная ERP-система для провайдеров. Презентация с возможностями вот тут есть. Умеет мониторить все, что только можно и как только можно. Но это дорогой монстр, мощности которого для простого построения карты сети слишком велики… Но… Карты же он рисует…

3. Табличка сравнения

Как оказалось — придумать актуальные и важные параметры для сравнения систем и при этом уместить их в одну маленькую табличку — достаточно сложно. У меня родилось вот это:

*Параметр «User Friendly» является крайне субъективным, и я это понимаю. Но как еще описать «топорность и нечитаемость» я не придумал.

**«Мониторинг не только сети» подразумевает под собой работу системы как «систему мониторинга» в привычном понимании этого термина, то есть возможность считывать метрики с ОС, хостов виртуализации, получать данные от приложений в гостевых ОС и т.д.

4. Личное мнение

Из личного опыта — использовать ПО отдельно для мониторинга сети я не вижу смысла. Мне больше импонирует мысль использовать систему мониторинга всего и вся с возможностью построения карты сети. У Zabbix с этим дело обстоит… трудно. Nagios и Icinga — тоже. И только NetXSM порадовала в этом плане. Хотя, если заморочиться и сделать карту в Zabbix, то это выглядит даже более перспективным, нежели NetXMS. Есть еще Pandora FMS, PRTG, Solarwinds NTM, AdRem NetCrunch, и скорее всего куча еще чего, не вошедшего в данную статью, но я их видел только на картинках и в видео, так что ничего сказать о них не могу.

По поводу NetXMS была написана статья с небольшим обзором возможностей системы и небольшой how to.

Если я где-то ошибся, а я скорее всего ошибся, будьте добры, исправьте в комментариях, я подправлю статью, дабы тем, кому эта информация будет полезной, не пришлось все перепроверять на собственном опыте.

Источник

Геоаналитика с помощью Python и открытых данных: пошаговое руководство

Каждый бизнес желает знать, где сидит фазан целевая аудитория

Всем привет! Геоаналитика преследует меня вот уже 3 года, скоро пойдет 4-й. Начиналось все в компании Тандер (Магнит), где я в роли одного из Дата Сайнтистов проекта прогнозировала потенциальный оборот магазинов, а продолжается в Билайне, где я теперь уже занимаюсь предиктивом не только для ритейла, но и для других форматов. Помимо этого, мне удалось применить геоаналитику для анализа инвестиционной привлекательности коммерческой недвижимости, а также поработать с микробизнесом и предпринимателями, которые не обладают миллионными бюджетами для геомаркетинговых исследований, но в то же время, не очень хотят терять миллионы после выбора неудачного места открытия. Присаживайтесь поудобнее, надеюсь, будет полезно и интересно (а именно: предпринимателям, малому бизнесу, где важен правильный выбор локации и аналитикам того самого бизнеса)

В этой статье рассмотрим кейс «Как выбрать помещение для открытия кофейни?». В целом, данный подход масштабируется на любые виды бизнеса, где важна локация и то, что на ней происходит/находится.

Содержание:

Введение в геоаналитику и геомаркетинг

Работа с гексагонами: познакомимся с гексагонами (Uber H3), научимся их выгружать, визуализировать

Выгрузка, визуализация и анализ гео данных из OSM

Где открыть кофейню?

Бибилиотеки: geopandas, json, shapely, folium, osmnx, h3

Волшебство: пересечение (пространственный join) полигонов и точек, визуализация гео данных (нанесение точек/полигонов на карту osm и ее различное форматирование), поиск ближайших объектов и др.

Введение в геоаналитику и геомаркетинг

Геома́ркетинг (географический маркетинг) — маркетинговая дисциплина, направленная на взаимодействие с локальной аудиторией, выделенной по географическому признаку, с целью планирования, продвижения и осуществления деятельности в области сбыта продукции (wikipedia)

розничная торговля продуктами питания (FMCG)

здравоохранение (аптеки, частные клиники)

общепит (кафе, рестораны, бары)

банковский сектор и страхование

DIY (строительные магазины)

девелопмент торговых центров и др.

выбор оптимального размещения нового объекта

оценка потенциального объема продаж, определение класса (масс-маркет, бизнес, люкс) и состава реализуемой продукции/услуг

определение эффективного пути использования имеющегося объекта

выбор оптимальной локации для размещения наружной рекламы и др. маркетинговых оффлайн активностей

4 принципа масштабирования сети:

4 принципа масштабирования сети

1) Перехват трафика

Этот принцип подразумевает открытие сетевых точек в зонах с высоким пешеходным трафиком (важно: высокий пешеходный трафик не всегда равен большому количеству целевой аудитории (ЦА) => анализируем состав ЦА), а также вблизи уже открытых точек конкурентов (важно: конкурентное преимущество)

Эффект синергии достигается благодаря открытию смежных ниш бизнеса. Например: рядом с детскими товарами открывается магазин с товарами для дома/мам и пр.

Торговые точки должны быть кластеризованы (распределены на группы) как минимум по следующим категориям: бюджет района, тип населенного пункта (большой/малый, поселки и пр.), формат торговой точки. Это означает, что для каждой группы необходима индивидуальная стратегия масштабирования, ценообразования, ассортиментной политики и т.д.

Его величество, BIG DATA

Развитие технологий получения, обработки и хранения геоданных позволяют творить потрясающие вещи в рамках геомаркетинговых исследований.

Используя различные приложения вы делитесь своей геопозицией

Совершая звонки, смс, используя интернет, вы автоматом попадаете в базы данных телеком операторов, поисковых порталов, а также web-сервисов

Подключаясь к WIFI в кафе, ТЦ, вы тоже попадаете в чью-то базу

И это еще не весь список, но важно отметить, что в любом геомаркетинговом исследовании эти данные обезличены и выглядят примерно так: «в радиусе 500 м проживает 666 женщин и 999 мужчин»

Какую информацию может содержать геомаркетинговое исследование локации?

Трафик (автомобильный, пешеходный):

Активность (кол-во пешеходов, кол-во автомобилей, кол-во проживающих/работающих)

Экономическая активность: количество чеков по категориям покупок, средний чек (ОФД)

Интересы (основаны на поисковых запросах, часто посещаемых приложениях и пр.) и др.

Это действительно один из самых мощных способов снизить риск «вложить кучу денег в открытие, но прогадать с местом», а автоматизация процесса поиска потенциальных мест открытия и их анализа помогает быстрее масштабировать сеть. Федеральные сети уже давно сформировали собственные отделы геоаналитики и активно закупают данные. Но как быть предпринимателям и микро бизнесу, который не готов тратить миллионы?

Гексагоны (H3: Uber’s Hexagonal Hierarchical Spatial Index)

Uber опубликовал open source проект, с помощью которого можно легко и просто нанести на карту красивые шестиугольники 🙂 Подробнее.

Сделаем сразу импорт всех библиотек:

Посмотрим как выглядит гексагон для рандомной точки в г. Краснодар:

Подробнее про объекты карты, которые мы будем выгружать и анализировать.

Теперь, с помощью osmnx и h3 сотворим магию и сгенерим гексагоны внутри полигона г. Краснодара:

1) Выгрузим границы г. Краснодара из OSM

2) Сгенерим гексагоны внутри полигона:

Выгрузка, визуализация и анализ геоданных из OSM

Выгружаем объекты карты из OSM:

Spatial Join

Теперь, нам надо сджойнить полученные объекты с гексагонами:

Посмотрим как по городу распределены кофейни:

Выгрузим доступную инфу о жилых многоэтажных зданиях:

Давайте посчитаем сколько людей проживает в этих домах, основываясь на следующих предположениях:

Ok, Гугл: сколько в среднем квартир на этаже?

Гугл вещает, что кол-во квартир напрямую зависит от класса жилья:

Но мы здесь собрались не для того, чтобы парсить авито/циан, поэтому дальше будем использовать в среднем 10 квартир на этаж (доля бизнес и комфорт класса не так велика в Краснодаре)

Посмотрим что у нас вышло с плотностью «гипотетического» населения в Краснодаре:

ля какая красота (не сильно точные данные у OSM, но дареному коню в зубы не смотрят!)

Где открыть кофейню? Определяем лучшее место для поиска потенциального помещения

Где открыть кофейню? Вопрос для отдельной статьи, а сюда я пришла, чтобы показать вам пример как можно творить магию геаналитику на открытых данных. Логично, что одним из ключевых факторов будет много людей и мало конкурентов, т. е. я предлагаю вам рассчитать фичу население/кол-во кофеен в гексагоне. Так мы сможем выбрать ТОП гексагоны для поиска потенциальных мест для открытия кофейни. Итого:

Добавим фичу население/кол-во кофеен в гексагоне.

Выберем гексагон с наибольшим значением.

Выберем этот гексагон и его 6 соседей (быстро это можно сделать с помощью KDTree библиотеки scipy), чтобы на всякий пожарный не упустить ближайшие области из-за каких-либо перекосов в данных OSM (опционально).

Открываем авито/циан и ищем там помещение для кофейни.

Какие еще фичи можно рассчитать?

Количество якорей трафика (ТЦ, БЦ, фаст фуд рестораны, супермаркеты и т. д.) поделим на кол-во кофеен/на кол-во населения

Huff (а вот про модель Huff я расскажу позже 🙂

Моя первая статья на Habr. Не кидайте помидоры 🙂

Источник