recording network activity что это
Как эффективно использовать Network в Chrome DevTools
Недавно я уже рассказывала о наборе инструментов DevTools, встроенных в Google Chrome. И о их полезных фишках, которые не на поверхности. Таких довольно много, поэтому продолжу. Расскажу об эффективном использовании вкладки Network в меню инструмента. Для SEO-специалистов и не только.
Как запустить Network в DevTools
Напомню, есть несколько способов открыть DevTools:
Вкладка Network помогает выяснить, сколько времени заняла загрузка страницы, какие ресурсы подключились или не подключились к странице, какие ошибки есть в коде.
При первом открытии она может оказаться пустой — тогда просто перезагрузите страницу.
Каждая строка в журнале Network — это ресурс. Все они перечислены в хронологическом порядке (по умолчанию). Верхний обычно является основным HTML-документом. Нижний — то, что было запрошено последним.
Каждый столбец — информация о ресурсе. Основные данные по умолчанию:
Наведите курсор на диаграмму, чтобы увидеть этапы загрузки.
Функционал вкладки Network
Работать в Network удобно, если хорошо знать ее возможности.
1. Столбцы сетевого журнала можно настраивать. Есть много дополнительных столбцов с полезной информацией, а неиспользуемые вы можете скрыть.
Для настройки кликните правой кнопкой мыши на заголовок таблицы сетевого журнала и выберите дополнительный столбец или отключите ненужный.
2. Можете фильтровать данные в журнале с помощью панели инструментов Filter.
Инструмент Filter поддерживает множество различных типов фильтрации. Можно использовать не только отдельные слова, но и регулярные выражения и свойства.
3. Кроме того, вы можете фильтровать данные по типу ресурса, используя на панели нужный функционал отбора.
4. Пока открыт DevTools, он будет записывать сетевую активность в журнал. Это не всегда нужно, запись можно отключить, если нажать красный переключатель.
5. Обычно сетевое подключение компьютера быстрее, чем у мобильных устройств пользователей. Меню Throttling позволяет регулировать скорость подключения, чтобы понять, сколько времени нужно для загрузки страницы на мобильном устройстве.
6. При повторных посещениях браузер часто использует некоторые файлы из своего кеша, что ускоряет загрузку. Если же хотите увидеть, как посетитель воспринимает загрузку страницы впервые, включите Disable Cache.
7. Для сохранения данных в журнале необходимо включить Preserv log.
8. Если нажмете на шестеренку, в панели появятся дополнительные функции:
Но чем эти опции полезны именно SEO-специалисту?
Проверка ответа сервера
Можно сделать проверку ответа сервера из панели Chrome DevTools:
Например, нам нужно узнать ответ сервера для страницы:
Таким образом можно быстро проанализировать ответ сервера страницы и ее отдельных элементов. Увидеть, например, «битые» картинки.
Просмотр заголовков HTTP
Изначально ход проверки такой же, как и в случае с ответом сервера.
Но после пятого пункта появится шестой:
Их правильная оптимизация поможет ускорить работу веб-сервера и уменьшить расход краулингового бюджета на ресурсы, которые не нужно повторно скачивать. Функционал консоли позволяет сделать быструю проверку подобных заголовков, не уходя с сайта.
Смена User-Agent
Если вы хотите просматривать свой сайт так же, как это делает Google, переключите пользовательский агент на тот, который использует Google.
Вы можете проанализировать, как определенный браузер видит ваш сайт и выявить проблемы, если они есть.
Определение ресурсов, блокирующих рендеринг
Используйте данные о времени загрузки ресурсов на панели Network, чтобы определить, какие ресурсы JS и CSS загружаются до DOM и потенциально блокируют его. Фильтруя данные по CSS и JS, можно вычислить проблемные ресурсы.
Блокировка скриптами и по стилям загрузки — одна из наиболее распространенных проблем со скоростью страницы. Их поиск и анализ ее улучшит или увеличит.
Проверка времени загрузки страницы и ее отдельных элементов
Когда во вкладке Network подгружается информация по странице, можно узнать данные по скорости загрузки каждого отдельного ресурса на ней и общего времени загрузки всей страницы.
Панель Network чаще всего используют для анализа корректности загрузки и выгрузки ресурсов. Если вы ищете способы повысить производительность загрузки, не начинайте с этой панели. Есть много типов проблем с производительностью, не связанных с сетевой активностью. Начните с панели Perfomance, потому что она дает вам целевые предложения по улучшению вашей страницы.
Выводы
Таким образом, при эффективном использовании панель Network дает немало возможностей для SEO-оптимизации сайта.
Что такое сетевая активность пользователей и как ее отслеживать
В настоящее время сложно представить работу компании и бизнеса без сети. В 2019 году индекс сетевой активности в России, по данным Всемирного экономического форума, составил 54,98. Индекс имеет четыре показателя: технологии, люди, управление и влияние. Поэтому оптимизация и сетевой мониторинг — важная задача ИТ-отдела компании. Антивирусы и файерволы не смогут защитить ее от внутренних угроз: ошибочных действий сотрудников и уязвимостей самой сети.
На каждом сетевом устройстве в ИТ-инфраструктуре организации происходит множество действий, таких как передача пакетов, сообщений из сетевых протоколов, событий состояния устройства и т. д. Все это и есть сетевая активность.
Сетевая активность используется для выявления узких мест в сети при наличии проблем с нагрузкой между серверами. Она влияет на общую производительность и работоспособность сети, а также время безотказной работы. Поэтому компаниям необходимо осуществлять контроль сетевой активности пользователей. Для этого используются инструменты сетевого мониторинга.
Мониторинг сетевой активности
Отслеживание и анализ трафика нужны:
Можно отслеживать активность практически любой сети: проводной или беспроводной, локальной сети предприятия и т. д. Мониторинг сетевой активности — это непрерывный процесс наблюдения за рабочей сетью. По его результатам можно делать выводы о качестве работы сети и ее компонентов. Контроль осуществляется системным администратором с помощью установленной системы мониторинга.
К системам мониторинга относятся программные и аппаратные средства, которые отслеживают сеть и ее компоненты: трафик, пропускную способность, время безотказной работы. Эти системы обнаруживают устройства и элементы сети, обновляют статус сети, а также уведомляют администратора о проблемах. Системы предоставляют отчеты по активности за определенный период и записывают статистику во внутреннюю базу данных. Важно сохранять всю информацию по сетевой активности. Задача сетевого администратора — поиск и анализ сетевых проблем на основе этих данных и принятие решений по их устранению.
Способы анализа сетевой активности
Методов проверки и мониторинга много, и все они зависят от целей анализа, сетевой конфигурации, файловой системы и т. д.
Начнем с методов, основанных на применении маршрутизатора. Функция мониторинга встроена в маршрутизатор и не нуждается в установке дополнительного ПО. Имеют низкую гибкость.
Теперь рассмотрим методы, не основанные на применении маршрутизатора, которые нуждаются в дополнительном программном или аппаратном обеспечении. Являются более гибкими. Бывают активными и пассивными.
Мониторинг производительности сети (Network Performance Monitoring). Это инструмент для анализа производительности сетевых компонентов, каналов связи и передаваемого трафика. Отличается от классического Network Monitoring (SNMP и т. д.) тем, что работает с реальным сетевым трафиком и данные анализируются в реальном времени. Пользователь сам выбирает приложения для контроля. Поддерживает Flow-технологии.
Программы для просмотра сетевой активности
Данный тип программного обеспечения помогает быстро реагировать на подозрительную активность в сети, анализировать сетевые процессы и автоматизировать сетевую безопасность.
Скрытые функции YouTube: как включить меню «статистика для сисадмина». И зачем это нужно
Разбираемся, как включить в YouTube скрытую статистику
Так что же означает каждое из представленных полей, и зачем вообще нужна эта «статистика для сисадминов» на YouTube?
фото: photobyphotoboy (Shutterstock)
Для начала: вот краткое объяснение того, что означает каждое поле:
Video ID / sCPN («Идентификатор видео / sCPN»): идентификатор видео в базе данных YouTube и код конкретного видеовоспроизведения;
Viewport / Frames («Область просмотра / Кадры»): разрешение видеопроигрывателя (не разрешение видео, а именно плеера) и текущий кадр, в котором вы находитесь;
Current / Optimal Res («Текущее / Оптимальное разрешение»): текущее разрешение видео по сравнению с его исходным разрешением;
Volume / Normalized («Громкость / Нормированный»): текущая громкость просматриваемого видео и степень нормализации (нормирования) звуковой дорожки*.
*Нормализация (нормирование) обеспечивает более точное согласование более громких и тихих частей звуковой дорожки, чтобы слушатель не вздрагивал от внезапных резких перепадов громкости и не вслушивался. В скобках (на скриншоте) показано, насколько видео громче по сравнению с исходным уровнем YouTube;
Codecs («Кодеки»): мультимедийные кодеки сжатия видео и звука;
Color («Цвет»): показывает текущий цветовой диапазон просматриваемого контента;
Connection Speed («Скорость подключения»): качество сетевого подключения;
Network Activity («Сетевая активность»): передача данных с серверов YouTube на ваше устройство. Чем выше разрешение видео, тем выше будет сетевая активность, или пропускная способность;
Buffer Health («Состояние буфера»): то, насколько YouTube может буферизовать видео, чтобы избежать прерывания и подтормаживания воспроизведения из-за низкой скорости соединения;
Mystery Text («Таинственный текст»): «мистические послания из миров, недоступных человеческому пониманию». По крайней мере, это наше лучшее предположение, что это за «Таинственный текст» и откуда он.
На самом деле никто не знает, что означают эти данные, хотя многие пытались угадать. Возможно, нужно быть настоящим сисадмином, чтобы разобраться в этом хитросплетении символов.
Но тем не менее главной задачей этой технической таблички является помощь инженерам YouTube в устранении ошибок. Если вы когда-нибудь сталкивались с проблемами YouTube, такими как внезапные сбои приложений, медленная буферизация (прогрузка) видео или другими проблемами, сделайте снимок экрана с открытым окном и отправьте его в службу поддержки YouTube с отчетом об ошибке.
Возможно, вам повезет и сложности будут преодолены техническим отделом видеохостинга.
Как включить окно статистики YouTube?
Окно статистики легко вызвать, но алгоритм действий будет немного отличаться в зависимости от устройства и операционной системы, которую вы используете.
Компьютер (Windows, Linux, Mac)
1. Откройте YouTube.com в любом браузере;
2. Запустите видео;
3. Щелкните по видео правой кнопкой мыши один раз, чтобы открыть меню;
4. Выберите «Статистика для сисадминов», чтобы включить наложение.
Android
1. В приложении YouTube выберите «Настройки» > «Общие» > «Включить статистику для сисадминов» (также в разделе «Настройки» > «Расширенные» > «Включить статистику для сисадминов»);
2. Затем воспроизведите видео;
3. Нажмите кнопку с тремя точками «Еще» в проигрывателе;
4. Нажмите кнопку «Статистика».
iOS / iPad
1. Откройте приложение YouTube;
2. Перейдите в настройки (вы должны быть в своем аккаунте);
3. Установите переключатель «Статистика для сисадминов» в положение «включено»;
4. Начните воспроизведение видео;
5. Нажмите кнопку с тремя точками «Еще» в проигрывателе;
6. Коснитесь значка «Статистика»;
7. Теперь во время воспроизведения статистика будет отображаться в окне проигрывателя поверх изображения.
SmartTV, игровые консоли и потоковые устройства
1. Откройте приложение на устройстве;
2. Начните воспроизведение видео;
3. Вызовите элементы управления воспроизведением видео (обычно можно вызвать, нажав кнопку «выбрать» на пульте дистанционного управления / контроллере по умолчанию);
4. Переместитесь на вкладку и выберите кнопку «Еще» (три вертикальные точки);
5. Прокрутите и выберите раздел «Статистика…».
Сетевой мониторинг и выявления аномальной сетевой активности с помощью решений Flowmon Networks
В последнее время в Интернете можно найти огромное кол-во материалов по теме анализа трафика на периметре сети. При этом все почему-то совершенно забыли об анализе локального трафика, который является не менее важным. Данная статья как раз и посещена этой теме. На примере Flowmon Networks мы вспомним старый добрый Netflow (и его альтернативы), рассмотрим интересные кейсы, возможные аномалии в сети и узнаем преимущества решения, когда вся сеть работает как единый сенсор. И самое главное — провести подобный анализ локально трафика можно совершенно бесплатно, в рамках триальной лицензии (45 дней). Если тема вам интересна, добро пожаловать под кат. Если же читать лень, то, забегая вперед, можете зарегистрироваться на предстоящий вебинар, где мы все покажем и расскажем (там же можно будет узнать о предстоящем обучении продукту).
Что такое Flowmon Networks?
Прежде всего, Flowmon это европейский ИТ-вендор. Компания Чешская, со штаб-квартирой в городе Брно (вопрос санкций даже не поднимается). В своем текущем виде компания представлена на рынке с 2007 года. До этого была известна под брендом Invea-Tech. Так что суммарно на разработку продуктов и решений потрачено почти 20 лет.
Flowmon позиционируется как бренд А-класса. Разрабатывает премиальные решения для корпоративных заказчиков и отмечен в квадратах Gartner по направлению Network Performance Monitoring and Diagnostics (NPMD). Причем, что интересно, из всех компаний в отчете, Flowmon – единственный вендор, отмеченный Gartner как производитель решений и для сетевого мониторинга, и для защиты информации (Network Behavior Analysis). Первого места пока не занимает, но за счет этого и не стоит как крыло от Боинга.
Какие задачи позволяет решить продукт?
Глобально, можно выделить следующий пул задач, решаемых продуктами компании:
Продуктовый портфель Flowmon Networks
Теперь рассмотрим непосредственно портфель продуктов Flowmon Networks и узнаем, чем конкретно занимается компания. Как многие уже догадались из названия, основная специализация – на решениях для потокового flow мониторинга трафика, плюс ряд дополнительных модулей, расширяющих базовый функционал.
По факту, Flowmon можно назвать компанией одного продукта, или вернее – одного решения. Давайте разбираться, хорошо это или плохо.
Ядром системы является коллектор, отвечающий за сбор данных по всевозможным flow протоколам, как NetFlow v5/v9, jFlow, sFlow, NetStream, IPFIX… Вполне логично, что для компании не аффилированной ни с одним из производителей сетевого оборудования – важно предложить рынку универсальный продукт, не привязанный к какому-то одному стандарту или протоколу.
Flowmon Collector
Коллектор выпускается как в виде аппаратного сервера, так и в виде виртуальной машины (VMware, Hyper-V, KVM). Кстати, аппаратная платформа реализована на кастомизированных серверах DELL, что автоматически снимает большую часть вопросов с гарантией и RMA. Собственной аппаратной составляющей являются разве что FPGA платы захвата трафика, разработаные дочерней компанией Flowmon, и позволяющие осуществлять мониторинг на скоростях до 100 Gbps.
Но что делать, если на существующем сетевом оборудовании нет возможности генерировать качественный flow? Или же нагрузка на оборудование слишком высока? Не проблема:
Flowmon Prob
На этот случай Flowmon Networks предлагает использовать собственные зонды (Flowmon Probe), которые подключаются в сеть через SPAN порт коммутатора или с использованием пассивных TAP разветвителей.
SPAN (mirror port) и TAP варианты внедрения
В этом случае «сырой» трафик, поступающий на Flowmon Probe, преобразуется в расширенный IPFIX, содержащий более 240 метрик с информацией. В то время как в стандартном NetFlow протоколе, генерируемом сетевым оборудованием, содержится не более 80 метрик. Это позволяет обеспечить видимость протоколов не только на 3 и 4 уровнях, но и на 7 уровне по модели ISO OSI. В итоге, сетевые администраторы могут осуществлять мониторинг функционирования таких приложений и протоколов, как e-mail, HTTP, DNS, SMB…
Концептуально, логическая архитектура системы выглядит следующим образом:
Центральной частью всей «экосистемы» Flowmon Networks является Collector, получающий трафик с существующего сетевого оборудования или собственных зондов (Probe). Но для Enterprise решения предоставлять функционал исключительно для мониторинга сетевого трафика было бы слишком просто. Это умеют делать и Open Source решения, пусть и не с такой производительностью. Ценностью Flowmon являются дополнительные модули, расширяющие базовый функционал:
Шаг 1. Инсталляция Flowmon Collector
Развертывание виртуальной машины на VMware происходит совершенно стандартным образом из OVF шаблона. В итоге получаем виртуальную машину под управлением CentOS и с готовым к работе ПО. Требования к ресурсам – гуманные:
Остается только выполнить базовую инициализацию по команде sysconfig:
Настраиваем IP на порту управления, DNS, время, Hostname и можем подключаться к WEB-интерфейсу.
Шаг 2. Установка лицензии
Все готово. Можно приступать к работе.
Шаг 3. Настройка ресивера на коллекторе
На данном этапе нужно определиться, каким образом в систему будут поступать данные с источников. Как мы говорили раньше, это может быть один из flow протоколов или SPAN порт на коммутаторе.
В нашем примере будем использовать прием данных по протоколам NetFlow v9 и IPFIX. В этом случае, в качестве таргета мы указываем IP адрес Management интерфейса – 192.168.78.198. Интерфейсы eth2 и eth3 (с типом Monitoring interface) используются для приема копии «сырого» трафика со SPAN порта коммутатора. Их пропускаем, не наш случай.
Далее проверяем порт коллектора, куда должен поступать трафик.
В нашем случае коллектор ожидает трафик на порту UDP/2055.
Шаг 4. Настройка сетевого оборудования для экспорта flow
Настройку NetFlow на оборудовании Cisco Systems, наверное, можно назвать совершенно обычным делом для любого сетевого администратора. Для нашего примера мы возьмем что-нибудь более необычное. Например, маршрутизатор MikroTik RB2011UiAS-2HnD. Да, как ни странно, такое бюджетное решение для малых и домашних офисов тоже поддерживает протоколы NetFlow v5/v9 и IPFIX. В настройках задаем таргет (адрес коллектора 192.168.78.198 и порт 2055):
И добавляем все доступные для экспорта метрики:
На этом можно сказать, что базовая настройка завершена. Проверяем, поступает ли в систему трафик.
Шаг 5. Проверка и эксплуатация модуля Network Performance Monitoring and Diagnostics
Проверить наличие трафика от источника можно в разделе Flowmon Monitoring Center –> Sources:
Видим, что данные поступает в систему. Спустя некоторое время после того, как коллектор накопит трафик, виджеты начнут отображать информацию:
Построена система по принципу drill down. Тоесть, пользователь, выбирая интересующий его фрагмент на схеме или графике, «проваливается» до того уровня глубины данных, которые ему нужны:
Вплоть до информации о каждом сетевом соединении и коннекте:
Шаг 6. Модуль Anomaly Detection Security
Этот модуль можно назвать, пожалуй, одним из самых интересных, благодаря использованию безсигнатурных методов обнаружения аномалий в сетевом трафике и вредоносной сетевой активности. Но это не аналог IDS/IPS систем. Работа с модулем начинается с его «обучения». Для этого в специальном визарде указываются все ключевые компоненты и службы сети, включая:
Главная страница модуля – временной график с отображением выявленных инцидентов. В нашем примере видим явный всплеск, примерно между 9 и 16 часами. Выделяем его и смотрим подробнее.
Явно прослеживается аномальное поведение злоумышленника в сети. Начинается все с того, что хост с адресом 192.168.3.225 начал горизонтальное сканирование сети по порту 3389 (сервис Microsoft RDP) и находит 14 потенциальных «жертв»:
Следующий зафиксированный инцидент – хост 192.168.3.225 начинает брутфорс атаку по перебору паролей на сервис RDP (порт 3389) на выявленных ранее адресах:
В итоге атаки на одном из взломанных хостов фиксируется SMTP аномалия. Другими словами, началась рассылка СПАМ:
Данный пример является наглядной демонстрацией возможностей работы системы и модуля Anomaly Detection Security, в частности. Об эффективности судите сами. На этом функциональный обзор решения мы завершаем.
Заключение
Резюмируем, какие выводы о Flowmon мы можем сделать в сухом остатке:
Также, хотим пригласить Вас на наш вебинар (10.09.2019), посвященный решениям вендора Flowmon Networks. Для предварительной регистрации просим Вас пройти регистрацию тут.
На этом пока все, спасибо за Ваш интерес!