«Караван», Serverclub и QRATOR. История, опыт, подводные камни
Приветствую.
После событий 31 марта мы окончательно решили переезжать с Каравана.
Для тех кто не знает или забыл, один из самых известных Российских дата-центров 31 марта несколько раз подряд обесточил своих «пациентов». В их числе оказались Хабр, Фриланс, Лепра и прочие, среди которых были и мы. А т.к. мы хранили ДНС записи у себя на сервер, считая что сервер в надёжных руках, мы остались без проектов почти на сутки. 
Вывеска при входе в ДЦ. Для меня, одного из основателя компании 2Товарища, она позитивная. Но для десятков клиентов, посетивших ДЦ ночию 31 марта, она вызывает не очень приятные воспоминания.
В этой статье нет «проплаченной рекламы», я называю вещи, компании и людей своими именами.
Спасибо хабрасообществу, многие из советов «куда податься» были очень «в кассу». Очередной раз поймал себя на мысли, что проще и дешевле арендовать за рубежом качественные сервера, нежели покупать и размещать сервера в России. Удивительно, но за аренду 1U сервера с 8-ю гигами оперативки, ксеонами и гигабитным каналом в Голландии я отдаю 152$ (курс ЦБР сейчас 27,9, т.е. это 4436р) в месяц. Тогда как за размещение моего сервера и аренду 100mb порта в Караване без малого 5300 рублей.
После долгих раздумий, учёта опыта хабрапользователей и мнения сиадмина, я больше склонялся к hetzner.de. Пока не получил интересное личное сообщение от хабрапользователя:
«Приветствую, а переезжайте к нам в Голландию, пинг будет отличный и мы вам скидку дадим и админы помогут переехать. serverclub.com или вот habrahabr.ru/company/serverclub/blog/115169/».
Serverclub.com
Посмотрел, ознакомился с услугами, стало интересно. Больше всего, конечно, меня радовал качественный канал в 1Gb и «индивидуальный подход». Админ был против, готовил что хетзнер дешевле, да и каналы там хоть и 100Мб, но качественные. Гигабит меня интересовал скорее не потому, что он необходим, а просто было интересно. Помимо того, что на нас частенько приходили DDoS атаки, было просто интересно посмотреть, «а как это?».
Кстати, лирическое отступление. Мы покупали у каравана услугу защиты от ДДоСа пол года. Без малого, это +30к в месяц. Менеджер, Сергей Корсунов, уверял, что данная услуга подразумевает подключение циски, которая гарантирует защиту от атаки в 1Гигабит. Через пол года аренды этой штуки, к нами пришла атака в 100+мегабит (ориентировочно по циклам админ опередили 150 мегабит). Мы легли. На вопрос «почему?», караван сначала не мог ответить, потом ответил «циска не настроена, атака не блокируется», потом ответил «дело в том, что атака больше 100 мегабит, больше вашего канала», но всё же остановился на версии «циска не была настроена верно». На мои попытки получить записи разговоров с менеджером караван ответил «мы записи не ведём».
В караване мы держали 2 своих сервера. Один был под базу, другой под front+back. В серверклабе я взял 2 сервера под front+back и один под базу. Фронтам достались самые простые конфигурации, база получила крутой сервак. По деньгам получилось чуть больше чем в Караване, но меня очень сильно привлекал гигабит, брендовые сервера Dell и просто было интересно. Стоит отметить, что я не фанат брендов, по мне чем дешевле, тем лучше. Я правда не понимаю, зачем брать какой-то там брендовый сервер и переплачивать за бренд, когда можно собрать небрендовый из комплектующих и получить тот же результат чуть не в 2 раза дешевле. Да, надо знать тонкости комплектующих, кто и с кем лучше пашет, но это не стоит x2 стоимости. Но за такую цену, как за границей… это как покупать литр Jameson в Duty Free за 700 рублей, тогда как в России самый дешёвый я нашёл за 1000 с копейками (оптовый поставщик). Приятным бонусом для был встроенный модуль KVM. Т.е. данные сервера у серверклуба были оснащены модулем KVM, что означало, что я всегда и в любой момент могу подключиться на KVM, совершенно бесплатно. В своё время такое помню появилось у серверов SUN. Стоит отметить, что 31 марта, в караване, когда был полный звиздец, очередь на KVM достигала нескольких часов, при этом KVM оставался платной услугой. Мы могли себе позволить приехать в ДЦ и разобраться на месте с сервером, который по факту просто порушил часть ФС и ожидал ручного запуска fsck из-за экстренного отключения питания. А как быть, например, региональным клиентам? ждать несколько часов KVM, оплачивать его и либо запускать в ручном режиме fsck, либо прощаться со своей ФС? Караван — вы уроды.
В общем я остался доволен выбором и дал задание админу переносить всё на «Серверклаб». Перенос не обошёлся без осложнений. Серверклаб легко и быстро выделил сервера под фронты, но тянул с мощным сервером под базу. Сначало его не было в ДЦ, потом его оказывается настроили не так. Ребята сразу выделили «аналог» чуть менее слабой комплектации, мол сначала тут, а как настроим тот — переедете. Геморрой, но в общем приятно… переживают…
Я долго переживал за пинг, но в итоге увидел, что он не на столько отличается от России, чтобы оставаться в стране. Скажем, если в караване время ответа запросов составляло в среднем 80ms, в Серверклубе с американских серверов время ответа сервера составило 200ms. Чуть больше чем в 2 раза, но для пользователя совершенно незаметно.
Через пару дней мы полностью переехали и зажили в Голландии на качественных гигабитных Американских каналах. Ребята из Серверклаба, перекрестившись, продолжили свою работу. Я не самый простой клиент и активно пользовался «индивидуальным подходом» к клиентам. Низкий поклон менеджерам, им доставалось по полной… Но мы переехали. Счастью не было предела. Как вдруг… проснулись конкуренты. Мы являемся достаточно уникальным сервисом в рунете. У нас лишь 3-4 конкурента, что появились позже нас. Мы предоставляем сервис обмена заказами такси для таксопарков Москвы, Питера и других регионов и являемся самым крупным «обменником» такси. В те сутки что мы не работали и последующие сутки нестабильной работы, клиенты частично перекочевали к конкурентам. Мы не в обиде, это нормально. Скажем, если mamba.ru закроется, все пересядут на loveplanet.ru и это нормально. Однако как только мы запустились обратно, конкуренты снова «просели» до своих обычных цифр и это, видимо, им не понравилось.
На нас пошли DDoS атаки…
Qrator.net
Сначала была детская атака до 100 мегабит. Посмотрели, поржали. Потом пришло 300 мегабит ботов. Фронты выдержали без проблем, однако мы почувствовали некие напряги, связанные со свободным местом на диске. Убедившись, что мы справляемся с DDoS атаками, мы очередной раз вздохнули с облегчением. Но не тут то было…
Стата серверклаба зафиксировала 1гигабит входящего траффика. Больше стата зафиксировать физически не могла. Ребята с серверклаба сказали что в тот момент общий вход на сервер увеличился на 4-5гигабита в секунду.
Я давно думал отдать защиту от ДДоС профессионалам, но хотелось самому побеждать ДДоС. Путём тюнинга кода и nginx`а и в общем это получалось, пока атака не выросла шире канала.
Было часов 10 вечера. И адрес qrator.net набирался уже не первый раз. Ребята заявляли что работают без выходных, круглосуточно ) это был хороший способ проверить.
Ранее я слышал о кураторе, точнее о МГУшниках, которые бесплатно защищают сервера от ДДоСа, изучая атаки. Ныне они переросли в платный сервис куратор.нет, что в общем логично. Первым моим вопрос, когда я дозвонился до них, был «Зачем вы нас ДДоСите?». Я правда не представлял себе сколько может стоить атака в 4гигабита и, главное, кто располагает такими ресурсами. Менеджера вопрос поверг в ступор. Через пол часа мы уже обо всём договорились и примерно через час встали под их защиту. Атаки не прекращались ещё недели две, но они уже не были основной проблемой и ушли на второй план.
Всё дело в том, что мы оказались ужасными клиентами не только для серверклаба, но и для куратора. Представьте… Один сервис, полезная посещаемость 500 (. ) уникальных пользователей в день. Не 500к, а 500. Меньше, чем у одноклассники.км.ру 3 сервера и канал в гигабит. И вот только не надо рассказывать мне о оптимизации кода, базы итп. Я держал посещаемость в 1 млн. хитов на nnm.ru на относительно слабом сервере в своё время. И эти 500 хостов надо было фильтровать от сотен тысяч ботов.
Куратор не справлялся со своей задачей, он то и дело, блокировал полезных клиентов. Стоит ли повторять, что имея всего 500 полезных хостов, нам был важен каждый. Совладельцы ресурса настаивали на отказе от «Куратора», но всё же совместные действия наших разработчиков и исследователей куратора дали свои плоды. На данный момент (порядка месяца), все наши клиенты без проблем получают услуги сервиса, тогда как все боты идут лесом. Куратор порой фиксирует атаки, но они никак не отражаются на работоспособности ресурса, что безумно приятно.
Кстати, кто не пользовался услугами «Куратора», сделаю небольшой «обзор», по крайней мере того, что интересовало меня.
Безлим до гигабита стоит 17к рублей в месяц. В данном случае под гигабитом имеется введу «полезный» трафик. На сайте так же указано, что допополнительный выделенный IP стоит чуть не в 2 раза дороже, это не так. По факту дополнительный IP стоит 5к рублей. Ну и, соответственно, если у вас на одном сервере лежит несколько проектов, не нужно заводить под каждый IP. IP куратора привязывается к вашему IP или массиву IP (2,5,10, не важно). Если у вас 100 проектов на одном сервере, все 100 будут защищаться за 17к рублей в месяц.
Однако подключение во время DDoS атаки стоит +6к рублей. Ребята объясняют это тем, что они так же платят за траффик, и пока их классификаторы не научатся игнорировать левый трафф, они за него платят. А, соответственно, если он есть изначально, научиться фильтровать его ежесекундно не получается. Тут претензий нет.
Расстроили только платные API. У куратора есть API, можно управлять белыми и чёрными списками. Однако это удовольствие стоит денег. 5к подключение и 3к в месяц. Когда куратор блокировал полезных пользователей, мы были настроены брать API, но здравый смысл подсказывал, что платить за анти ддос + за то, чтобы не блокировались пользователи — не правильно. В итоге дал команду разработчикам при каждой POST авторизации добавлять IP в белый список через личный кабинет. В личном кабинете можно добавлять IP в белые списки.
Наверное, стоит отметить, что со стандартными проектами куратор справляется на ура. Мы поддерживали и поддерживаем сайт фильма «Утомлённые солнцем 2: Цитадель» и с первых дней повесили их под защиту куратора. Пережили несколько серьезных атак и ни одной жалобы от пользователей о недоступности проекта.
Сегодня, 16 мая, прошло полтора месяца с момента, как мы серьезно задумались и переехали с Российского ДЦ на зарубежный. За это время мы пережили многое. Гнев и угрозы «Каравана», приятное удивление ценам зарубежных ДЦ, ДДоС атаке в 4 гигабита и опыту работы с «Куратором».
По факту, приятен опыт в сжатые сроки. А если серьёзно, очень обидно, когда известнейший Русский ДЦ легко отключает питание без предупреждения и считает это нормой. Когда аренды циски заканчивается отговоркой «ой, мы забыли её настроить», в то время как наш сервис «лежит». Когда для проекта в 500 хостов в России нужно думать о гигабитном порте и АнтиДДоС атаке, т.к. «конкуренты не дремлют». И что приходится покупать диктофон на случай, если «обращаем ваше внимание, для улучшения качества обслуживания, все разговоры с оператором записываются» является ложью.
Защита от DDoS-атак
Что такое DDoS-атака
DDoS-атака – это распределенная атака типа «отказ в обслуживании», целью которой является выведения сайта из строя путем направления постоянного потока запросов с десятков и сотен тысяч зараженных компьютеров, разбросанных по всему миру. Какой бы мощной не была информационная инфраструктура, обслуживающая приложения, она не выдержит нагрузки, превышающей норму на несколько порядков, и выйдет из строя. Это, как правило, приводит к весьма печальным последствиям: потере денег, утрате репутации надежного партнера или провайдера услуг, переходу клиентов к «более надежным» конкурентам, а то и вовсе к потере всего бизнеса. Сегодня стоимость заказа DDoS-атаки начинается с 50$ в сутки, что делает этот инструмент очень популярным среди злоумышленников.
Классификация DDoS-атак
Сетевые атаки можно классифицировать в зависимости от того, на какие элементы инфраструктуры они направлены. Мы рассматриваем следующие уровни:
Самые сложные для нейтрализации – интеллектуальные DDoS-атаки на уровне приложений, мы уделяем им особое внимание и считаем их нейтрализацию одной из своих ключевых компетенций.
Это касается всех
Ошибочно считать, что проблема распределенных сетевых атак касается только «гигантов» интернета и крупных компаний. Цели злоумышленников непредсказуемы, и их интересы могут затрагивать не только коммерческие сферы: часто атаки организуются на благотворительные, политические организации, СМИ и пр. События в политике и экономике могут смещать основной вектор атак в ту или иную сторону, но, как показывает статистика, если сайт приносит прибыль или выражает неугодное кому-либо мнение – он в зоне риска.
Самостоятельная защита от DDoS-атак
Владелец сайта может попытаться организовать защиту сети от DDoS-атак самостоятельно, установив средства противодействия на своем сервере, но в большинстве случаев это не даст положительного результата. Безуспешность попыток защитить свою инфраструктуру от сетевой атаки в данном случае связана с тем, что трафик может просто не дойти до оборудования фильтрации – есть вероятность, что DDoS-атака “парализует” каналы связи жертвы или её провайдера задолго до достижения средств защиты.
Защита от DDoS-атак на хостинге
К кому в первую очередь обращаются жертвы DDoS-атак? Первое, что приходит на ум – попросить защиты у своего хостинга. В случае наличия у хостинг-провайдера специализированных систем нейтрализации DDoS-атак защита сети может быть эффективна. Однако с серьезной атакой провайдер не всегда может справиться самостоятельно: cети хостинг-провайдеров не проектируются под экстремальные дополнительные нагрузки и не могут противостоять массированным атакам на отказ в обслуживании.
Владелец сайта в таком случае может получить следующее сообщение: “Зафиксирована DDoS-атака, направленная на домен XXX.ru, размещенный на Вашем аккаунте. Работа домена была приостановлена, так как атака создавала аварийную ситуацию на сервере, где размещается сайт с указанным доменом, и стабилизировать работу сервера без прекращения работы домена не представлялось возможным”. Такое письмо получила атакуемая компания, которая впоследствии стала нашим клиентом.
Защищает сеть фильтрации Qrator Labs
Сеть Qrator спроектирована и построена в расчете на работу под постоянным воздействием большого числа DDoS-атак. Узлы фильтрации Qrator Labs подключены к каналам крупнейших магистральных интернет-провайдеров США, России, Западной и Восточной Европы, Юго-Восточной Азии. Таким образом, в отличие от сетей операторов хостинга (особенно, виртуального) наша сеть спроектирована в расчете на экстремальные нагрузки, и атака на ресурс одного из наших клиентов никак не влияет на работоспособность сайтов других клиентов.
Технически клиенты подключаются следующим образом:
Клиенты вносят изменения в записи DNS, направляющие пользовательский трафик на узлы фильтрации Qrator. Эти узлы используют технологию BGP anycast для анонсирования своих адресов. В случае необходимости защиты подсетей клиента к BGP anycast могут быть добавлены и соответствующие клиентские префиксы.
После подключения трафик наших клиентов постоянно, вне зависимости от наличия DDoS-атаки, поступает в сеть Qrator и анализируется. “Чистый” трафик перенаправляется на защищаемый сайт. Такая схема работы позволяет узлам фильтрации “понимать”, какой профиль трафика является нормой для каждого сайта в отдельности, и в случае любых отклонений молниеносно реагировать на это.
Все узлы сети Qrator работают независимо, и в случае выхода из строя одного из них трафик защищаемого сайта не потеряется, а автоматически будет перемаршрутизирован на другой ближайший узел фильтрации.
Схема работы узла Qrator Labs
Характеристики сети Qrator Labs
Сеть Qrator обладает следующими основными характеристиками:
Советы пользователям MikroTik по защите роутеров
Чтобы защитить свой роутер MikroTik от ботнета Mēris или очистить уже зараженный роутер, пользователям рекомендуется обновить RouterOS и проверить настройки.
Некоторое время назад многие СМИ, пишущие на тему информационной безопасности, рассказывали о масштабных DDoS-атаках при помощи нового ботнета Mēris. Мощность его атак доходила до 22 миллионов запросов в секунду (Requests Per Second). Согласно исследованию компании Qrator, изрядную часть трафика этого ботнета генерировали сетевые устройства компании MikroTik.
В MikroTik проанализировали ситуацию и пришли к выводу, что новых уязвимостей в их роутерах нет, но чтобы убедиться, что ваш маршрутизатор не примкнул к ботнету, необходимо выполнить ряд рекомендаций.
Почему устройства MikroTik участвуют в ботнете
Несколько лет назад в роутерах MikroTik действительно была обнаружена уязвимость — множество устройств было скомпрометировано через Winbox, инструмент для их настройки. Несмотря на то, что уязвимость была закрыта еще в 2018 году, обновились далеко не все.
Кроме того, даже среди обновившихся не все последовали рекомендациям производителя по смене паролей. Если пароль не сменить, то даже после обновления прошивки до последней версии остается вероятность того, что злоумышленники зайдут на роутер со старым паролем и вновь начнут использовать его для преступной деятельности.
Как следует из поста MikroTik, сейчас в ботнете участвуют те же устройства, что были скомпрометированы в 2018 году. Компания опубликовала признаки компрометации устройства и выдала рекомендации по их защите.
Как можно понять, что ваш роутер MikroTik участвует в ботнете
Использование вашего роутера ботнетом оставляет ряд характерных признаков в настройках. Поэтому компания MikroTik рекомендует прежде всего изучить конфигурацию устройства на предмет наличия опасных настроек:
Рекомендации по защите роутера MikroTik
Мы со своей стороны присоединяемся к последнему совету и рекомендуем использовать на всех компьютерах, имеющих доступ к Интернету, надежные защитные решения.
Вычисляем реальный IP сервера за CloudFlare/Qrator
Содержание статьи
Сегодня все большее распространение получают сервисы для защиты от DDoS-атак, скрывающие реальный IP-адрес, типа CloudFlare, Incapsula и Qrator. Думаю, не имеет смысла объяснять, насколько бывает важно и полезно определить реальный IP-адрес сервера. Поэтому в данной заметке я поделюсь алгоритмом, которого придерживаюсь во время аудитов, когда приходится участвовать в игре «Найди мой реальный IP».
Метод 1: поддомены
Первый шаг, который я предлагаю сделать, — это найти поддомены и проверить их IP. Для поиска я использую тулзу Sublist3r от Aboul-Ela и словарь. Далее отбрасываем все адреса, что принадлежат хидеру. И затем к оставшимся пробуем подключиться с кастомным хидером Host. Для этого я накидал простенький скрипт на баше.
Этот способ, кстати, используют большинство сервисов вроде Cloudflare resolver. К сожалению, этот метод все реже приносит сколько-нибудь значимые результаты, потому что большинство таки научилось правильно настраивать DNS. Однако поиск поддоменов в любом случае крайне полезная вещь, особенно при блекбоксе. Так что делаю это в первую очередь.
Метод 2: history
Второй шаг простой, но в то же время наиболее эффективный. Смысл в том, чтобы найти старый IP-адрес домена. Быть может, сейчас он скрыт, но раньше, возможно, он был «голым».
Для просмотра истории изменения IP есть несколько сервисов. Например, мои любимые http://viewdns.info/iphistory/ и http://ptrarchive.com/ спасали мою задницу не один раз. Эти сервисы сейчас пока бесплатны (к сожалению, большинство сервисов такого плана переходят на платную основу).
Видим, что раньше домен резолвился на IP 162.218.138.176, перейдем на него в браузере. Наблюдаем главную страницу Bain Capital, также можно заметить, что сертификат выдан на имя baincapital.com. Хороший знак, сравним с оригинальным сайтом https://baincapital.com — они идентичны.
Проверка реального IP-адреса домена и сертификата
Встречаются ситуации, когда переход по айпи не дает нужного результата, а возвращает, например, дефолтную страницу веб-сервера, или ошибку 404, или 403, или что-то подобное. В таких случаях не забывай пробовать подключаться с указанием Host’а:
Метод 3: DNS
Этот шаг — продолжение предыдущего. Нужно проверить историю изменения DNS и попробовать отрезолвить IP домена через старые NS-серверы.
Метод 4: специализированные поисковики
Пробую искать подопытный домен на Censys и Shodan. Кроме того что это позволяет расширить скоуп и выявить новые точки входа, там можно обнаружить и реальный IP.
Я люблю максимально автоматизировать операции, поэтому, используя jQuery и консоль браузера, быстренько выуживаю все IP со страницы результатов поиска:
Записываю их в файл, и затем снова в дело вступает скрипт из первого шага.
Метод 5: email
Этот метод мне засветил @i_bo0om, за что ему огромное спасибо. Идея в том, чтобы получить email от сервиса и проверить хидеры письма на наличие интересной информации. Тут проще показать, чем объяснять.
Возьмем какой-нибудь https://shop.eurovision.tv/ Тут снова CloudFlare. Регистрируемся там и ждем письмо с подтверждением. Смотрим хидеры в частности, нас интересует Recieved:
Далее в дело еще раз вступает curl и Host-хидер:
Вуаля! Реальный адрес найден, дальше можно работать без ограничений CloudFlare.
Хидеры письма, раскрывающие IP-адрес сервера 
Найденный IP-адрес домена shop.eurovision.tv
На этом у меня все. Надеюсь, представленная информация будет полезной. До новых встреч!
Специалист по информационной безопасности в ONsec. Research, ethical hacking and Photoshop.
Архитектура Рунета
Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.
Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS. Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).
В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации. Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.
Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем. Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.
Обзор
Диаграмма 1. Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран
В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга. Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3*10^7 уникальных IP-адресов из 2,9*10^9 анонсируемых глобально — 1,51%, 11 место.
Диаграмма 2. Распределение сетевых префиксов между странами в IPv4, топ-20 стран
В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. Данные префиксы покрывают 1.3*10^32 уникальных IPv6 адресов из 1,5*10^34 анонсируемых глобально — 0,84% и 18 место.
Диаграмма 3. Распределение сетевых префиксов между странами в IPv6, топ-20 стран
Индивидуальный размер
Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.
| Топ-20 IPv4 | Топ-20 IPv6 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Количество префиксов | ASN | AS Name | Количество префиксов |
| 12389 | ROSTELECOM-AS | 2279 | 31133 | MF-MGSM-AS | 56 |
| 8402 | CORBINA-AS | 1283 | 59504 | vpsville-AS | 51 |
| 24955 | UBN-AS | 1197 | 39811 | MTSNET-FAR-EAST-AS | 30 |
| 3216 | SOVAM-AS | 930 | 57378 | ROSTOV-AS | 26 |
| 35807 | SkyNet-SPB-AS | 521 | 12389 | ROSTELECOM-AS | 20 |
| 44050 | PIN-AS | 366 | 42385 | RIPN-RU | 20 |
| 197695 | AS-REGRU | 315 | 51604 | EKAT-AS | 19 |
| 12772 | ENFORTA-AS | 291 | 51819 | YAR-AS | 19 |
| 41704 | OGS-AS | 235 | 50543 | SARATOV-AS | 18 |
| 57129 | RU-SERVERSGET-KRSK | 225 | 52207 | TULA-AS | 18 |
| 31133 | MF-MGSM-AS | 216 | 206066 | TELEDOM-AS | 18 |
| 49505 | SELECTEL | 213 | 57026 | CHEB-AS | 18 |
| 12714 | TI-AS | 195 | 49037 | MGL-AS | 17 |
| 15774 | TTK-RTL | 193 | 41682 | ERTH-TMN-AS | 17 |
| 12418 | QUANTUM | 191 | 21191 | ASN-SEVERTTK | 16 |
| 50340 | SELECTEL-MSK | 188 | 41843 | ERTH-OMSK-AS | 15 |
| 28840 | TATTELECOM-AS | 184 | 42682 | ERTH-NNOV-AS | 15 |
| 50113 | SuperServersDatacenter | 181 | 50498 | LIPETSK-AS | 15 |
| 31163 | MF-KAVKAZ-AS | 176 | 50542 | VORONEZH-AS | 15 |
| 21127 | ZSTTKAS | 162 | 51645 | IRKUTSK-AS | 15 |
Таблица 1. Размер AS по количеству анонсируемых префиксов
Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться. Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности.
Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.
| Топ-20 IPv4 | Топ-20 IPv6 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Количество IP-адресов | ASN | AS Name | Количество IP-адресов |
| 12389 | ROSTELECOM-AS | 8994816 | 59504 | vpsville-AS | 2.76*10^30 |
| 8402 | CORBINA-AS | 2228864 | 49335 | NCONNECT-AS | 2.06*10^30 |
| 12714 | TI-AS | 1206272 | 8359 | MTS | 1.43*10^30 |
| 8359 | MTS | 1162752 | 50113 | SuperServersDatacenter | 1.35*10^30 |
| 3216 | SOVAM-AS | 872608 | 201211 | DRUGOYTEL-AS | 1.27*10^30 |
| 31200 | NTK | 566272 | 34241 | NCT-AS | 1.27*10^30 |
| 42610 | NCNET-AS | 523264 | 202984 | team-host | 1.27*10^30 |
| 25513 | ASN-MGTS-USPD | 414464 | 12695 | DINET-AS | 9.51*10^29 |
| 39927 | Elight-AS | 351744 | 206766 | INETTECH1-AS | 8.72*10^29 |
| 20485 | TRANSTELECOM | 350720 | 20485 | TRANSTELECOM | 7.92*10^29 |
| 8342 | RTCOMM-AS | 350464 | 12722 | RECONN | 7.92*10^29 |
| 28840 | TATTELECOM-AS | 336896 | 47764 | mailru-as | 7.92*10^29 |
| 8369 | INTERSVYAZ-AS | 326912 | 44050 | PIN-AS | 7.13*10^29 |
| 28812 | JSCBIS-AS | 319488 | 45027 | INETTECH-AS | 7.13*10^29 |
| 12332 | PRIMORYE-AS | 303104 | 3267 | RUNNET | 7.13*10^29 |
| 20632 | PETERSTAR-AS | 284416 | 34580 | UNITLINE_MSK_NET1 | 7.13*10^29 |
| 8615 | CNT-AS | 278528 | 25341 | LINIYA-AS | 7.13*10^29 |
| 35807 | SkyNet-SPB-AS | 275968 | 60252 | OST-LLC-AS | 7.13*10^29 |
| 3267 | RUNNET | 272640 | 28884 | MR-SIB-MTSAS | 6.73*10^29 |
| 41733 | ZTELECOM-AS | 266240 | 42244 | ESERVER | 6.44*10^29 |
Таблица 2. Размер AS по количеству анонсируемых IP-адресов
Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции. Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования.
Связность
Существует 3 основных типа отношений между автономными системами:
| Топ-20 IPv4 | Топ-20 IPv6 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Количество клиентов в регионе | ASN | AS Name | Количество клиентов в регионе |
| 12389 | ROSTELECOM-AS | 818 | 20485 | TRANSTELECOM | 94 |
| 3216 | SOVAM-AS | 667 | 12389 | ROSTELECOM-AS | 82 |
| 20485 | TRANSTELECOM | 589 | 31133 | MF-MGSM-AS | 77 |
| 31133 | MF-MGSM-AS | 467 | 20764 | RASCOM-AS | 72 |
| 8359 | MTS | 313 | 3216 | SOVAM-AS | 70 |
| 20764 | RASCOM-AS | 223 | 9049 | ERTH-TRANSIT-AS | 58 |
| 9049 | ERTH-TRANSIT-AS | 220 | 8359 | MTS | 51 |
| 8732 | COMCOR-AS | 170 | 29076 | CITYTELECOM-AS | 40 |
| 2854 | ROSPRINT-AS | 152 | 31500 | GLOBALNET-AS | 32 |
| 29076 | CITYTELECOM-AS | 143 | 3267 | RUNNET | 26 |
| 29226 | MASTERTEL-AS | 143 | 25478 | IHOME-AS | 22 |
| 28917 | Fiord-AS | 96 | 28917 | Fiord-AS | 21 |
| 25159 | SONICDUO-AS | 94 | 199599 | CIREX | 17 |
| 3267 | RUNNET | 93 | 29226 | MASTERTEL-AS | 13 |
| 31500 | GLOBALNET-AS | 87 | 8732 | COMCOR-AS | 12 |
| 13094 | SFO-IX-AS | 80 | 35000 | PROMETEY | 12 |
| 31261 | GARS-AS | 80 | 49063 | DTLN | 11 |
| 25478 | IHOME-AS | 78 | 42861 | FOTONTELECOM | 10 |
| 12695 | DINET-AS | 76 | 56534 | PIRIX-INET-AS | 9 |
| 8641 | NAUKANET-AS | 73 | 48858 | Milecom-as | 8 |
Таблица 3. Связность AS по количеству клиентов
Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.
| Топ-20 IPv4 | Топ-20 IPv6 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Количество пиринг-партнеров в регионе | ASN | AS Name | Количество пиринг-партнеров в регионе |
| 13238 | YANDEX | 638 | 13238 | YANDEX | 266 |
| 43267 | First_Line-SP_for_b2b_customers | 579 | 9049 | ERTH-TRANSIT-AS | 201 |
| 9049 | ERTH-TRANSIT-AS | 498 | 60357 | MEGAGROUP-AS | 189 |
| 201588 | MOSCONNECT-AS | 497 | 41617 | SOLID-IFC | 177 |
| 44020 | CLN-AS | 474 | 41268 | LANTA-AS | 176 |
| 41268 | LANTA-AS | 432 | 3267 | RUNNET | 86 |
| 15672 | TZTELECOM | 430 | 31133 | MF-MGSM-AS | 78 |
| 39442 | UNICO-AS | 424 | 60764 | TK-Telecom | 74 |
| 39087 | PAKT-AS | 422 | 12389 | ROSTELECOM-AS | 52 |
| 199805 | UGO-AS | 418 | 42861 | FOTONTELECOM | 32 |
| 200487 | FASTVPS | 417 | 8359 | MTS | 28 |
| 41691 | SUMTEL-AS-RIPE | 399 | 20764 | RASCOM-AS | 26 |
| 13094 | SFO-IX-AS | 388 | 20485 | TRANSTELECOM | 17 |
| 60357 | MEGAGROUP-AS | 368 | 28917 | Fiord-AS | 16 |
| 41617 | SOLID-IFC | 347 | 31500 | GLOBALNET-AS | 14 |
| 51674 | Mehanika-AS | 345 | 60388 | TRANSNEFT-TELECOM-AS | 14 |
| 49675 | SKBKONTUR-AS | 343 | 42385 | RIPN-RU | 13 |
| 35539 | INFOLINK-T-AS | 310 | 3216 | SOVAM-AS | 12 |
| 42861 | FOTONTELECOM | 303 | 49063 | DTLN | 12 |
| 25227 | ASN-AVANTEL-MSK | 301 | 44843 | OBTEL-AS | 11 |
Таблица 4. Связность AS по количеству пиринг-партнеров
Большое количество пиринг-партнеров может значительно улучшить связность целого региона. Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса.
Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры. Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика.
| Топ-20 IPv4 | Топ-20 IPv6 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Размер клиентского конуса | ASN | AS Name | Размер клиентского конуса |
| 3216 | SOVAM-AS | 3083 | 31133 | MF-MGSM-AS | 335 |
| 12389 | ROSTELECOM-AS | 2973 | 20485 | TRANSTELECOM | 219 |
| 20485 | TRANSTELECOM | 2587 | 12389 | ROSTELECOM-AS | 205 |
| 8732 | COMCOR-AS | 2463 | 8732 | COMCOR-AS | 183 |
| 31133 | MF-MGSM-AS | 2318 | 20764 | RASCOM-AS | 166 |
| 8359 | MTS | 2293 | 3216 | SOVAM-AS | 143 |
| 20764 | RASCOM-AS | 2251 | 8359 | MTS | 143 |
| 9049 | ERTH-TRANSIT-AS | 1407 | 3267 | RUNNET | 88 |
| 29076 | CITYTELECOM-AS | 860 | 29076 | CITYTELECOM-AS | 84 |
| 28917 | Fiord-AS | 683 | 28917 | Fiord-AS | 70 |
| 3267 | RUNNET | 664 | 9049 | ERTH-TRANSIT-AS | 65 |
| 25478 | IHOME-AS | 616 | 31500 | GLOBALNET-AS | 54 |
| 43727 | KVANT-TELECOM | 476 | 25478 | IHOME-AS | 33 |
| 31500 | GLOBALNET-AS | 459 | 199599 | CIREX | 24 |
| 57724 | DDOS-GUARD | 349 | 43727 | KVANT-TELECOM | 20 |
| 13094 | SFO-IX-AS | 294 | 39134 | UNITEDNET | 20 |
| 199599 | CIREX | 290 | 15835 | MAP | 15 |
| 29226 | MASTERTEL-AS | 227 | 29226 | MASTERTEL-AS | 14 |
| 201706 | AS-SERVICEPIPE | 208 | 35000 | PROMETEY | 14 |
| 8641 | NAUKANET-AS | 169 | 49063 | DTLN | 13 |
Таблица 5. Связность AS по размеру клиентского конуса
Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.
Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Чем ниже число — тем выше связность. «1» означает, что для всех видимых путей существует прямая связность с региональным ядром.
| IPv4 top 20 | IPv6 top 20 | ||||
|---|---|---|---|---|---|
| ASN | AS Name | Connectivity rating | ASN | AS Name | Connectivity rating |
| 8997 | ASN-SPBNIT | 1.0 | 21109 | CONTACT-AS | 1.0 |
| 47764 | mailru-as | 1.0 | 31133 | MF-MGSM-AS | 1.0 |
| 42448 | ERA-AS | 1.0 | 20485 | TRANSTELECOM | 1.0 |
| 13094 | SFO-IX-AS | 1.0 | 47541 | VKONTAKTE-SPB-AS | 1.0 |
| 47541 | VKONTAKTE-SPB-AS | 1.07 | 13238 | YANDEX | 1.05 |
| 13238 | YANDEX | 1.1 | 8470 | MAcomnet | 1.17 |
| 3216 | SOVAM-AS | 1.11 | 12389 | ROSTELECOM-AS | 1.19 |
| 48061 | GPM-TECH-AS | 1.11 | 41722 | MIRAN-AS | 1.2 |
| 31133 | MF-MGSM-AS | 1.11 | 8359 | MTS | 1.22 |
| 8359 | MTS | 1.12 | 60879 | SYSTEMPROJECTS-AS | 1.25 |
| 41268 | LANTA-AS | 1.13 | 41268 | LANTA-AS | 1.25 |
| 9049 | ERTH-TRANSIT-AS | 1.16 | 44020 | CLN-AS | 1.25 |
| 20485 | TRANSTELECOM | 1.18 | 29226 | MASTERTEL-AS | 1.25 |
| 29076 | CITYTELECOM-AS | 1.18 | 44943 | RAMNET-AS | 1.25 |
| 12389 | ROSTELECOM-AS | 1.23 | 12714 | TI-AS | 1.25 |
| 57629 | IVI-RU | 1.25 | 47764 | mailru-as | 1.25 |
| 48297 | DOORHAN | 1.25 | 44267 | IESV | 1.25 |
| 42632 | MNOGOBYTE-AS | 1.25 | 203730 | SVIAZINVESTREGION | 1.25 |
| 44020 | CLN-AS | 1.25 | 3216 | SOVAM-AS | 1.25 |
| 12668 | MIRALOGIC-AS | 1.25 | 24739 | SEVEREN-TELECOM | 1.29 |
Таблица 6. Связность AS по расстоянию до ядра региональной связности
Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер:
