peer exchange что это

Печенюшка

Что же такое DHT и PEX!?

В связи с появлением новости от The Pirate Bay об отказе от трекерной раздачи торрентов.

Это моя ложка меда в чашу дегтя: что это, как это и насколько полезно. Для начала разберемся что такое сам файл *.torrent

*.torrent файл — файл метаданных, который содержит следующую информацию:

с этим вроде все понятно?

url трекера — это адресок, откуда utorrent получает ip адреса участников конкретного файлообмена. Но можно обойтись и без этого трекера. Но как получим адреса участников файлообмена? Для этого существует технология DHT и magnet ссылки.

В частовстречаемых версиях utorrent «функция», если её можно так назвать, «возможность», «технология» уже присутствует:

DHT (англ. Distributed Hash Table — «распределённая хеш-таблица») — помогает участникам файлообмена узнать друг о друге. В совокупности с РЕХ (Peer exchange — расширение BitTorrent-протокола для обмена списками участников), они могут:

Пробежимся по «галочкам»:

Как качать используя DHT и РЕХ

Все просто: достаточно знать хэш раздачи. Он вшит в файл *.torrent и/или находится в magnet ссылке.

Берем любую раздачу на руторрентах. Например http://torrents.ru/forum/viewtopic.php?t=2402314
Взял тупо самую популярную из новинок кина.

Жмем скачать, получаем окно

нас интересует кнопка «дополнительно»

удаляем адреса трекеров в окне трекеров; проверяем снизу галочки жмем ОК и ОК. Раздача понеслась. Все участники файлообмена найдуся с помощью DHT и РЕХ. Связи с трекером нет, а нет связи — нет и никакого движения рейтинга т.е. вообще без рейтинга

Magnet-ссылка или просто магнитик

имеет вид magnet:?xt=urn:btih:BWJDXWBWYIMS6VG4FO5SSKCUEKFC44W3

btih — обозначение принадлежности хеша BWJDXWBWYIMS6VG4FO5SSKCUEKFC44W3 к хешу bittorrent.
В других программах файлообмена (Kazza, EDonkey2000 и пр) — хеш свой. Спецификация хешей и магнит-ссылки подробнее здесь.

BWJDXWBWYIMS6VG4FO5SSKCUEKFC44W3 — это и есть хэш раздачи. Он и вшит в *.torrent
Опубликованный выше магнитик опять же скачает тот же файл, что находится в раздаче http://torrents.ru/forum/viewtopic.php?t=2402314

Возможности DHT и РЕХ

На примере вечнозакрываемых раздач на руторрентах: если постить магнитики — раздачу закрыть не возможно. Только если удалить всю тему. А нам всего навсего достаточно знать ХЭШ. Знаем хеш — лепим сами магнитик и скармливаем utorrent.

С помощью DHT и РЕХ можно и раздавать без торрент-трекера.

Создаем раздачу как обычно, только в окошке торрент-трекеров ничего не указываем. Сразу же встаем на раздачу и раздаем всем или хеш, или готовый магнитик

и радуемся от раздач и скачки.

Естественно все работает при правильной настройки utorrent. Если всё верно, то внизу программы Вы увидите

Источник

В первоначальной конструкции протокола обмена файлами BitTorrent одноранговые узлы (пользователи) в группе обмена файлами (известной как «рой») полагались на центральный компьютерный сервер, называемый трекером, чтобы находить друг друга и поддерживать рой. PEX значительно снижает зависимость одноранговых узлов от трекера, позволяя каждому одноранговому узлу напрямую обновлять другим в рое, какие одноранговые узлы в настоящее время находятся в рое. Уменьшая зависимость от централизованного трекера, PEX увеличивает скорость, эффективность и надежность протокола BitTorrent.

СОДЕРЖАНИЕ

Описание

Пользователи, желающие получить копию файла, обычно сначала загружают торрент- файл, который описывает файл (ы), которые должны быть переданы, а также URL-адреса одного или нескольких центральных компьютеров, называемых трекерами, которые поддерживают список одноранговых узлов, которые в настоящее время совместно используют файл ( s) описан в торрент-файле. В первоначальном дизайне BitTorrent одноранговые узлы затем зависели от этого центрального трекера, чтобы находить друг друга и поддерживать рой. Позднее развитие распределенных хэш-таблиц (DHT) означало, что частичные списки одноранговых узлов могли храниться на других компьютерах роя, и нагрузка на центральный компьютер отслеживания могла быть уменьшена. PEX позволяет одноранговым узлам обмениваться информацией о рое напрямую, не запрашивая ( опрашивая ) компьютер слежения или DHT. Поступая таким образом, PEX использует знания одноранговых узлов, к которым подключен пользователь, запрашивая их адреса одноранговых узлов, к которым они подключены. Это быстрее и эффективнее, чем полагаться только на один трекер, и снижает нагрузку на трекер. Он также удерживает стаи вместе, когда трекер не работает.

Соглашения об одноранговом обмене

Расширения BitTorrent, такие как PEX, обычно реализуются с использованием одного из двух общих протоколов расширений, AZMP или LTEP. Оба типа однорангового обмена отправляют сообщения, содержащие группу одноранговых узлов, которые должны быть добавлены в рой, и группу одноранговых узлов, которые должны быть удалены.

Между разработчиками Azureus и μTorrent было согласовано, что любые клиенты, реализующие любой из вышеперечисленных механизмов, стараются соблюдать следующие ограничения при отправке сообщений PEX:

Некоторые клиенты могут применить эти ограничения и разорвать подключения от клиентов, которые их игнорируют.

Чтобы создать протокол PEX, обеспечивающий равномерно распределенный выбор одноранговых узлов, можно сформировать небольшую распределенную хеш-таблицу (DHT), локальную для торрента. Для каждого желаемого нового однорангового узла нужно искать (равномерно) случайный ключ и использовать узел, ответственный за ключ, в качестве нового однорангового узла. Это концептуально просто, но потребует значительных накладных расходов.

Для торрентов без трекера неясно, предоставляет ли PEX какое-либо значение, поскольку основной DHT может распределять нагрузку по мере необходимости. Каждый узел DHT, действующий как трекер, может хранить только подмножество одноранговых узлов, но это максимальные подмножества, ограниченные только нагрузкой узла DHT, а не представлением одного узла. Частные торренты обычно отключают DHT, и в этом случае может быть полезен PEX при условии, что одноранговый узел получает достаточно одноранговых узлов от трекера.

Версии

Есть три несовместимых реализации PEX (создание отдельных «сетей» в рое)

Клиенты, поддерживающие одноранговый обмен

Большинство клиентов BitTorrent используют PEX для сбора пиров в дополнение к трекерам и DHT. С выпуском Vuze 3.0.5.0 все основные клиенты BitTorrent теперь имеют совместимый одноранговый обмен.

Каждый из этих клиентов реализует ту или иную версию однорангового обмена:

Источник

Peer exchange

Peer exchange (PEX) — расширение BitTorrent-протокола для обмена списками участников.

PEX реализуется за счёт дополнительных сообщений между клиентами, уже соединёнными между собой для обмена сегментами файла по обычному протоколу BitTorrent.

В отличие от трекера и DHT, PEX может быть только вспомогательным средством получения пиров, так как он не может помочь подключиться к раздаче новым пирам.

Поддержка PEX есть в клиентах Transmission, Azureus, BitComet, µTorrent, KTorrent, rtorrent, Deluge (начиная с версии 0.7.8) и BitTornado, qBittorrent, причем в каждом клиенте он может быть реализован по-своему, поэтому PEX между собой могут пользоваться только либо одинаковые клиенты, либо совместимые по PEX.

Однако, в Azureus, начиная с версии 3.0.5.0, реализована поддержка PEX от µTorrent, в дополнение к собственной версии. Таким образом, любой пир с Azureus >=3.0.5.0 может через PEX как сводить вместе других пиров, использующих несовместимые по PEX клиенты, так и получать от них адреса пиров.

ut_pex

Клиенты сообщают друг другу о поддержке PEX. И далее каждую минуту отсылают список новых подключившихся/отключившихся пиров с момента предыдущей отправки PEX пакета.

См. также

Персоны: Брэм Коэн • Ashwin Navin • Компании: BitTorrent, Inc. • Vuze, Inc.

Суперсид • Обмен пирами ( Peer exchange, PEX) • Распределённая хеш-таблица (DHT) • Broadcatching • Protocol encryption • DNA • Мультитрекер • Ретрекер • announce • scrape

IPB (IPBTT) • phpBB2 (TorrentPier • TorrentPier II) • phpBB3 (ppkBB3cker • xbtBB3cker) • SMF (SMF Torrent • Simple Tracker) • TBDev (CyBERhype Tracker • KinoKPK • LiteTracker • Tesla Torrent-Tracker) • Прочие (Xbtit • BTITeam Tracker • TorrentTrader • Torrent Hoster • vBulletin Torrent Tracker)

Полезное

Смотреть что такое «Peer exchange» в других словарях:

Peer exchange — (PEX) is a feature of the BitTorrent peer to peer protocol which, like trackers and DHT, can be utilized to gather peers. Using peer exchange, an existing peer is used to trade the information required to find and connect to additional peers.… … Wikipedia

Peer exchange — La technique échange de pairs ou peer exchange (PEX) est une technique des réseaux Bittorrent qui, comme les trackers et le DHT, permet de découvrir de nouveaux pairs. La méthode consiste à récupérer des nouveaux pairs depuis un pair avec lequel… … Wikipédia en Français

Peer Exchange — … Википедия

Peer Health Exchange — is a 501(c)3 organization that was created to address health problems in today s youth. It is made up of college students in Boston, New York City, and Chicago who volunteer in public high schools to teach health education classes. The goal of… … Wikipedia

Peer-to-peer (meme) — Peer to Peer or P2P for short, in this context refers to the meme of egalitarian networking that is currently emerging throughout society, made possible by internet technologies and a critical look at current authoritarian and centralised social… … Wikipedia

Peer 1 — Hosting Type Public Company Traded as TSX: PIX Industry Hosting … Wikipedia

Peer-to-Peer-Kredit — Peer to Peer Kredite (Englischen peer to peer lending oder person to person lending) sind Kredite, die direkt von Privatpersonen („peer“) an Privatpersonen als Privatkredite unter weitgehender oder vollständiger Ausschaltung einer Bank oder… … Deutsch Wikipedia

Peer M. Schatz — (*August 3, 1965) is the Chief Executive Officer of Qiagen N.V. Schatz grew up in the United States and the Switzerland. After his Matura (A Levels/ university entrance diploma), Schatz studied business and social sciences at the University of St … Wikipedia

Peer-to-peer — Not to be confused with point to point. This article is about peer to peer computing. For other uses, see Peer to peer (disambiguation). A peer to peer system of nodes without central infrastructure … Wikipedia

Peer to patent — The Peer to Patent project (also known as the Community PatentReview project) is an initiative that seeks reform of the patentsystem by gathering public input in a structured, productive manner. Apilot project in collaboration with the United… … Wikipedia

Источник

Простота в дизайне. Эпизод 2. DHT и PEX

Peer-to-peer сеть BitTorrent очень популярна. И тем обидней, что базируется такая сеть на веб-сайт, трекер, что совершенно не пиртупирно и потенциально опасно. Соответственно, с тех пор, как жив BitTorrent, предпринимались различные попытки децентрализовать и оставшуюся часть — получение списка пиров.

Есть у студентов computer science популярный шаблон мышления: «Децентрализовать? DHT!». DHT, Distributed Hash Tables — умозрительно простая идея: диапазоны ключей хэш-таблицы разбрасываются на пиров, выстраиваются взаимные ссылки и ура. Ура — в жопе дыра. Потому что при столкновении с реальной сетью, в отличие от симулятора или кластера, начинается преогромное количество проблем. Более половины пиров, например, скрыты за NATами и фэйрволами, поэтому на запросы DHT одним пирам они отвечают, а другим — нет, причём труднопредсказуемым образом. Пиры постоянно приходят и уходят, некоторые пиры глючат, есть злоумышленные пиры, кто-то подключён по диал-апу. Чтобы всё это предусмотреть и подкрутить соответствующие затычки, пришлось серьёзно потрудиться. И получившийся код всё равно вызывает нарекания. Коренная проблема в том, что DHT вынужден строить свою отдельную P2P-сеть по своим отдельным правилам. Что плохо влияет на сложность, эффективность, безопаснось.

Другая попытка в том же направлении — PEX (Peer EXchange)*, gossip протокол, в котором уже соединённые пиры просто обмениваются адресами тех, к кому они уже присоединены. У протокола была нелёгкая судьба, потому что изначально Брам Коэн (автор BitTorrent) был уверен, что PEX будет вести к распадению роя. Он сделал по-быстрому какой-то симулятор и увидел полный распад. Некоторое время назад мне показалось, что я понимаю, почему и него рои распадались. Я тоже сделал симулятор, но при разумных параметрах распадения роя добиться не удалось. Видимо, была у него какая-то ошибка.

А PEX работает отлично. Его изначально реализовали в неофициальных клиентах, кажется Azureus и µTorrent (второй ещё не был куплен BitTorrent Inc). Постепенно реализация µTorrent, под названием ut_pex, стала общепринятой. Протокол очень эффективен: я с моего лаптопа своим специальным BitTorrent-пауком за пару-тройку минут переписывал всех пиров в 100-тысячном рое. Логика работы простая, экспоненциальная. Получив от трекера двадцать пиров и успешно присоединившись к двум, мы тут же по ut_pex получаем ещё двести. Ну и так далее. Сам протокол чрезвычайно прост и состоит из одного (!) сообщения. Ещё один популярный шаблон мышления: все думают, что сообщения должно быть два: запрос и ответ. Нет, запроса нет. Просто сообщения так малы, что экономить нет смысла. А с запросами куча мороки. Поэтому если пир видит, что вы понимаете ut_pex, он просто периодически шлёт вам IP-адреса. Реализация ut_pex в libtorrent-rasterbar занимает в 7 раз меньше места, чем довольно компактная реализация DHT там же**.

_{* А то, что сейчас написано про PEX в Википедии — это original research или попросту лажа.}

_{** Внимательный читатель, возможно, заметит подтасовку — ut_pex не обеспечивает полной децентрализации трекинга, ведь ему нужны стартовые пиры. Поделюсь секретом. DHT этого тоже не обеспечивает. Во-первых, пользователи всё равно идут на сайт, потому что иначе их собрать сложно. Во-вторых, из того что я знаю, DHT на практике бутстрапится с корневых серверов (только это большой секрет! 🙂 )}

The cheapest, fastest, and most reliable components of a computer system are those that aren’t there. — G. Bell

Источник

Точка обмена трафиком: от истоков к созданию собственной IX

«We set up a telephone connection between us and the guys at SRI. », Kleinrock… said in an interview:
«We typed the L and we asked on the phone, „Do you see the L?“»
«Yes, we see the L,» came the response.
«We typed the O, and we asked, „Do you see the O.“»
«Yes, we see the O.»
«Then we typed the G, and the system crashed»…

Yet a revolution had begun.

The beginning of the internet.

Меня зовут Александр, я сетевой инженер в компании Linxdatacenter. В сегодняшней статье речь пойдет про точки обмена трафиком (Internet Exchange Point, IXP): о том, что предшествовало их появлению, какие задачи они решают и как строятся. Также в данной статье я продемонстрирую принцип работы IXP с помощью платформы EVE-NG и программного маршрутизатора BIRD, чтобы было понимание, как это работает «под капотом».

Немного истории

Если посмотреть сюда, то можно заметить, что бурный рост количества точек обмена трафиком начался в 1993 году. Это связано с тем, что большинство трафика существовавших на тот момент операторов связи проходило через backbone-сеть США. Так, например, когда трафик шел от оператора во Франции до оператора в Германии, он из Франции сначала попадал в США, и только потом из США в Германию. Backbone-сеть в данном случае выступала транзитом между Францией и Германией. Даже трафик внутри одной страны часто проходил не напрямую, а через опорные сети американских операторов.

Такое положение вещей сказывалось не только на стоимости доставки транзитного трафика, но и на качестве каналов и задержке. Количество пользователей сети Интернет увеличивалось, появлялись новые операторы, объем трафика возрастал, интернет взрослел. Операторы по всему миру начали понимать, что нужен более рациональный подход к организации межоператорского взаимодействия. «Зачем мне, оператору А, платить за транзит через другую страну, чтобы доставить трафик оператору Б, который располагается на соседней улице?». Примерно такой вопрос задавали себе операторы связи в то время. Так, в разных частях мира в точках концентрации операторов начали появляться точки обмена трафиком:

Интернет и наши дни

Концептуально архитектура современного интернета представляет из себя множество автономных систем (autonomous system, AS) и множество связей между ними, как физических, так и логических, которые определяют путь прохождения трафика от одной AS к другой.

В качестве AS обычно выступают операторы связи, интернет-провайдеры, CDN, дата-центры, компании энтерпрайз сегмента. AS организуют логические связи (peering) между собой, как правило, средствами протокола BGP.

То, как автономные системы организуют эти связи, определяется рядом факторов:

Схематически это можно представить так:

На данной картинке видно, что трафик агрегируется снизу вверх, т.е. от конечных пользователей к tier-1 операторам. Также имеет место горизонтальный обмен трафиком между примерно равнозначными между собой AS.

Неотъемлемой частью и одновременно недостатком данной схемы является некая беспорядочность связей между автономными системами, располагающимися ближе к конечному пользователю, в пределах географической зоны. Рассмотрим картинку ниже:

Предположим, что в крупном городе присутствует 5 операторов связи, пиринг между которыми, по тем или иным причинам, организован, как показано выше.

Если пользователь Петя, подключенный к интернет-провайдеру Go, захочет получить доступ к серверу, подключенному к провайдеру ASM, то трафик между ними будет вынужден проходить через 5 автономных систем. Таким образом увеличивается задержка, т.к. увеличивается количество сетевых устройств, через которые пойдет трафик, а также объем транзитного трафика на автономных системах между Go и ASM.

Как сократить количество транзитных AS, которые вынужден проходить трафик? Правильно – точка обмена трафиком.

В наши дни появление новых IXP обусловлено все теми же потребностями, что и в начале 90-х-2000-х, только в более мелком масштабе, в ответ на увеличивающееся количество операторов связи, пользователей и трафика, растущее количество контента, генерируемого CDN-сетями и дата-центрами.

Что такое точка обмена трафиком?

Точка обмена трафиком – это место со специальной сетевой инфраструктурой, где заинтересованные во взаимном обмене трафиком участники, организуют взаимный пиринг. Основные участники точек обмена трафиком: операторы связи, интернет-провайдеры, провайдеры контента и дата-центры. В точках обмена трафиком участники соединяются между собой напрямую. Это позволяет решить следующие задачи:

Если вышеописанную ситуацию с Петей решать с помощью IXP, то получится примерно так:

Как устроена точка обмена трафиком?

Как правило, IXP – это отдельная AS со своим блоком публичных IPv4/IPv6 адресов.

Сеть IXP чаще всего представляет из себя сплошной L2 домен. Иногда это просто VLAN, в котором размещаются все клиенты IXP. Когда же речь идет о более крупных, географически распределенных IXP, то для организации L2 домена могут использоваться такие технологии, как MPLS, VXLAN и т.д.

Элементы IXP

Например, хорошей практикой является пропуск трафика только с определенного mac-адреса участника IXP, который обговаривается заранее. Запрет трафика с полями ethertype, отличающимися от 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); это делается для того, чтобы отфильтровать трафик, которому нет места при BGP-пиринге. Также могут применяться такие механизмы как GTSM, RPKI и т.д.

Пожалуй, вышеперечисленное – это основные составляющие любой IXP вне зависимости от масштаба. Конечно, у крупных IXP могут применяться дополнительные технологии и решения.
Бывает, что IXP также предоставляет своим участникам дополнительные сервисы:

Принцип работы

Разберем принцип работы точки обмена трафиком на примере простейшей IXP, смоделированной средствами EVE-NG, а после рассмотрим базовую настройку программного маршрутизатора BIRD. Для упрощения схемы мы опустим такие важные вещи, как резервирование и отказоустойчивость.

Топология сети представлена на рисунке ниже.

Предположим, что мы администрируем небольшую точку обмена трафиком и предоставляем следующие варианты пиринга:

50.50.50.254 – IP-адрес, настроенный на интерфейс route server’а, с данным IP клиенты будут устанавливать BGP-сессию в случае пиринга через RS.

Также для пиринга через RS мы разработали простейшую политику маршрутизации на основе BGP community, которая дает возможность участникам IXP регулировать кому и какие маршруты отправлять:

Базовая настройка BGP на маршрутизаторе клиента:

Здесь стоит отметить настройку no bgp enforce-first-as. По умолчанию, BGP требует, чтобы в as-path принимаемого BGP апдейта, присутствовал номер as bgp пира, от которого данный апдейт был получен. Но поскольку route server не вносит изменения в as-path, его номер будет отсутствовать в as-path и апдейт будет отброшен. Данная настройка применяется, чтобы маршрутизатор начал игнорировать данное правило.

Также мы видим, что клиент установил bgp community 555:555 на данный префикс, что согласно нашей политике означает, что клиент хочет анонсировать данный префикс всем остальным участникам.

Для маршрутизаторов остальных клиентов настройка будет аналогичная, за исключением их уникальных параметров.

Пример конфигурации BIRD:

Далее описывается фильтр, который не принимает martians префиксы, а также префиксы самой IXP:

Данная функция реализует политику маршрутизации, которую мы описали ранее.

Настраиваем пиринг, применяем соответствующие фильтры и политики.

Стоит отметить, что на route server’e является хорошим тоном складывать маршруты от разных пиров в разные RIB. BIRD позволяет это делать. В нашем же примере для простоты все апдейты, принятые от всех клиентов, складываются в одну общую RIB.

Итак, проверим, что у нас получилось.

На route server’e видим, что со всеми тремя клиентами установлена BGP-сессия:

Видим, что мы получаем префиксы от всех клиентов:

На маршрутизаторе as 100 видим, что при наличии всего одной BGP-сессии с сервером маршрутов, мы получаем префиксы и от as 200 и от as 300, при этом BGP-атрибуты не поменялись, как если бы пиринг между клиентами осуществлялся напрямую:

Таким образом мы видим, что наличие сервера маршрутов значительно упрощает организацию пиринга на IXP.

Надеюсь, что данная демонстрация помогла вам лучше понять, как устроены точки обмена трафиком и как реализуется работа сервера маршрутов на IXP.

Linxdatacenter IX

В Linxdatacenter мы построили собственную IXP на базе отказоустойчивой инфраструктуры из 2-х коммутаторов и 2-х route-серверов. Сейчас наша IXP запущена в тестовом режиме, и мы приглашаем всех желающих подключиться к Linxdatacenter IX и принять участие в тестировании. При подключении вам будет предоставлен порт с пропускной способностью 1 Gbit/s, возможность пиринга через наши route-сервера, а также доступ в личный кабинет IX-портала, доступного по адресу ix.linxdatacenter.com.

Пишите в комментарии или личные сообщения для получения доступа к тестированию.

Вывод

Точки обмена трафиком возникли на заре интернета как инструмент решения вопроса неоптимального прохождения трафика между операторами связи. Сейчас с появлением новых глобальных сервисов и увеличением количества CDN трафика точки обмена все также продолжают оптимизировать работу глобальной сети. Увеличение количества IXP в мире несет пользу как для конечного пользователя сервиса, так и для операторов связи, операторов контента и т.д. Для участников IXP выгода выражается в сокращении расходов на организацию внешних пирингов, сокращении количества трафика, за который приходится платить вышестоящим операторам, оптимизации маршрутизации, возможности иметь прямой стык с операторами контента.

Источник