Оптимизация пиринга BGP для снижения затрат и повышения качества обслуживания: Качество обслуживания и прибыльность интернет-сервис-провайдеров сегодня во многом зависит от правильной оптимизации трафика и взаимодействия с другими сетями. Недостаток данных и инструментария не позволял провайдерам принимать информированные и оптимальные решения в этой области. Сегодня же имеется целый ряд способов оптимизации пиринга, позволяющих сократить затраты на транзит, не снизив, а возможно, и повысив качество услуг.
Принятие информированных пиринговых решений повышает качество обслуживания и прибыльность работы всех провайдеров услуг – от крупнейших до региональных и более мелких. Например, когда транзитная пропускная способность провайдера подходит к концу, он должен решить, стоит ли наращивать мощность существующих каналов, добавить новый канал к тому же провайдеру в другом месте или использовать пиринг с совершенно новым провайдером.
Исторически у провайдеров не было сетевых данных, необходимых для принятия таких решений. Сегодня же имеется целый ряд способов оптимизации пиринга BGP (Border Gateway Protocol), позволяющих сократить затраты на транзит, не снизив, а возможно, и повысив качество обслуживания.
Рис. 1. Маршруты BGP по соседним и исходным AS
В настоящей статье мы рассмотрим распространенные типы политик и операционных ограничений, влияющих на деловые связи между провайдерами, а также то, как традиционные сетевые инструменты мешают принимать информированные пиринговые решения. Затем мы обсудим две задачи, необходимые для оптимизации пиринга и ставшие возможными благодаря развитию технологий анализа маршрутов.
Как работает пиринг BGP
Пиринг в сфере интернет-маршрутизации весьма сложен. И для создания пиринга, и для пиринговых отношений между провайдерами аналогичного уровня используется протокол BGP. Он соединяет друг с другом автономные системы (AS). С помощью BGP пограничный маршрутизатор одной AS устанавливает пиринг с пограничным маршрутизатором другой AS, а затем эти маршрутизаторы обмениваются друг с другом известными маршрутами. Если маршрутизатор сообщает пиру о том или ином маршруте, то пир может пересылать по этому маршруту пакеты в его точку назначения. Пакеты транзитом передаются в следующую AS, откуда либо доставляются до точки назначения (если она локальная), либо пересылаются в следующую AS. Объявляя маршрут, AS разрешает другой AS использовать свои ресурсы для транзитной пересылки пакетов. То, какие именно маршруты будут объявлены, регулируется ограничениями политик, и они же определяют характер деловых связей между AS.
Между различными AS обычно применяются ограничения политик двух типов, соответствующие двум бизнес-моделям:
Провайдер – клиент
Отношения вида «провайдер – клиент», как правило, используются между провайдерами и обслуживаемыми ими предприятиями, либо между провайдерами регионального и глобального уровня. Клиент платит провайдеру за транзит пакетов до места назначения (и обратно). Обычно сумма оплаты пропорциональна объему пересылаемого трафика. В этом случае провайдер объявляет клиентам все известные ему маршруты.
Равноправные узлы (пиринг)
При пиринге, как правило, пересылка трафика друг друга осуществляется бесплатно. Преимущество каждого провайдера в том, что для пользователя качество услуги повышается, так как сокращается задержка при обращении к сервисам другого провайдера. Каждая AS объявляет другим AS только свои собственные маршруты (включая маршруты клиентов). В этом случае AS может использовать ресурсы следующей AS только для транзита трафика, адресованного внутри этой AS, или ее клиентов. Иными словами, следующая AS не выполняет передачу пакетов третьим сторонам.
Крупные провайдеры с глобальным охватом – так называемые провайдеры высшего уровня (также называемые Tier-1 — прим. ред.) – как правило, заключают пиринговые соглашения друг с другом. Любой провайдер значительно сэкономил бы на транзите, если бы смог организовать пиринг на этих условиях с провайдерами высшего уровня. Но для пиринга AS высшего уровня обычно требуют от потенциальных партнеров:
- географического охвата, дополняющего охват самого провайдера;
- возможности и желания осуществлять пиринг в нескольких географически разнесенных местах;
- обмена трафиком между собой и потенциальным партнером примерно в равной пропорции;
- и ряд других операционных требований.
В результате большинство AS, включая региональных провайдеров, вынуждено платить за транзит. Аналогично большинство предприятий покупают транзит у региональных провайдеров или провайдеров высшего уровня.
Однако даже у самых маленьких провайдеров есть возможность пиринга. Они могут объединяться с другими мелкими провайдерами в своем регионе или же с провайдерами контента (которым это также принесет снижение затрат и повышение качества для пользователей). Но такое сотрудничество имеет смысл, только если две AS обмениваются значительными объемами трафика. Экономия на транзите должна оправдывать затраты на прямой канал между двумя AS (и остальную инфраструктуру, например, оптические порты и кросс-соединения).
Выгодный вариант пиринга между AS предоставляют точки обмена трафиком IXP (Internet Exchange Point: такая точка представляет собой т.н. колокацию, где несколько AS держат свои маршрутизаторы, устанавливают пиринг BGP и обмениваются трафиком друг с другом через локальную сеть точки обмена).
Заметим, что и для провайдеров высшего уровня решения о пиринге непросты. Пусть, например, провайдер A – вымышленный провайдер высшего уровня, имеющий очень развитую сеть в России, – получает запрос о пиринге в Москве от провайдера В – другого провайдера высшего уровня, который в России представлен хуже. Если провайдер А одобрит этот запрос, не разобравшись в последствиях, он может потерять конкурентное преимущество.
Провайдеру A важно знать, будет ли московский трафик симметричным в обоих направлениях. Если провайдер В будет передавать транзитом больше трафика, чем провайдер А, тот окажется в невыгодном положении, так как за транзит ни один из участников денег не берет. А провайдер В при этом еще и улучшит обслуживание своих пользователей, для которых снизится задержка при обмене данными с другими точками в России.
Принятие информированных решений о пиринге
Принятие информированных пиринговых решений важно для всех провайдеров – от крупнейших до региональных и более мелких. Оно влияет на прибыль каждого из них. Для принятия информированных решений о пиринге провайдерам нужно две вещи.
Добиться информированности о трафике
Во-первых, и это главное: провайдеру необходимо знать все о трафике, включая следующие аспекты:
- Сколько трафика принимается от его провайдеров, пиров и клиентов (например, соседних AS) и сколько передается к ним.
- Куда идет этот трафик или откуда он исходит (исходные и целевые AS).
- Через какие еще AS этот трафик проходит по пути (транзитные AS).
Добившись такой информированности о трафике, провайдер может оптимизировать пиринг BGP так, чтобы снизить затраты на транзит. Вот пример такой ситуации: образовательная сеть в США обнаружила, что значительная часть ее трафика направляется к местному провайдеру кабельного Интернета. Ничего удивительного в этом не было: ученики и учителя обращались к школьным ресурсам из дома. Образовательная сеть организовала пиринг с кабельным провайдером, и обе стороны снизили затраты на транзит.
Смоделировать эффект изменений пиринга
Во-вторых, провайдеру необходимо смоделировать эффект изменений пиринга. Например, обдумывая изменение пиринга, провайдер должен решить, следует ли ему:
- Нарастить пропускную способность существующих каналов.
- Добавить новый канал к тому же провайдеру в другом месте; или
- Использовать пиринг с совершенно новым провайдером.
Чтобы выяснить, что будет выгоднее, инженерам нужно смоделировать изменения в рабочей сети и проверить, как именно они повлияют на состояние маршрутизации и трафик, чтобы избежать неожиданностей.
Недостатки традиционных инструментов управления пирингом
Создание выгодных пиринговых отношений и постоянный их мониторинг – дело сложное и трудоемкое. Инженерам по пирингу приходится непрерывно отслеживать входящий и исходящий трафик, чтобы решить, имеет ли смысл пиринг с другими автономными системами, а если да, то с какими именно.
Без непрерывного мониторинга переключение прямого пира на пиринг выше по потоку может вызвать непредвиденные изменения. При всплеске внешнего трафика важно быстро определить его источник и точку назначения, а также то, пиринговая ли это проблема или последствия изменений маршрутизации IGP (внутренний протокол маршрутизации — прим. ред.). При наплыве или спаде префиксов, а также тогда, когда AS сообщает об аномальных префиксах, необходимо тут же оповестить операционные команды, чтобы выполнить триаж инцидента и избежать прерывания обслуживания или угрозы безопасности.
В прошлом у сетевых инженеров не было полной информации и инструментов для управления интернет-пирингом. Им мешали неполные данные о трафике и маршрутизации, изолированный анализ данных и статические инструменты моделирования. Хотя и возможно получить информацию о трафике, используя технологии аналитики потока, у анализа данных о трафике, собранных с отдельных маршрутизаторов, есть свои пределы.
Например, инструменты анализа трафика работают, анализируя данные о потоке, экспортируемые маршрутизаторами по технологиям IPFIX, NetFlow, J-Flow, NetStream и пр. Эти данные собираются по интерфейсам и, как правило, содержат метки MPLS, исходные и целевые IP-адреса, класс обслуживания и протокол IP, номера портов транспортного уровня, время старта и длительность потока, а также количество переданных байтов. В некоторых вариантах указываются также ограниченные данные о номерах исходных и целевых AS. Большинство инструментов анализа потока могут суммировать объемы трафика по этим потокам для каждого исходного и целевого IP-адреса, порта и номера AS, генерируя отчеты по N крупнейших источников/получателей для каждого интерфейса, откуда экспортируются данные потока.
Однако обычные инструменты анализа трафика не умеют определять каждый путь, от источника до цели, для каждого потока в сети. А эти данные жизненно важны для управления и мониторинга сетей, использующих пиринг. Провайдерам необходимо легко и просто понимать, как входящий пиринговый трафик влияет на маршрутизацию в собственной сети провайдера.
Например, всплеск трафика может перегрузить те или иные каналы и вызвать изменение маршрутов IGP. Но этой важной информации о трафике и его поведении просто нет. Нечего и говорить, что для оценки требований пиринга, отслеживания внешнего трафика и устранения неполадок необходимы телеметрия в реальном времени и мощные аналитические инструменты. Добившись полной видимости трафика по путям маршрутизации, провайдеры могут принимать информированные решения и затем оптимизировать свой пиринг BGP. Последние инновации в области аналитики маршрутизации и трафика дают гораздо более цельную картину пиринговых отношений, а также позволяют моделировать изменения пиринга и точно прогнозировать их эффект.
Аналитика маршрутизации и трафика, помогающая принимать решения о пиринге
Чтобы «видеть» трафик и моделировать эффект изменений пиринга, сетевым инженерам нужно уметь анализировать и моделировать маршруты и политики BGP, а также маршруты IGP и топологию сети провайдера. Новые технологии аналитики маршрутов показывают путь для каждого потока – точно и экономично.
Объединив анализ маршрутизации и анализ трафика для записей обо всех принимаемых потоках, можно вычислить полный путь – как вперед, к точке назначения, так и назад, к источнику потока. Этот путь будет включать каналы и маршруты в сети, а также внешние каналы, соседние AS выше и ниже по потоку, транзитные AS, исходную и целевую AS.
Этот подход имеет целый ряд преимуществ. Во-первых, трафик становится гораздо лучше видим. Во-вторых, становится виден трафик даже для каналов, из которых данные потока не экспортируются. Например, региональный провайдер, имеющий дело, главным образом, с интернет-трафиком, сможет отслеживать только свои внешние каналы, а аналитика маршрутизации рассчитает потоки трафика по внутренним каналам и построит их карту. И в-третьих, упрощается обнаружение дублированных потоков, благодаря чему один и тот же поток, экспортированный на нескольких каналах, будет учтен только один раз в каждом отчете (это часто называется дедупликацией потоков – англ. flow de-duplication).
Видимость политик BGP
Как мы уже отмечали, политики BGP напрямую влияют на объемы пирингового трафика. Аналитика маршрутизации покажет, правильно ли текущие конфигурации маршрутизаторов реализуют политики BGP, путем проверки динамического набора маршрутов BGP. Инженеры могут просматривать результаты по пирам и маршрутизаторам следующего шага, соседним, транзитным, исходным и целевым AS, метрикам local preference и значениям MED, а также по сообществам BGP. На рис. 1 показано число маршрутов, объявленных каждой соседней AS, плюс число маршрутов, исходящих из каждой исходной AS.
Из таких записей можно визуализировать или перечислить соответствующий набор маршрутов. На рис. 2 визуализируются маршруты, для которых исходной AS служит AS 15169, принадлежащая Google. Т.е. показано, как от данного провайдера добраться до Google. Граничных маршрутизаторов пять, они промаркированы rtr1–rtr5. Все граничные маршрутизаторы, кроме rtr1, осуществляют прямой пиринг с Google. Кроме того, rtr1, rtr2 и rtr4 могут обмениваться трафиком с Google через компанию Level 3 Communications. BGP предпочитает маршруты с более короткими путями AS, поэтому он требует использовать маршрутизаторы с прямым пирингом. Эти маршруты показаны жирными линиями. Чем жирнее линия, тем больше предпочтительных маршрутов идет по этому соединению.
Рис. 2. Маршруты BGP по соседним и исходным AS.
Обратите внимание, что из 138 префиксов Google восемь доступны только через Level 3 Communications. Эти префиксы перечислены на рис. 3. Тут же возникает ряд вопросов: это сознательная политика или результат неправильной конфигурации? И за какой объем трафика отвечают эти префиксы (т.е. за какой объем транзита провайдер платит Level 3 Communications)?
Рис. 3. Восемь префиксов доступны только через Level 3 Communications
Данные о трафике
На рис. 4 показан весь трафик в сети регионального провайдера за неделю. Видны типичные суточные колебания: каждый день около полудня наблюдается пик, а по выходным объем трафика гораздо ниже, чем в рабочие дни.
Рис. 4. Общий трафик сети.
Отчеты о трафике по исходным и целевым AS показывают, откуда поступает трафик и куда он следует – см. рис. 5. Здесь имеется множество настраиваемых статистических показателей, но на скриншоте показаны среднее значение за 5 минут и объемы для 95-й перцентили: суточные, недельные и месячные. Для шести первых исходных AS на рисунке 6 показана вариация трафика для той же самой недели.
Рис. 5. Трафик исходных и целевых AS.
Для этой сети крупнейшей исходной AS является Google. Можно ли установить прямой пиринг с Google? Провайдер из примера действительно находится в пиринге с Google, т.е. экономит на транзите трафика Google – 13 Гбит/с. Кстати, отчет о трафике по исходным AS не ограничивается N первых строчек. Хотя пиринг с несколькими крупнейшими AS и дал бы самый значительный выигрыш в стоимости транзита, это не всегда возможно из-за географических расстояний. Более практичным может оказаться пиринг с AS ниже по списку.
Рис. 6. Недельный трафик по шести крупнейшим исходным AS.
Или, возможно, найдется другая AS, которая может взять на себя транзит (платный или бесплатный на взаимовыгодной основе) трафика многих исходных AS из списка. Эти возможности представлены в отчетах по трафику AS выше и ниже по течению, как показано на рис. 7.
Рис. 7. Отчеты по трафику AS выше и ниже по течению.
Для регионального провайдера, где большая часть трафика поступает из Интернета, в принятии решений о пиринге главную роль играет отчет о трафике выше по течению. Отметим, что несмотря на то, что технология маршрутизации однозначно определяет исходную AS потока, путь, проходимый этим трафиком, зависит от политик исходной AS и транзитных AS по пути следования.
Эта информация не распространяется непосредственно в BGP, поэтому обычная аналитика маршрутизации тут не поможет. Новые технологии анализа маршрутизации используют комбинаторную разведку путей AS, происходящую во время сходимости BGP, и создают граф AS в Интернете, учитывающий политики. Таким образом, становится возможным узнать, через какие транзитные AS может проходить трафик каждой исходной AS при прямом пиринге.
Сочетание аналитики маршрутов и трафика также выявляет соседние AS выше и ниже по течению (т.е. прямых пиров), с разбивкой на отдельные внешние каналы и сообщества BGP. Чтобы добиться еще большей детализации, можно определить группы трафика на основе исходного и целевого IP-адресов. Такие отчеты помогут понять, пришла ли пора увеличить пропускную способность пиринговых каналов.
Рис. 8. Проекция потока на его путь.
Даже если данные потока экспортируются только для пиринговых каналов, аналитика маршрутизации может проецировать эти потоки по внутренним каналам в сети. Иллюстрация приведена на рис. 8. После проекции всех потоков высчитываются итоговые данные использования всех внутренних каналов – на рис. 9 они показаны с цветовыми кодами по загруженности каналов на топологической карте.
Рис. 9. Уровни трафика по внутренним каналам.
Моделирование трафика
При принятии решений о пиринге нужен инструмент планирования, чтобы моделировать изменения маршрутизации, например, добавлять пиринг BGP. Моделирование трафика на базе аналитики маршрутизации очень облегчает такое планирование, так как модель в его основе включает пути потоков. При изменении путей в модели аналитика маршрутизации может вычислить сравнительные объемы трафика до и после изменения на внутренних и внешних каналах и AS.
Такое моделирование осуществляется практически мгновенно, в отличие от обычных инструментов планирования, требующих нескольких часов или дней для того, чтобы построить точную модель сети. Эта модель основана на событиях маршрутизации IGP и BGP, а потому всегда точна и доступна в реальном времени. Помимо добавления и отказов каналов, префиксов и маршрутизаторов, технология аналитики маршрутизации позволяет моделировать добавление и отказы пирингов BGP.
Рис. 12. Объемы трафика по целевым AS до и после изменения.
Диалоговое окно на рис. 10 иллюстрирует вышесказанное. Добавляя пира BGP, можно автоматически выбрать маршруты, которые будут объявляться новым пиром, например, все маршруты, у которых номер AS этого пира значится в атрибуте BGP AS-path. Как видно на рис. 11, политики можно детализировать и дальше.
Рис. 10. Добавление нового пира BGP.
Рис. 11. Тонкая настройка политик BGP путем изменения значений атрибута BGP Local-Pref
Впоследствии для каждого отчета о трафике выдается сравнительное представление «до» и «после». Например, на рисунке 12 приведен отчет по целевым AS после моделирования изменений, приведенных на рисунке 10 (в топологии малой лаборатории). Объемы трафика не изменились, но весь трафик перенаправлен в новое пиринговое расположение, как видно в последнем столбце отчета.
Благодаря недавним инновациям стало возможно регистрировать и сохранять все события маршрутизации и рассчитанные пути трафика в высокопроизводительной базе данных. Поэтому стало возможно воспроизводить события маршрутизации и трафика для диагностики первопричин проблем. Например, можно «перемотать назад» время в сети до момента, когда канал стал перегружен, и проанализировать трафик в канале. Можно увидеть, откуда и куда шел этот трафик, какой путь он использовал, а главное – какие политики нужно применить, чтобы избежать подобных перегрузок.
Другие преимущества анализа трафика и маршрутизации
Применение этой технологии не ограничивается анализом пирингового трафика BGP. Новые технологии понимают VPN BGP/MPLS IP уровня 3, а также псевдопроводные VPN уровня 2 типа Martini. Для каждого VPN-сервиса и каждого заказчика дается полная информация о том, где трафик входит в сеть, по каким путям он следует и где выходит из сети. На основе этой информации можно генерировать матрицы трафика. Пример такой матрицы, сочетающий в себе интернет-трафик и трафик VPN уровней 2 и 3, приведен на рис. 13.
Можно также отслеживать туннели RSVP-TE, вместе с их путями и объемом передаваемого по ним трафика. Можно выполнять анализ отказов и выяснять, достаточна ли пропускная способность маршрутов быстрой перемаршрутизации или вторичных маршрутов для того, чтобы справиться с дополнительным трафиком при отказе. Отчеты для туннелей показывают минимальные, средние, максимальные значения и значения 95-й перцентили по дням, неделям и месяцам. Эти данные можно использовать в конфигурациях маршрутизаторов для более точного резервирования пропускной способности туннелей.
Для многоадресной (multicast) маршрутизации можно отслеживать все деревья PIM (Protocol Independent Multicast) в сети. Также можно проецировать многоадресный трафик по сетевым каналам, чтобы понять его поведение. IPTV и подобные приложения вносят в сеть большой объем многоадресного трафика. Планирование трафика без учета многоадресных пакетов теперь уже нельзя назвать ни реалистичным, ни приемлемым.
Благодаря недавним инновациям стало возможно регистрировать и сохранять все события маршрутизации и рассчитанные пути трафика в высокопроизводительной базе данных. Поэтому стало возможно воспроизводить события маршрутизации и трафика для диагностики первопричин проблем. Например, можно «перемотать назад» время в сети до момента, когда канал стал перегружен, и проанализировать трафик в канале. Можно увидеть, откуда и куда шел этот трафик, какой путь он использовал, а главное – какие политики нужно применить, чтобы избежать подобных перегрузок.
Правильный анализ пиринга
Благодаря развитию технологий аналитики трафика и маршрутизации провайдеры могут устанавливать и поддерживать такие пиринговые отношения, которые им наиболее выгодны. Полная информированность о трафике – в том числе и о точных путях каждого потока в сети – и интерактивное моделирование изменений помогают снизить затраты на транзит и повысить качество обслуживания. Инженеры и планировщики могут увидеть объемы трафика BGP по каждому пиру, его источники и пункты назначения, точки входа и выхода, транзитные AS в реальном времени и в каждый прошедший момент. Операционный мониторинг в реальном времени и исторический анализ помогают NOC своевременно управлять доставкой сервисов, профилактически решая проблемы. Возможности моделирования позволяют точно прогнозировать эффект предлагаемых изменений на трафик, снижая вероятность ошибок планирования и конфигурации.
Структура Интернета не является древовидной: здесь нету главного маршрутизатора, который обрабатывает весь трафик. Сеть Интернет состоит из огромного числа связей между различными операторами и провайдерами. Существует два вида связей: аплинк и пиринг. В этой статье мы рассмотрим что такое пиринг.
Пиринг (от англ. peer — соседство) — это договоренность двух операторов связи (или провайдеров) о взаимном обмене трафиком. Это соглашение реализуется технически и включает в себя:
1. Непосредственно физическое соединение сетей (стык сетевого оборудования двух операторов)
2. Взаимный обмен информацией по протоколу BGP (настройка BGP на сетевом оборудовании)
Главное преимущество пиринга состоит в том, что это бесплатно или очень дешево для обеих сторон. Достигается это за счет того, что оба оператора заинтересованы в обмене трафика. В свою очередь, аплинк — это стык с крупным провайдером, который предоставляет доступ в Интернет. За такой стык оператор будет платить деньги, потому что провайдер имеет большую сеть и трафик там, соответственно, тоже крупный. Провайдер, который предоставляет интернет называется Tier 1. Tier 1 — оператор, который не имеет аплинков, но при этом имеет хорошую связность между другими операторами связи. За эту связность ему платят.
Исходя из вышеизложенного, становится понятно, что наилучший вариант — это пиринг, потому что он позволяет экономить значительную сумму средств. Однако на практике не все так просто. Чтобы организовать пиринг между двумя операторами нужна дорогая инфраструктура. К примеру граничный маршрутизатор Juniper MX480 стоит около 26000 долларов.
Операторы, участвующие в пиринге, могут контролировать трафик, что позволяет контролировать такие параметры как, например, задержка и потеря пакетов. В случае с аплинком пакет будет посылаться в сеть через транзитное соединение и трафик уходит в Интернет через любой маршрут.
Места, в которых физически организуется стык, называются IX (Internet EXchange) — дословно Интернет-биржа. Это уютные серверные, в которых организуются соединения между операторами.
Виды пиринга:
1. Прямое кабельное соединение между операторами. Минусы: потребует затрат на «последние мили» между пирами
2. Публичный пиринг — осуществляется на базе точек обмена трафиком. В качестве такой точки выступает коммутатор Ethernet (или стек коммутаторов), к которому подключаются все сети.
3. Приватный пиринг — два оператора находятся в одном дата-центре и подключаются друг другу напрямую кабелем. Этот вариант сочетает в себе два предыдущих.
Существуют также разные виды договоренностей о пиринге:
1. Глобальный — обмен трафиком происходит от любого клиента оператора А до любого клиента оператора B
2. Частичный — обмен трафиком происходит между определенными клиентами и в определенном регионе
3. Платный — когда связность оператора А больше связности оператора B, второй платит первому за пиринг.
Что нужно чтобы организовать пиринг
Существует ряд вещей, без которых невозможно организовать пиринг межу операторами. Первое и самое важное — это точка подключения. Для этого может потребоваться граничный маршрутизатор, либо последняя миля Ethernet, соединяющая ваше оборудование и коммутатор точки обмена трафика. При этом потребуется оплатить порт на коммутаторе, аренду/покупку дата-центра или последнюю милю. Также потребуются специалисты, которые будут настраивать и мониторить все это оборудование.
Прочитав эту статью, я думаю вы уяснили для себя, что такое пиринг.
На сегодняшний день в царстве интернет- и контент-провайдинга пиринг остаётся одним из ключевых способов повышения эффективности своей операционной деятельности (читай – возможность зарабатывать больше). Что это такое – пиринг? По сути, это соглашение между операторами о предоставлении друг другу связности со своими клиентами на паритетных началах.
Провайдеры могут быть заинтересованы в пиринге по двум основным причинам:
- Пиринг уменьшает зависимость от покупаемого транзита трафика, и, соответственно, операционные расходы. Для любого оператора в стоимости предоставляемых услуг цена транзита является основополагающей составляющей, а посему каждый провайдер старается её минимизировать, ибо это живые деньги. А иногда вышестоящий оператор просто технически не в состоянии предоставить транзит с нужными характеристиками — нет порта, нет ёмкости и т. п.
- Пиринг уменьшает задержки в передаче трафика между автономными системами (AS). Трафик, текущий напрямую между двумя пирящимися сетями, должен бы идти быстрее, чем окольными маршрутами.
Чтобы не было недопонимания, проясним определения.
- Интернет – сеть сетей, взаимосвязанных друг с другом при помощи пиринга и транзита трафика, и коллективно составляющих глобальную пиринговую систему .
- Глобальная пиринговая система состоит из ряда интернет-регионов (примерно совпадающих с границами государств), в свою очередь составляющих региональные пиринговые системы .
- Региональная пиринговая система – объединение интернет-провайдеров , сети которых имеют общие связи.
- Интернет-провайдер (ISP) соединяет своих клиентов (физические лица, предприятия, другие операторы) с интернетом, т. е. с другими, не принадлежащими ему, сетями. Собственно, в этом весь смысл его существования – предоставление возможности связаться с сетями других контор.
Транзит
Договор, в котором один из участников (ISP) предоставляет другому (обычно за деньги) доступ ко всем маршрутам в своей табличке. Транзит – эдакая дверь с шильдиком "Интернет" и кассой на входе. Заплатил – вошёл. Т. е. когда вы платите за наличие доступа в интернет в своей квартире – вы платите своему прову за транзит.
На вышеприведённом рисунке некий Интернет-провайдер покупает транзит у Транзитного оператора 1 (в просторечьи - у апстрима), который, в свою очередь, анонсирует в сеть Интернет-провайдера все известные ему маршруты (сети с A по E). В то же время апстрим анонсирует маршруты Интернет-провайдера всем своим клиентам и партнёрам, делая его сеть доступной для них. На выходе получаем обоюдную связность сетей Интернет-провайдера с внешними сетями, читай – Интернетом.
Некоторые особенности:
- Транзит – обычная услуга с точки зрения клиента. Всё, что от него требуется – оплатить транзит и получить доступ в Интернет. Транзитный оператор выставляет счёт за услугу на основе некой измеряемой характеристики – обычно это "мегабит в секунду".
- К участникам транзита применимы понятия "поставщик" и "потребитель", со всеми проистекающими отсюда плюсами и минусами. Так, некоторые контент-провайдеры предпочитают вместо бесплатного пиринга покупать транзит, аргументируя это тем, что оплаченная услуга лучше качеством, чем халява. Они считают, что потеряют гораздо больше денег в случае обрыва пирингового линка или из-за его неадекватной производительности.
- У транзита может быть SLA (Service Level Agreement, соглашение о качестве обслуживания). Договор с денежными штрафами за нарушение SLA может выглядеть удобным выходом, но в большинстве случаев ISP рассматривают SLA лишь как некий страховой полис. Поскольку обычная практика — предоставлять услугу с SLA по повышенной цене, тем самым пропорционально покрывая свои финансовые потери в случае нарушения SLA. Клиент, в свою очередь, ещё должен убедиться, что SLA действительно имеет место и применяется к покупаемой услуге. Для оператора же SLA зачастую всего лишь способ увеличить свою маржу без необходимости улучшать услугу.
- Там, где деньги – есть и скидки. Апстримы часто применяют существенные скидки на закупаемые объемы трафика. Т. е. при покупке 10 Гб/с ежемесячно стоимость гигабита будет гораздо ниже, чем при покупке 1 Гб/с. И здесь тоже определённая выгода оператора — вряд ли вы будете круглосуточно гонять в канале именно столько трафика, сколько вы купили по полосе. Как правило, средняя величина гораздо ниже и канал забивается только в часы наибольшей нагрузки.
- Транзит по своей сути является товаром. Не утихают споры по поводу того, чем транзит у дешёвого оператора отличается от транзита дорогого оператора. Дорогие операторы аргументируют своё превосходство наличием лучшего оборудования.
- Транзит — измеряемая услуга. Чем больше вы передаёте или принимаете трафика, тем больше вы платите. На самом деле существуют разные модели расчетов, но в любом случае транзитный трафик измеряется и учитывается.
Итак, зачем же нужно что-то ещё, окромя транзита? В основном, по двум причинам (технической и финансовой). Не нужно объяснять, что плата за транзит будет только увеличиваться с ростом трафика. Многие операторы на сегодняшний день закупают транзит десятками гигабит/с. И даже с современным уровнем цен (а за последние лет 15 они упали более чем в 1000 раз) стоимость транзита является весьма затратной. И тут на сцену выходит пиринг.
Пиринг
Договор двух операторов, по которому они взаимно предоставляют друг другу доступ к сетям своих клиентов. Это в равной мере относится и к интернет-провайдерам, и к контент-провайдерам.
Упрощённая схема организации пиринга между провайдерами представлена ниже:
В результате обмена маршрутами провайдер А получает доступ к клиентам провайдера B, и наоборот. Аналогично, провайдеры B и С получают доступ к клиентам друг друга. При этом провайдеры A и С, не связанные пиринговым соглашением, доступа к клиентам друг друга не имеют. Они могут его купить в виде транзита у провайдера B. Таким образом, смысл пиринга в его бестранзитности , т. е. участники пиринга получают доступ только к сетям своего партнёра, но не к сетям других операторов через сети этого партнёра.
Обычно пиринг бесплатен, при условии, что оба участника участвуют на равных и получают равнозначную выгоду. Иногда условия обмена трафиком могут быть неравнозначными, и один из участников проталкивает другому платный пиринг (например, с оплатой за физический транспорт, или, скажем, за размещение оборудования).
Но это всё уже детали бизнеса, на суть пиринга не влияющие. А суть его, повторюсь, такова: возможность обмениваться трафиком с другой автономной системой напрямую и а) забесплатно; б) быстрее, чем через сети сторонних операторов.
На самом деле пиринговая экосистема довольно сложна, со своими подводными течениями, политическими конфликтами (читай - борьба за деньги) и прочими увлекательными вещами, но сути вопроса это не меняет — пиринг может быть очень выгодным и финансово, и технически.
В современном мире все мы привыкли иметь возможность делиться интересными сведениями и материалами с друзьями и прочими людьми. Особенно в этом отношении важен интернет, так как именно и предоставляет нам кучу возможностей для осуществления такого рода обмена.
Разные типы информации и передавать можно различными способами. К примеру, сегодня весьма популярна пиринговая сеть (P2P), уникальность которой в способности к передаче практически любого объема данных. Но, разумеется, это далеко не единственная сфера, где эта технология действительно востребована. К примеру, именно на ее основе созданы многочисленные кластеры для распределенных вычислений, использующие мощности удаленных компьютеров.
«Этическая» сторона вопроса
Вообще, в последние годы активно «демонизируется» пиринговая сеть. Что это «опасно» с точки зрения получения вирусов и нелицензионного контента, говорят практически во всех СМИ.
Вот только журналисты отчего-то стыдливо умалчивают, что не менее 70% трафика от протокола Р2Р приходятся на абсолютно законопослушных пользователей и даже целые компании, которые просто разгружают свои серверы, вовлекая в обмен данными рядовые компьютеры. Простой пример: уже давно «Метелица», она же компания Blizzard, использует эти сети для обновления клиентов того же «Варкрафта» и прочих своих игр. Не стоит и упоминать, какое от игроков со всего мира там генерируется!
Но в этой статье пиринговая сеть нами будет рассмотрена именно с позиций приема и передачи файлов, так как рядовым пользователям эта сторона вопроса ближе всего.
Наиболее распространенные программы
Наверняка каждый пользователь хотя бы слышал о некоторых утилитах, посредством которых и осуществляется файловый обмен. У всех на слуху µTorrent и eMule, Shareaza, KaZaA и и другие, которые постоянно упоминаются в связи с передачей той или иной информации в сети интернет. Впрочем, постараемся рассказать о них более упорядочено. Итак, что такое пиринговая сеть? Какова научная расшифровка этого понятия?
Определение
Можно сказать, что сразу после создания компьютеров люди озадачились тем, как можно связывать их в единую систему. Вскоре была придумана технология локальных сетей, активно используемая и по сей день. Но у такого способа связывания компьютеров в единый «организм» есть и свои недостатки. К примеру, в большинстве случаев отдельные машины имеют повышенные привилегии, что допустимо далеко не всегда.
Именно для устранения такой «дискриминации» и была придумана пиринговая сеть, каждый компьютер в которой может не только принимать, но и передавать информацию, работая одновременно в качестве сервера и клиента. Чаще встречается аббревиатура P2P (peer-to-peer), что с английского можно перевести как «от равного к равному». Такие сети еще называют децентрализованными.
Основные принципы работы
Каждый участник — пир. Они и объединяются в глобальную систему, внутри которой осуществляется передача какой-либо информации. От в которой есть сервер и клиент, пиринговые отличаются своей повышенной живучестью: вне зависимости от количества функционирующих пиров, они сохраняют полную работоспособность. Кроме того, нет явной зависимости от сервера.
Давайте приведем «наглядный» пример передачи небольшого файла в такой сети. Данные передаются небольшими кусками, которые называются пакетами. Каждый файл разбивается на множество таких пакетов, которые и скачиваются пользовательской машиной. Порядок их получения особого значения не имеет.
Отличия от стандартной сети
В случае же обычной сети есть сервер, а есть файл, который оттуда можно скачать. Скорость получения данных будет находиться в прямой зависимости как от пропускной способности сервера, так и от его загруженности в каждый конкретный момент. Проще говоря, при наличии огромного количества пользователей, каждый из которых что-то «тянет» с сервера, скорость отдачи может вообще упасть до нуля.
Если же с сервером и вовсе что-то случится, то вся информация сразу станет вам недоступна. И придется заниматься поисками другого источника, с которого можно будет скачивать данную информацию.
Преимущества пиринговой модели передачи данных
Куда совершеннее работает пиринговая сеть. Что это значит? Во-первых, вам не потребуется искать конкретный сервер, с которого идет передача требующегося файла. Достаточно на специальном сайте отыскать файл или магнет-ссылку, которые указывают на его существование. Скачать его можно будет при помощи специальной программы, о некоторых из которых мы уже говорили выше. И основное отличие будет в том, что скачивание может идти одновременно с сотен и тысяч однотипных источников.
Мы уже отмечали, что в этих сетях каждый отдельный компьютер может выполнять одновременно еще и функцию сервера, а потому каждый сегмент является универсальным. Проще говоря, если какие-то пиры вдруг окажутся недоступными, всегда могут выручить компьютеры других людей, на жестких дисках которых наверняка окажется требуемая информация.
Некоторые недостатки пиринговой модели
Мы неоднократно подчеркивали, что основной сферой использования такого рода сетей является обмен данными. Как ни странно, но в мире практически не встречается описанная нами выше пиринговая сеть. Что это означает? Дело в том, что классическая модель имеет не только многие достоинства, но и некоторые критические недостатки.
Наиболее спорным обстоятельством является необходимость поиска в сети пиров, у которых есть тот же самый файл и которые находятся в сети в то же самое время. Именно поэтому была создана гибридная модель. В ней есть своего рода серверы, но отвечают они не столько за передачу данных, сколько за поиск активных пользователей, у которых имеется искомая вами информация. Практически все современные пиринговые сети работают именно за счет использования этой гибридной модели.
Чтобы стать полноправным и полноценным участником такой системы, понадобится инсталлировать на свой компьютер особую программу-клиент, которая будет отвечать за поиск свободных пиров с нужными данными. Заметим, что существует далеко не одна пиринговая сеть. Что это подразумевает?
Наиболее крупные и популярные сети для обмена файлами
Следует помнить, что в интернете существуют сотни и тысячи более мелких, локальных сетей, многие из которых поддерживаются даже региональными провайдерами. Прекрасным примером может служить пиринговая сеть МТС. Конечно, все они используют классическую или гибридную модель работы, подчиняются одним и тем же принципам, но могут использовать совершенно различные протоколы передачи данных, а уж о специфическом программном обеспечении и говорить не стоит.
Наиболее крупными, известными во всем мире, являются следующие Р2Р сети:
ED2K. Передача данных осуществляется по протоколу MFTP. Клиент — известная программа eMule. Уже с 2005 года проект находится в состоянии «хронической смерти», но пока что сеть продолжает стабильно функционировать, пусть даже и скорость передачи данных быстрой никак не назвать.
BitTorrent. Пожалуй, наиболее популярный сегмент пиринговой системы, отличающийся громадным количеством пользователей и высокой скоростью. Имеет огромное количество клиентов, к числу которых относится «эпический» uTorrent, BitComet, а также десятки иных.
Direct Connect. Более специфический вариант, когда хабы, образованные некими группами людей, используются ограниченным (сравнительно) кругом пользователей. Чрезвычайно популярна эта модель в качестве локальной сети провайдера. Основной клиент - DC++.
Gnutella. Вот это самая настоящая, чистая пиринговая система. Используется особый протокол передачи данных, который был создан компанией Nullsoft, разработчиком общеизвестного (хотя и умершего) «Винампа». Какие в этом случае используются клиенты пиринговых сетей? Известна программа Shareaza, LimeWire и прочие.
FastTrack. Также характеризуется «чистой» моделью P2P, но в обмене файлами могут участвовать только те компьютеры, которые имеют их полную версию. Программы - KaZaA, mlDonkey.
Каковы основные преимущества всех этих сервисов? Все просто — никакая настройка пиринговой сети совершенно не требуется. Ставите программу, переходите по «магнитной» ссылке и... вуаля, файл начал качаться!
Основные правила обмена файлами
Учитывая специфику работы этих сетей, не приходится удивляться наличию довольно-таки жестких правил, которые крайне желательно соблюдать. Многие из них просты и логичны. При их невыполнении вам грозит полное исключение из обменного процесса, что влечет за собой невозможность получения нужной информации.
Мы уже не раз говорили, что в основе такой модели лежит принцип равноправия всех участников. Из этого следует, что вам нужно не только скачивать, но и отдавать информацию. В принципе, это едва ли не единственное обязательное условие. Вас это не устраивает? Что ж, тогда к вашим услугам — многочисленные сервисы обмена информацией, построенные по стандартной архитектуре сервер-клиент.
Вот только ни одна программа для пиринговых сетей (со всеми ее преимуществами) в них не работает, а к скачиванию файла можно будет приступать только после оплаты или просмотра гигантского количества рекламы, да и скорость при этом будет отвратительной.
Что желательно делать при обмене?
Очень желательно, скачав какой-то файл, раздать с него же равный объем информации. Как правило, если пользователь только скачивает, но ничего не раздает, системой могут быть введены «штрафные санкции», предусматривающие полное исключение возможности получения новых файлов. Может использоваться даже блокировка по IP или МАС-адресу. В частности, этим отличается пиринговая сеть "Билайн".
Ни в коем случае не удаляйте файл, только-только завершив его скачивание. Если есть такая возможность, как можно дольше сохраняйте его на своем жестком диске.
Нельзя также перемещать или переименовывать полученные файлы, так как в этом случае другие пользователи также не смогут получить к ним доступ.
Ни в коем случае не занижайте искусственно скорость исходящего канала. Разумеется, такая передача в какой-то степени нагружает ваш жесткий диск и саму систему, однако не стоит так отмахиваться от нужд других людей.
Не помешает держать на компьютере десяток-другой популярных файлов, чтобы поддерживать систему.
Правообладателям: мы вовсе не советуем распространять пиратский софт или что-то подобное. Всегда можно только поприветствовать, если пользователь участвует в обмене дистрибутивами того же «Линукса», так как это значительно разгружает серверы компаний, которые и без того зачастую живут на одни пожертвования и работают исключительно на добровольческой основе!
О защите авторских прав
Мы уже отмечали, что пиринговые сети в последние годы ассоциируются исключительно с пиратством. И чаще всего такое отношение довольно-таки оправдано, так как пользователи массово скачивают не то... Вот только в большинстве случаев пиратскому контенту есть вполне адекватная и бесплатная замена. Всегда помните об этом!