Исследование устойчивости национальных сегментов сети Интернет за 2018 год

Пресс-релиз компании Qraror Labs

Данное исследование объясняет каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране. Однако, некоторые пути становятся более важными по-сравнению с остальными и наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

Глобальная связность любой AS, независимо от того, представляет ли она второстепенного поставщика интернета или международного гиганта с миллионами потребителей услуг, зависит от количества и качества его путей к Tier-1 провайдерам. Как правило, Tier-1 подразумевает международную компанию, предлагающую глобальную услугу IP-транзита и подключение к другим Tier-1 операторам. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать такую связь. Только рынок может придать мотивацию таким компаниям безоговорочно соединяться друг с другом, обеспечивая высокое качество обслуживания. Достаточный ли это стимул? Мы ответим на этот вопрос ниже в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь с хотя бы одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Измерение надёжности интернета

Представьте, что AS испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?

Зачем моделировать подобную ситуацию? Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предположили, что каждая не-транзитная AS будет иметь по меньшей мере двух вышестоящих поставщиков (апстрим), чтобы гарантировать отказоустойчивость в случае, если один из них упадёт. Однако в реальности всё совсем иначе — более 45% ISP имеют только одно соединение с транзитным апстримом. Набор нетрадиционных отношений между транзитными интернет-провайдерами еще более снижает общую надежность. Итак, падают ли транзитные ISP? Ответ — да, и это происходит довольно часто. Правильный вопрос в данном случае: «Когда конкретный интернет-провайдер испытает деградацию связности?». Если кому-то такие проблемы кажутся отдалёнными, стоит вспомнить закон Мерфи: «Все, что может пойти не так, пойдёт не так».

Чтобы смоделировать подобный сценарий, мы применяем одну и ту же модель третий год подряд. В этом же году мы не просто повторили предыдущие вычисления — мы значительно расширили область исследования.

Следующие шаги были пройдены для оценки надежности AS:

Надёжность IPv4

Ниже вы можете увидеть топ 20 по надежности стран, в с точки зрения отказоустойчивости в случае сбоя единственной AS. На практика это означает, что в стране хорошая связность интернета, а процент отражает долю AS, которая потеряет глобальную связность в случае отказа крупнейшей AS.

Краткие факты TL;DR:

В то время как отдельные страны могут перемещаться вверх и вниз по рейтингу, общая картина не претерпела существенных изменений с 2017 года. В прошлом году среднее значение отказа по миру составляло 41%, в 2018 оно снизилось на 3% до 38% с небольшим. Количество стран, снизивших зависимость от одной AS до менее 10% (что является признаком высокой отказоустойчивости) увеличилось на единицу до 30.

Ещё одним заметным изменением стало значительное повышение надежности интернета в небольших странах Южной Азии и Африки. Эти регионы по-прежнему развиваются, но значительное улучшение разнообразия на рынке IP-транзита является признаком ускорения прогресса.

Игра в IPv6

Считается, что если технология хорошо работает в IPv4, её можно легко портировать в IPv6. Это ошибочное предположение может быть структурной проблемой всего процесса разработки IPv6.

Измерение глобальной надёжности между двумя версиями протокола не так легко как может показаться. Для поддержания глобальной связности в IPv4, любой и единственный путь до Tier-1 провайдера будет достаточен. Но в IPv6 это может быть не так. Из-за продолжающихся пиринговых войн между несколькими провайдерами верхнего уровня в IPv6 они не все связаны друг с другом. По-меньшей мере две пары провайдеров решили разорвать пиринговые отношения (“de-peer”) в IPv6: Cogent (AS174) и Hurricane Electric (AS6939), Deutsche Telekom (AS3320) и Verizon US (AS701). Эти телекоммуникационные компании могут иметь разнообразные причины для своих конфликтов, но если сеть подключена только к одной их стороне, она не будет иметь полноценной связности в IPv6. Это также влияет на надежность интернет-провайдера с несколькими апстримами — отказ одного может привести к проблемам со связностью.

Желая устранить эти проблемы, мы скорректировали процесс измерения, чтобы проверить, поддерживается ли полная IPv6 связность во время сбоя. Другими словами, для обеспечения полной связности и высочайшей надежности, пути до Tier-1 операторов должны присутствовать постоянно. Мы также подсчитали процент AS в стране, которые имеют лишь частичную связность в IPv6 из-за пиринговых войн.

Общее сравнение IPv4 и IPv6 в случае единственного отказа показывает, что у 86% национальных сегментов IPv4 связность намного выше. Важным открытием в мире IPv6 является то, что многие интернет-провайдеры не имеют надлежащей связности даже в нормальных условиях — без каких-либо сбоев. Например, в США это относится к примерно 10% всех AS, поддерживающих IPv6, а в Китае ситуация еще хуже, так как China Telecom (AS4134) получает глобальную связность только от одного провайдера — Hurricane Electric.

Как утверждалось ранее, никто не может принудить Tier-1 поставщиков соединяться друг с другом, помимо их клиентов. Свежие данные явно показывают, что потребительский спрос не является достаточным стимулом для их подключения друг к другу и достижения 100% видимости сетей. Единственным способом улучшить данную ситуацию кажутся призывы к надлежащему уровню сервиса IPv6. Команда Qrator.Radar рассматривает различные варианты, как сделать эту информацию более очевидной для каждого интернет-провайдера в мире, тем самым повысив информированность сообщества по данной проблеме.

Что касается частичной связности — несколько стран “не видят” более 20% адресного пространства IPv6. Это нахождение двух бывших островных колоний, Сен-Мартен и Сен-Бартелеми, объяснимы глядя на общий рейтинг IPv4; микрогосударства, в большинстве случаев, зависят от единственного поставщика интернет-услуг. Остальные 9 государств со значениями выше 20%, и в особенности Объединённые Арабские Эмираты с 25% частично соединенных (соответственно, без полноценного глобального пиринга в IPv6) сетей, вызывают удивление.

Широкополосный интернет и PTR-записи

Повторяя вопрос, который мы задавали себе с прошлого года: “Правда ли, что ведущий провайдер в стране всегда влияет на региональную надежность больше, чем все остальные или какой-то другой?”, мы разработали дополнительную метрику для дальнейшего изучения.

Возможно, наиболее значительный (по клиентской базе) провайдер-интернета в данной области не обязательно будет является той автономной системой, которая станет наиболее важна в вопросе обеспечения глобальной связности. Пример может быть быстро найден в самой верхней позиции в рейтинге IPv4 — Германия. В прошлом году было ясно, что немецкий транзит был по-меньшей мере на 2,29% зависим от провайдера Versatel. В этом году Versatel сменился DTAG (Deutsche Telekom), что улучшило связность в стране на 0,03%.

После многочисленных экспериментов мы определили, что наиболее точный показатель фактической значимости провайдера может быть основан на анализе записей PTR. Как правило, они используются для обратного поиска DNS: с использованием IP-адреса можно идентифицировать связанное имя хоста или доменное имя.

Это означает, что PTR может позволить измерение конкретного оборудования в адресном пространстве отдельного оператора. Поскольку мы уже знаем самые “жирные” AS для каждой страны в мире, мы могли бы посчитать записи PTR в сетях этих поставщиков, определив их долю среди всех PTR-записей региона. Стоит сразу же сделать заявление об отказе от ответственности: мы подсчитывали ТОЛЬКО записи PTR и не вычисляли соотношение IP-адресов без PTR-записей к IP-адресам с записями PTR.

Итак, далее мы говорим исключительно об IP-адресах с присутствующими записями PTR. Создавать их — не общее правило, поэтому некоторые провайдеры вписывают PTR, а другие нет.

Мы показали сколько из этих IP-адресов с указанными записями PTR отключится в случае отключения от/вместе с крупнейшей (по PTR) автономной системой в указанной стране. Цифра отражает процент от всех IP-адресов с поддержкой PTR в регионе.

Давайте сравним 20 наиболее устойчивых стран в IPv4 с рейтингом PTR. Очевидно, что подход, рассматривающий PTR-записи дает совершенно иные результаты. В большинстве случаев меняется не только центральная AS в регионе, но и полностью отличается процент неустойчивости для указанной AS. Во всех надежных, с точки зрения глобальной доступности, регионах количество IP-адресов с поддержкой PTR которые отключатся вследствие падения AS в десятки раз выше.

Это может означать, что ведущий национальный интернет-провайдер всегда владеет конечными пользователями. Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской и клиентской базы ISP, которая будет отключена (в случае, если невозможно переключение на альтернативного поставщика) в случае сбоя. С этой точки зрения страны уже не кажутся такими надежными как они выглядят с точки зрения транзита. Мы оставляем за читателем возможные выводы из сравнения топ-20 IPv44 со значениями рейтинга PTR.

Детализация изменений в регионах

В прошлом году мы явно указали на значительное влияние AS174 оператора Cogent. В этом году, учитывая статичность 90% рейтинга год к году, когда Cogent обслуживал такие регионы, как Франция, Великобритания, США и Ирландия, мы видим все эти страны на всех позициях с теми же значениями зависимости от одного апстрима. Тем не менее, изменения произошли в США, где AS209, Centurylink, сместила Cogent. В ответ Cogent добавил в список стран, где он является доминирующими поставщиком соединения, Испанию и Бельгию.

Хотя это и означает, что отключение Cogent представляет собой риск сразу для нескольких регионов, необходимо также признать, что рыночная позиция конкретно данного провайдера является в первую очередь результатом его хорошей IPv4 связности. Несмотря на то, что Cogent добавил в собственный стратегический портфель еще две страны, отказ в обслуживании не приведет к полной недоступности в этих высоко диверсифицированных национальных сегментах интернета.

Но крупная новость связана именно с тем, что произошло в Соединенных Штатах. В течение двух лет подряд — 2016 и 2017 — мы определяли AS174, Cogent, как решающего на этом рынке. Это уже не так — в 2018 году AS 209 CenturyLink заменила его, отправив Соединенные Штаты вверх на три позиции, до 7-го места в рейтинге IPv4.

Оборачиваясь на регион бывшего СССР, мы видим небольшие изменения по сравнению с прошлым годом. Основным интернет-провайдером в России остаётся Ростелеком (AS 12389), чья доля на рынке довольно значительна (отражено в значениях PTR). Однако в 2018 году отключение “Ростелекома” приведет к отсутствию глобальной связности лишь у 5,27% автономных систем в стране, что ставит Россию на 13-е место по надёжности.

Как и в прошлом году, транзитный рынок в России представлен в основном средними Tier-2 сетями, что и приводит к высоким значениям доступности. То же самое нельзя сказать об Узбекистане, где третий год подряд мы наблюдаем 99,9% зависимость от одного поставщика (AS 28910). В Туркменистане есть только один вышестоящий поставщик: “Ростелеком”. Индекс Таджикистана “гораздо” лучше со значением в 78,14% нестабильности, что ставит страну на 202-е место в общем рейтинге. Четвертой страной региона с высоким значением нестабильности является Азербайджан, хотя его 47%-ая зависимость от AS 29049 не так плоха по сравнению с остальными.

Есть “всего” 83 страны с более чем 40%-ой зависимостью от одного поставщика, 65 из них обладают значениями выше 50%. Есть 39, в большинстве своем, небольших стран с индексами нестабильности 90% и более. Существуют исключения: индекс Северной Кореи составляет 100% для AS 131729, что не нуждается в объяснении; то же самое относится к Эритрее, Гренландии и Новой Каледонии, имеющих свои причины. 99%-ая Эфиопии от единственной AS 24757 (EthioNet), в стране с населением в 100 миллионов человек, является неожиданным фактом в 2018 году. Сирия на 99,5% зависима на AS 29256, что представляет собой значительную потерю относительно прошлогодних 88,75%, вызванной смещением прошлогодней AS принадлежащей немецкому телекому. У Кубы показатель 97% зависимости от AS 11960. Индекс Ямайки — 91,3% для AS 34520, принадлежащей Columbus Networks — компании, с которой мы часто сталкиваемся как единственным поставщиком связности в отдаленных местах у берегов Северной и Южной Америки.

По сравнению с Люксембургом, находящемся на 30-м месте классического рейтинга со значением в 9,8% зависимости от AS6661, 66%-ый показатель Монако для AS6758 не свойственен стране такого уровня жизни и географии. За последние два года на азиатском рынке интернет провайдеров произошли значительные изменения.

Повышение надёжности связности Сингапура объясняется его позицией среди азиатских тигров — наиболее быстрорастущих экономик региона. Это соревнование ожесточено в верхней части рейтинга устойчивости, где позиции расположены достаточно плотно в процентном соотношении. Гонконг и Сингапур поменялись местами на основе 2%-го изменения индекса.

По мнению независимых наблюдателей, опрошенных нами, позиции Singtel в Сингапуре ослабевают. В прошлом году ключевая AS принадлежала StarHub, Сингапурскому провайдеру широкополосного доступа в интернет. В 2018 году основной AS в Сингапуре уже становится SingNet AS3758 (широкополосное подразделение SingTel’а). Нам сказали, что SingTel в последнее время испытывает недостаток капитала, поскольку их основной бизнес в Сингапуре прекратил активный рост (что можно дополнительно подтвердить посмотрев на динамику акций компании за последние два года). Трудности SingTel усугубляются взаимным интеграционным процессом с филиппинским ISP Globe — это, вероятно, еще одна причина, по которой SingNet потерял потребителей, тем самым потеряв долю на рынке и реальные подключения. Эти события вместе драматически и достаточно резко децентрализовали рынок ISP Сингапура, что и привело к прыжку на 18 позиций до текущей 5-й строчки в рейтинге устойчивости.

Потери Гонконга в рейтинге надёжности могут быть связаны с деятельностью PCCW в регионе. Местные наблюдатели сообщают нам, что PCCW в 2018 году выбрала стратегию активного приобретения клиентов, набрав долю на рынке и активных клиентов в самой экономической зоне.

В прошлом году основная AS Гонконга принадлежала Level3 (AS3356). После слияния с CenturyLink в конце 2017 года позиция Level3 не могла не изменится на более крупную, но в то же время менее устойчивую с региональной точки зрения.

С ростом рисков кибербезопасности и, фактически, постоянным потоком новостей об атаках на интернет-инфраструктуру настало время всем правительствам, частным и государственным компаниям, но в первую очередь — рядовым пользователям внимательно оценить собственные позиции. Риски связанные со связностью регионов необходимо изучать тщательно и честно, анализируя истинные уровни надежности. Даже невысокие значения в рейтинге нестабильности могут вызвать настоящие проблемы с доступностью в случае массированной атаки на крупного, общенационального, поставщика критически важной службы, допустим, DNS. Не забывайте также, что внешний мир отключится от служб и данных расположенных внутри региона, в случае полной потери связности.

Наше исследование ясно показывает, что рынки интернет-провайдеров и операторов связи, основанные на конкуренции, в конечном итоге развиваются динамичнее, чтобы стать намного более стабильными и отказоустойчивыми в отношении рисков внутри и даже за пределами конкретного региона. Без конкурентного рынка отказ одной AS может и приведет к потере сетевого соединения у значительно части пользователей из страны или более обширного региона.

qrator.net