Windows. Вирусы. Ноутбуки. Интернет. Office. Утилиты. Драйверы

Сегодня по всему миру появляется все больше различных ограничений в сети Интернет. Правительства озабочены использованием OpenVPN и нам приходится обходить их и искать способы подключать сервисы как обычно. Великий Китайский Файрвол, к примеру, блокирует некоторые VPN-сети, как в самом Китае, так и за его пределами.

Конечно же, данные, проходящие по VPN-тунелям увидеть невозможно. Однако сложные брандмауэры эффективно используют DPI-техники, позволяющие дешифровать пакеты, даже те, при шифровании которых использовалось SSL-шифрование.

Существуют различные способы решения проблемы, однако большинство из них предполагает изменение настроек самого сервера. В данной статье мы рассматриваем различные способы, доступные вам. Если вы хотите скрыть сигналы VPN и у вас отсутствует переадресация порта 443, вам нужно связаться с провайдером VPN и уточнить, готовы ли они предоставить вам какое-либо решение из представленных ниже.

Переадресация через TCP порт 443

Это один из самых простых способов. Вам не потребуется сложная настройка сервера, чтобы переадресовать VPN-трафик через порт 443.

Помните, что по умолчанию VPN использует TCP порт 80. Обычно брандмауэры проверяют порт 80 и не пропускают зашифрованный трафик через него. HTTPS по умолчанию перенаправляет данные через порт 443. Этот порт также используется веб-гигантами, такими, как Twitter, Gmail, также с ним работают банки и другие ресурсы.

OpenVPN использует SSL-шифрование, как и HTTPS, и его достаточно сложно засечь при использовании порта 443. Блокирование его не позволит использовать интернет, так что оно не подходит интернет-цензорам.

Переадресация поддерживается практически любым клиентом VPN, так что вы без труда сможете переключиться на порт 443. Если ваш VPN-провайдер не предлагает такой возможности в клиенте, вам нужно связаться с ним немедленно.

К сожалению, OpenVPN не использует стандартный метод SSL, так что если будет использован метод углубленной проверки пакетов, как, например, происходит в Китае, можно будет распознать зашифрованный трафик. В этом случае вам потребуются дополнительные средства защиты.

Obfsproxy

Сервер шифрует данные при помощи обфускации, запутывает код и не позволяет определить использование OpenVPN. Эта стратегия используется Tor, чтобы обойти блокировки в Китае. Шифрование доступно для OpenVPN

Obfsproxy требует установки как на компьютер клиента, так и на сервер VPN. Конечно же, это не так безопасно, как методы туннелирования, трафик не кодируется, однако при этом канал не слишком перегружен. Это прекрасно подходит для пользователей в таких странах, как Сирия или Эфиопия, где существуют проблемы с доступом в интернет. Obfsproxy довольно просто настроить и установить, что является безусловным преимуществом.

SSL туннелирование для OpenVPN

Протокол защиты сокетов (SSL) может быть использован как эффективная замена OpenVPN. Многие прокси-сервера используют его для защиты подключения. Кроме того, этот протокол полностью скрывает использование VPN. Поскольку OpenVPN основывается на шифровании TLS или SSL, этот протокол сильно отличается от стандартных каналов SSL и его нетрудно обнаружить при помощи глубинного анализа пакетов. Чтобы избежать этого, можно добавить дополнительный уровень шифрования, так как самостоятельные слои SSL-каналов DPI не распознает.

Заключение

Конечно же, без глубинного анализа, OpenVPN не отличается от стандартного трафика SSL. Защиту можно повысить путем переадресации через порт 443. Однако, в таких странах, как Китай или Иран, этого будет недостаточно. Правительства таких стран разработали сложные комплексы мер по отслеживанию интернет-трафика. Обязательно учитывайте эти факторы, чтобы избежать лишних неприятностей.

Постигаем азы «анонимности» в сети.

Статья поможет вам определиться нужен ли VPN конкретно вам и выбрать провайдера, а также расскажет о подводных камнях этой технологии и альтернативах ей.

Этот материал - просто рассказ о VPN с обзором провайдеров, предназначенный для общего развития и решения мелких бытовых проблем. Как добиться полной анонимности в сети и 100% приватности трафика она вас не научит.

Что такое VPN?

Virtual Private Network (виртуальная частная сеть) – сеть из устройств, которая создается поверх другой и внутри которой, благодаря технологиям шифрования, создаются защищенные каналы для обмена данными.

VPN-сервер управляет учетными записями пользователей этой сети и служит для них точкой входа в интернет. Через него передается зашифрованный трафик.

Ниже мы расскажем о провайдерах, которые предоставляют доступ к VPN-серверам в разных странах. Но сначала разберемся зачем это нужно?

Выгоды от использования VPN

1. Смена «адреса»

В каких случаях законопослушному россиянину нужен другой IP?

2. Защита от мелкой нечисти

От преследований властей VPN-провайдер вас не спасет, но защитит от:

  • Админа офисной сети, который собирает на вас компромат или просто любит читать чужие письма;
  • Школьников, которые балуются прослушкой трафика публичной WiFi точки.

Минусы использования VPN

Скорость

Скорость доступа интернета при использовании VPN провайдера может быть ниже, чем без него. Прежде всего это касается бесплатных VPN. К тому же, она может быть нестабильной: зависеть от времени суток или местоположения выбранного сервера.

Технические неполадки

У VPN-провайдера могут быть перебои в работе. Особенно, если он небольшой и малоизвестный.

Самая распространенная неполадка: vpn отключился и никому ничего не сказал. Надо проследить за тем, чтобы ваше соединение блокировалось в случае проблем с сервером.

Иначе может быть так: пишешь злобные комментарии к статьей своего соседа по квартире, а VPN потихому отключился и в админке засветился реальный IP, ты это пропустил, а сосед заметил и готовит план мести.

Мнимая анонимность

Информация о вашем трафике передается третьей стороне. VPN-провайдеров часто спрашивают в интервью: «А вы храните логи?». Они отвечают: «Нет, нет, конечно нет!». Но им никто не верит. И на то есть причины.

В лицензионных соглашениях многих VPN-провайдеров открыто написано, что пользователь не имеет право нарушать авторские права, запускать хакерские программы, рассылать спам и в случаи нарушения его аккаунт блокируется без возвращения средств. Пример: ExpressVPN Term of Service . Из этого следует, что действия пользователя в сети контролируются.

А некоторые шустрые VPN-провайдеры, к примеру Astrill , требуют SMS подтверждения для активации учетной записи (для русских номеров не работает). Хочешь скрывать свой IP и шифровать трафик? Ок, но номерок на всякий случай оставь.

А анкеты при регистрации учетных записей иногда напрягают излишними вопросами. К примеру, зачем VPN-провайдеру почтовый индекс человека? Отправлять посылки на Новый Год?

Личность пользователя также может быть идентифицирована по банковским картам (или через кошельки платежных систем, через которые пополняются виртуальные карты). Некоторые VPN-провайдеры приманивают пользователей тем, что принимают в качестве оплаты криптовалюты. Это плюс к анонимности.

Выбираем VPN-сервис

VPN-провайдеров - хоть пруд пруди. Ведь это доходный бизнес с низкими порогом вхождения. Если задать такой вопрос на форуме, то сбегутся владельцы сервисов и завалят своей рекламой.

Для помощи в выборе был создан сайт bestvpn.com , где публикуются рейтинги и обзоры VPN-провайдеров.

Вкратце расскажем о лучших VPN-сервисах (по данным bestvpn.com) у которых есть приложение для iOS.

ExpressVPN

96 городов в 78 странах. 30-дневная гарантия возврата денег в случае перебоев работы с сервисом. Есть приложения для OS X, Windows, iOS и Android. Можно работать с 5 устройствами одновременно.

Цена: от $9.99 до $12.95 в месяц (зависит от периода оплаты).

Private Internet Access

25 стран. Есть приложения для OS X, Windows, сайте проекта .

Цена: от $2.50 до $6.95 в месяц (зависит от периода оплаты).

IP Vanish VPN

Более 60 стран. Есть VPN-клиенты для iOS , Android, Windows, Mac, Ubuntu, Chromebook и роутеров. Имеется возможность работать сразу с несколькими устройствами.

Оптимистичным параноикам

Очень интересный маркетинговый ход у . Они предлагают прогонять зашифрованный трафик не через один, а через два или три сервера.

Мое мнение на этот счет таково: если VPN нужен только, чтобы скрывать из какой ты страны, то это не имеет смысла. А если действительно есть, что скрывать то смысл передавать это сразу через три чужих сервера?

Альтернативы

Собственный OpenVPN сервер

Tor

Трафик в сети Tor передается через несколько независимых серверов в разных точках земли в зашифрованном виде. Это затрудняет определение исходного IP-адреса пользователя. Но поучительная история Росса Ульбрихта (владельца Silk Road) напоминает нам о том, что американские спецслужбы способны на многое.

Плюсы:

  • Бесплатно;
  • Доступ к onion-сети («даркнету»). Есть целый ряд сайтов, доступных только из Tor Browser. Это свои поисковые системы (Grams), магазины, библиотеки, биржи криптовалют, cистемы контекстной рекламы, энциклопедия Onion Wiki. Но для законопослушного россиянина в этой сети нет ничего интересного.

Минусы :

  • Медленная скорость.

А что думает Роскомнадзор?

Работники ведомства крайне недовольны тем, что россияне стремятся к анонимности в сети. Недавно пресс-секретарь Роскомнадзора назвал пользователей Tor «социальными отбросами», а само ведомство выступает за запрет анонимайзеров. Но россияне не прислушиваются к подобным мнениям. Егор Минин (основатель RuTracker), утверждает что половина пользователей его ресурса умеет обходить блокировку.

Всем ясно, что ваш провайдер в курсе всех ваших передвижений по Интернету, частенько встречаются истории о том, что сотрудники компаний мониторят трафик клиентов. Как это происходит, можно ли этого избежать?.

Как за тобой следят

Провайдеры в РФ обязаны анализировать трафик пользователей на соответствие нормам российского законодательства. В частности, п. 1.1 Федеральный закон от 07.07.2003 N 126-ФЗ (ред. от 05.12.2017) «О связи» гласит :

Операторы связи обязаны предоставлять уполномоченным государственным органам, осуществляющим оперативно-розыскную деятельность или обеспечение безопасности Российской Федерации, информацию о пользователях услугами связи и об оказанных им услугах связи, а также иную информацию, необходимую для выполнения возложенных на эти органы задач, в случаях, установленных федеральными законами.

Сам трафик провайдер, естественно, не хранит. Однако он выполняет его обработку и классификацию. Результаты записываются в лог-файлы.

Анализ основной информации ведётся в автоматическом режиме. Обычно трафик выбранного пользователя зеркалируется на СОРМ-сервера (средства оперативно-розыскных мероприятий), которые контролируют МВД, ФСБ и др., и анализ проводится уже там.

Составной частью современных систем СОРМ-2 является циклический буфер хранения данных. В нём должен храниться проходящий через провайдера трафик за последние 12 часов. С 2014 года внедряется СОРМ-3. Её главное отличие – дополнительное хранилище, в которое должен складываться трехлетний архив всего биллинга и всех логов соединений.

Как читают трафик с помощью DPI

Пример схемы от VAS Expert

В составе СОРМ либо отдельно могут использоваться DPI (Deep Packet Inspection). Это системы (обычно программно-аппаратные комплексы – железо со специальным ПО), которые работают на всех, кроме первого (физического, битового), уровнях сетевой модели OSI.

В простейшем случае провайдеры используют DPI для контроля доступа к ресурсам (в частности, к страницам сайтов из «черного» списка Роскомнадзора по ФЗ № 139 о внесении изменений в закон «О защите детей от информации, причиняющей вред их здоровью и развитию» или торрентам). Но, вообще говоря, решение могут применить и для чтения вашего трафика.

Противники DPI заявляют, что право на неприкосновенность переписки закреплено в конституции, к тому же технология нарушает сетевой нейтралитет. Но это не мешает задействовать технологию на практике.

DPI без проблем разбирает содержимое, которое передаётся по незашифрованным протоколам HTTP, FTP.

Некоторые системы также используют эвристику – косвенные признаки, которые помогают опознать сервис. Это, к примеру, временные и численные характеристики трафика, а также особые последовательности байт.

С HTTPS сложнее. Однако в уровне TLS, начиная с версии 1.1, который сегодня нередко используется для шифрования в HTTPS, доменное имя сайта передаётся в открытом виде. Таким образом, провайдер сможет узнать, на какой домен вы заходили. Но что там делали, он без закрытого ключа не узнает.

В любом случае провайдеры не проверяют всех подряд

Это слишком затратно. А вот мониторить чей-то трафик по запросу теоретически могут.

То, что отметила система (или товарищ майор), обычно исследуется вручную. Но чаще всего никакого СОРМ у провайдера (особенно если это мелкий провайдер) нет. Всё ищется и находится рядовыми сотрудниками в базе данных с логами.

Как отслеживают торренты

Торрент-клиент и трекер, как правило, обмениваются данными по протоколу HTTP. Это открытый протокол, а значит, смотрите выше: просмотр трафика пользователя с помощью атаки MITM, анализ, расшифровка, блокировка с помощью DPI. Провайдер может исследовать очень много данных: когда стартовало или завершилось скачивание, когда стартовала раздача, какое количество трафика было роздано.

Сидеров найти труднее. Чаще всего в таких случаях специалисты сами становятся пирами. Зная IP-адрес сидера, пир может направить провайдеру уведомление с именем раздачи, её адресом, временем начала раздачи, собственно, IP-адресом сидера и т.д.

В России пока что это безопасно – все законы ограничивают возможности администрации трекеров и других распространителей пиратского контента, но не рядовых пользователей. Однако в некоторых европейских странах пользование торрентами чревато большими штрафами. Так что если едете за границу, не попадайтесь.

Что происходит, когда вы заходите на сайт

Провайдер видит URL, который вы открыли, если анализирует содержимое пакетов, которые вам приходят. Сделать это можно, к примеру, с помощью MITM-атаки (атака “man-in-the-middle”, человек посередине).

Из содержимого пакетов можно получить историю поиска, проанализировать историю запросов, даже прочитать переписку и логины с паролями. Если, конечно, сайт использует для авторизации нешифрованное HTTP-соединение. К счастью, такое встречается всё реже.

Если сайт работает с HTTPS, тогда провайдер видит только IP-адрес сервера и имя домена, а также время подключения к нему и объём трафика. Остальные данные проходят в зашифрованном виде, и без приватного ключа расшифровать их невозможно.

Что насчёт MAC-адреса

Ваш MAC-адрес провайдер видит в любом случае. Точнее, MAC-адрес устройства, которое подключается к его сети (а это может быть не компьютер, а роутер, например). Дело в том, что авторизация у многих провайдерах выполняется по логину, паролю и MAC-адресу.

Но MAC-адреса на многих роутерах можно подменять вручную. Да и на компьютерах MAC-адрес сетевого адаптера устанавливается вручную. Так что если сделать это до первой авторизации (или поменять позднее и попросить перепривязать аккаунт к новому MAC-адресу), истинный MAC-адрес провайдер видеть не будет.

Что происходит, если у вас включен VPN

Если вы используете VPN, то провайдер видит, что шифрованный трафик (с высоким коэффициентом энтропии) отправляется на определённый IP-адрес. Кроме того, он может узнать, что IP-адреса из этого диапазона продаются под VPN-сервисы.

Куда идёт трафик с VPN-сервиса, провайдер автоматически отследить не может. Но если сопоставить трафик абонента с трафиком любого сервера по временным меткам, можно выполнить дальнейшее отслеживание. Просто для этого нужны более сложные и дорогие технические решения. От скуки никто такое точно разрабатывать и использовать не будет.

Бывает, что внезапно VPN «отваливается» – такое может произойти в любой момент и в любой операционной системе. После того, как VPN прекратил работу, трафик автоматически начинает идти открыто, и провайдер может его анализировать.

Важно, что даже если анализ трафика показывает, что слишком большой объём пакетов постоянно идёт на IP-адрес, который потенциально может принадлежать VPN, вы ничего не нарушите. Пользоваться VPN в России не запрещено – запрещено предоставлять такие услуги для обхода сайтов из «чёрного списка» Роскомнадзора.

Что происходит, когда вы включаете Tor

Когда вы подключаетесь через Tor, провайдер также видит зашифрованный трафик. И расшифровать, что вы делаете в интернете в данный момент, он не сможет.

В отличие от VPN, где трафик обычно направляется на один и тот же сервер в течение большого промежутка времени, Tor автоматически меняет IP-адреса. Соответственно, провайдер может определить, что вы, вероятно, пользовались Tor, по шифрованному трафику и частой смене адресов, а затем отразить это в логах. Но по закону вам за это тоже ничего не будет.

При этом вашим IP-адресом в сети Tor кто-то может воспользоваться, только если вы сконфигурировали Exit Node в настройках.

А как насчёт режима «инкогнито»

Этот режим не поможет скрыть ваш трафик от провайдера. Он нужен, чтобы сделать вид, что вы не пользовались браузером.

В режиме «инкогнито» не сохраняются файлы cookie, данные сайтов и история просмотров. Однако ваши действия видят провайдер, системный администратор и веб-сайты, на которые вы заходите.

Но есть и хорошая новость

Провайдер знает о вас многое, если не всё. Однако бюджет мелких компаний не позволяет купить оборудование DPI, установить СОРМ или настроить эффективную систему мониторинга.

Если совершать легальные действия в интернете открыто, а для действий, предполагающих конфиденциальность, пользоваться VPN, Tor или другими средствами обеспечения анонимности, вероятность «попасть на карандаш» к провайдеру и спецслужбам минимальна. Но 100% гарантию дают только 100% легальные действия.

Сегодня мы поговорим о том, какие данные хранит провайдер о пользователе, а также вообще о том что он может знать, а что нет. Вот например, видно ли какие сайты вы посещаете? И почему провайдер следит за пользователями?

Вообще с провайдерами не все так просто, они по закону должны прослушивать трафик пользователей — не нарушают ли они закон, что они там делают они конечно не смотрят, но записывают основные данные, люди их без причины не проверяют (то есть это все записывается в автоматическом режиме).

  • Если пользователь открывает определенный сайт, то видно ли это провайдеру?. Да, в большинстве случаев видно именно доменное имя, редко — просто IP-адрес. Также записывается и время, когда вы заходили на сайт. Содержимое сайтов также видно
  • А если я захожу на сайт по защищенному протоколу https? Тогда провайдер видит только имя сайта или его IP-адрес и все, содержимое он не видит, так как https это защищенное соединение шифрованием, поэтому и рекомендуется его использовать.
  • Как провайдер может просечь что я скачал фильм или программу через торрент? Все дело в том, что торрент-качалкя общается с торрентр-трекером по протоколу HTTP, поэтому увидеть провайдер может все что вы качали (просто при помощи анализа страницы, откуда был скачан.torrent-файл) и когда (начали/закончили). Возможно подключение и по HTTPS, но почему-то даже крупнейший торрент СНГ не поддерживает такой протокол, но вот почему — загадка.
  • Провайдер сохраняет все то что я качаю? Нет, это физически просто невозможно, не хватило бы никаких жестких дисков. Трафик на лету обрабатывается, сортируется и ведется статистика, вот как раз она то и складируется годами.
  • Может ли провайдер узнать что я скачал.torrent файл? Да, может, именно это они и стараются отслеживать — взаимодействие между торрент-клиентом и сервером, анализировать трафик внутри торрент-сети они не могут, ибо это очень и очень накладно.
  • А если я использую VPN, то провайдер ничего не видит? Тут как раз штука такая, что при VPN таки да, провайдер видит кашу — то есть зашифрованные данные и анализировать их, а уж тем более расшифровать он не станет, ибо это почти нереально. Но вот узнать по IP серверам, что это VPN специально для шифрования трафика — он может. Это означает, что пользователю есть что скрывать, делайте выводы сами
  • Если я буду использовать OpenVPN, то через него будет работать все программы в том числе и обновление Windows? В теории да, и вообще так должно быть. Но на практике все зависит от настроек.
  • Может ли провайдер узнать реальный IP адрес определенного сайта, если я зашел на него через VPN? Вообще-то нет, но тут есть другой момент. Если вдруг VPN перестанет работать, или если какая-то ошибка, то Windows просто начнет работать в обычном режиме, то есть без использования VPN — просто напрямую. Чтобы это исправить, во-первых нужно настроить сам OpenVPN, а во-вторых использовать дополнительно фаервол (рекомендую Outpost Firewall), в котором можно создать глобальные правила движения трафика.
  • То есть если VPN глюканул, провайдер увидит на каком сайте я сижу? К сожалению да, при этом автоматически будет все записано.
  • Может ли TOR обеспечить анонимность? Может, но желательно его немного настроить на использование IP-адресов все кроме СНГ, а также чтобы адреса менялись чаще, например каждые три минуты. Также для лучшего эффекта советую использовать ретрансляторы (мосты).
  • Что видит провайдер, когда я получаю пакеты с постоянно разных IP аресов? У провайдеров есть система обнаружения использования TOR, но, я не уверен работает ли эта система при наличии ретрансляторов. Факт использования TOR также записывается и также говорит провайдеру о том, что этот пользователь может что-то скрывать
  • Видит ли провайдер адрес сайта через Tor или VPN? Нет, только IP-адрес VPN или выходной узел Tor.
  • Видно ли провайдеру полное имя адреса при использовании HTTPS-протокола? Нет, видно только адрес домена (то есть только site.com), время подключения и переданный обьем. Но эти данные не особо полезны для провайдера в плане инфы. Если использовать HTTP, то видно все что передается — и полный адрес и все что вы написали/отправили в сообщение по почте например, но опять же, вот к Gmail это не относится — там трафик шифруется.
  • То есть если я использую шифрование соединения, то я уже могу быть в списке подозреваемых? Нет, не совсем так. С одной стороны — да, но с другой шифрование данных а то и глобальное шифрование всей сети могут использовать не только какие-то хакеры или пользователи — но и простые организации, которые обеспокоены безопасной передачей данных, что и логично, особенно в банковской сфере.
  • Видит ли провайдер факт использования I2P? Видит, но пока этот вид сети мало знакома провайдерам так, как например Tor, который из-за своей популярности привлекает все больше внимания со стороны спецслужб. Трафик I2P провайдер видит как шифрованные подключения к разным IP-адресам, что говорит о том, что клиент работает с P2P сетью.
  • Как узнать, нахожусь ли я под СОРМ? Расшифровывается эта аббревиатура так — Система технических возможностей для оперативно-розыскных мероприятий. И если вы подключены к интернету в РФ, то вы уже пол умолчанию под надзором. При это эта система полностью официальная и трафик обязан проходить через нее, иначе у провайдеров интернета и операторов связи просто аннулируют лицензию.
  • Как увидеть весь трафик на компе так, как его видят провайдеры? В этом вам поможет утилита для сниффинга трафика, лучшая в своем роде это анализатор Wireshark.
  • Можно ли как то понять, что за тобой следят? На сегодняшний почти нет, иногда, возможно при активной атаке типа MitM (Man in the middle). Если применяется пассивная слежка, то обнаружить ее нереально чисто технически.
  • Но что делать тогда, можно ли как-то затруднить слежку? Можно разделить интернет, то есть ваше подключение к нему, на две части. Сидите в соцсетях, на сайтах знакомств, смотрите развлекательные сайты, фильмы, все это делайте по обычному подключению. А зашифрованное соединение используйте отдельно и при этом параллельно — например установите для этого виртуальную машину. Таким образом у вас будет более-менее естественная среда так бы сказать, ибо, шифруют трафик многие сайты, и Google в своих сервисах, и другие крупные компании. Но с другой стороны, почти все развлекательные сайты трафик НЕ шифруют. То есть это норма — когда и открытый и зашифрованный трафик есть у пользователя. Другое дело, когда провайдер видит, что у пользователя трафик только зашифрован, конечно тут могут возникнуть вопросы.

Надеюсь, что вы нашли некоторые полезные ответы

Любой администратор рано или поздно получает инструкцию от руководства: «посчитать, кто ходит в сеть, и сколько качает». Для провайдеров она дополняется задачами «пустить кого надо, взять оплату, ограничить доступ». Что считать? Как? Где? Отрывочных сведений много, они не структурированы. Избавим начинающего админа от утомительных поисков, снабдив его общими знаниями, и полезными ссылками на матчасть.
В данной статье я постараюсь описать принципы организации сбора, учёта и контроля трафика в сети. Мы рассмотрим проблематику вопроса, и перечислим возможные способы съема информации с сетевых устройств.

Это первая теоретическая статья из цикла статей, посвящённого сбору, учёту, управлению и биллингу трафика и IT-ресурсов.

Структура доступа в сеть Интернет

В общем случае, структура доступа в сеть выглядит следующим образом:
  • Внешние ресурсы – сеть Интернет, со всеми сайтами, серверами, адресами и прочим, что не принадлежит сети, которую вы контролируете.
  • Устройство доступа – маршрутизатор (аппаратный, или на базе PC), коммутатор, VPN-сервер или концентратор.
  • Внутренние ресурсы – набор компьютеров, подсетей, абонентов, работу которых в сети необходимо учитывать или контролировать.
  • Сервер управления или учёта – устройство, на котором работает специализированное программное обеспечение. Может быть функционально совмещён с программным маршрутизатором.
В данной структуре, сетевой трафик проходит от внешних ресурсов к внутренним, и обратно, через устройство доступа. Оно передает на сервер управления информацию о трафике. Сервер управления обрабатывает эту информацию, хранит в базе, отображает, выдает команды на блокировку. Однако, не все комбинации устройств (методов) доступа, и методов сбора и управления, совместимы. О различных вариантах и пойдет речь ниже.

Сетевой трафик

Для начала необходимо определить, а что же подразумевается под «сетевым трафиком», и какую полезную статистическую информацию можно извлечь из потока пользовательских данных.
Доминирующим протоколом межсетевого взаимодействия пока остается IP версии 4 . Протокол IP соответствует 3му уровню модели OSI (L3). Информация (данные) между отправителем и получателем упаковывается в пакеты – имеющие заголовок, и «полезную нагрузку». Заголовок определяет, откуда и куда идет пакет (IP-адреса отправителя и получателя), размер пакета, тип полезной нагрузки. Основную часть сетевого трафика составляют пакеты с полезной нагрузкой UDP и TCP – это протоколы 4-го уровня (L4). Помимо адресов, заголовок этих двух протоколов содержит номера портов, которые определяют тип службы (приложения), передающего данные.

Для передачи IP-пакета по проводам (или радио) сетевые устройства вынуждены «оборачивать» (инкапсулировать) его в пакет протокола 2го уровня (L2). Самым распространенным протоколом такого типа является Ethernet . Фактическая передача «в провод» идет на 1м уровне. Обычно, устройство доступа (маршрутизатор) не занимается анализом заголовков пакетов на уровне, выше 4го (исключение – интеллектуальные межсетевые экраны).
Информация из полей адресов, портов, протоколов и счетчики длин из L3 и L4 заголовков пакетов данных и составляет тот «исходный материал», который используется при учёте и управлении трафиком. Собственно объем передаваемой информации находится в поле Length («Длина пакета») заголовка IP (включая длину самого заголовка). Кстати, из-за фрагментации пакетов вследствие механизма MTU общий объем передаваемых данных всегда больше размера полезной нагрузки.

Суммарная длина интересных нам в данном контексте IP- и TCP/UDP- полей пакета составляет 2...10% общей длины пакета. Если обрабатывать и хранить всю эту информацию попакетно, не хватит никаких ресурсов. К счастью, подавляющий объем трафика структурирован так, что состоит из набора «диалогов» между внешними и внутренними сетевыми устройствами, так называемых «потоков». Например, в рамках одной операции пересылки электронного письма (протокол SMTP) открывается TCP-сессия между клиентом и сервером. Она характеризуется постоянным набором параметров {IP-адрес источника, TCP-порт источника, IP-адрес получателя TCP-порт получателя} . Вместо того, чтобы обрабатывать и хранить информацию попакетно, гораздо удобнее хранить параметры потока (адреса и порты), а также дополнительную информацию – число и сумму длин переданных пакетов в каждую сторону, опционально длительность сессии, индексы интерфейсов маршрутизатора, значение поля ToS и прочее. Такой подход выгоден для ориентированных на соединение протоколов (TCP), где можно явно перехватить момент завершения сессии. Однако и для не ориентированных на сессии протоколов можно проводить агрегацию и логическое завершение записи о потоке по, например, таймауту. Ниже приведена выдержка из SQL-базы собственной системы биллинга , осуществляющей протоколирование информации о потоках трафика:

Необходимо отметить случай, когда устройство доступа осуществляет трансляцию адресов (NAT , маскарадинг) для организации доступа в Интернет компьютеров локальной сети, используя один, внешний, публичный IP-адрес. В этом случае специальный механизм осуществляет подмену IP-адресов и TCP/UDP портов пакетов трафика, заменяя внутренние (не маршрутизируемые в Интернете) адреса согласно своей динамической таблице трансляции. В такой конфигурации необходимо помнить, что для корректного учета данных по внутренним хостам сети съём статистики должен производиться способом и в том месте, где результат трансляции ещё не «обезличивает» внутренние адреса.

Методы сбора информации о трафике/статистике

Снимать и обрабатывать информацию о проходящем трафике можно непосредственно на самом устройстве доступа (ПК-маршрутизатор, VPN-сервер), с этого устройства передавая ее на отдельный сервер (NetFlow, SNMP), или «с провода» (tap, SPAN). Разберем все варианты по-порядку.
ПК-маршрутизатор
Рассмотрим простейший случай – устройство доступа (маршрутизатор) на базе ПК c ОС Linux.

О том, как настроить такой сервер, трансляцию адресов и маршрутизацию, написано много . Нас же интересует следующий логический шаг – сведения о том, как получить информацию о проходящем через такой сервер трафике. Существует три распространенных способа:

  • перехват (копирование) пакетов, проходящих через сетевую карту сервера, при помощи библиотеки libpcap
  • перехват пакетов, проходящих через встроенный межсетевой экран
  • использование сторонних средств преобразования попакетной статистики (полученной одним из двух предыдущих методов) в поток агрегированной информации netflow
Libpcap


В первом случае копия пакета, проходящего через интерфейс, после прохождения фильтра (man pcap-filter) может быть запрошена клиентской программой на сервере, написанной с использованием данной библиотеки. Пакет поступает вместе с заголовком 2го уровня (Ethernet). Можно ограничить длину захватываемой информации (если нас интересует только информация из его заголовка). Примерами таких программ могут быть tcpdump и Wireshark . Существует реализация libpcap под Windows . В случае применения трансляции адресов на ПК-маршрутизаторе такой перехват можно осуществлять только на его внутреннем интерфейсе, подключенном к локальным пользователям. На внешнем интерфейсе, после трансляции, IP-пакеты не содержат информации о внутренних хостах сети. Однако при таком способе невозможно учесть трафик, создаваемый самим сервером в сети Интернет (что важно, если на нем работают веб– или почтовый сервис).

Работа libpcap требует поддержки со стороны операционной системы, что в настоящее время сводится к установке единственной бибилиотеки. При этом прикладная (пользовательская) программа, осуществляющая сбор пакетов, должна:

  • открыть необходимый интерфейс
  • указать фильтр, через который пропускать принятые пакеты, размер захватываемой части (snaplen), размер буфера,
  • задать параметр promisc, который переводит сетевой интерфейс в режим захвата вообще всех проходящих мимо пакетов, а не только адресованных MAC-адресу этого интерфейса
  • установить функцию (callback), вызываемую на каждый принятый пакет.

При передаче пакета через выбранный интерфейс, после прохождения фильтра эта функция получает буфер, содержащий Ethernet, (VLAN), IP и т.д. заголовки, общим размером до snaplen. Поскольку библиотека libcap копирует пакеты, заблокировать их прохождение при ее помощи невозможно. В таком случае программе сбора и обработки трафика придется использовать альтернативные методы, например вызов скрипта для помещения заданного IP-адреса в правило блокировки трафика.

Межсетевой экран


Захват данных, проходящих через межсетевой экран, позволяет учесть и трафик самого сервера, и трафик пользователей сети, даже при работе трансляции адресов. Главное в этом случае – правильно сформулировать правило захвата, и поставить его в нужное место. Данным правилом активируется передача пакета в сторону системной библиотеки, откуда приложение учета и управления трафиком может его получить. Для ОС Линукс в качестве межсетевого экрана применяют iptables, а средства перехвата – ipq, netfliter_queue или ulog . Для OC FreeBSD – ipfw с правилами типа tee или divert . В любом случае механизм межсетевого экрана дополняется возможностью работы с пользовательской программой следующим способом:
  • Пользовательская программа - обработчик трафика регистрирует себя в системе, используя системный вызов, или библиотеку.
  • Пользовательская программа или внешний скрипт устанавливает правило в межсетевой экран, “заворачивающее” выбранный трафик (согласно правилу) вовнутрь обработчика.
  • На каждый проходящий пакет обработчик получает его содержимое в виде буфера памяти (с заголовками IP и т.д. После обработки (учёта) программе необходимо также сообщить ядру операционной системы, что делать далее с таким пакетом - отбросить или передать далее. Как вариант, возможно передать ядру видоизмененный пакет.

Поскольку IP-пакет не копируется, а пересылается в программное обеспечение для анализа, становится возможным его «выброс», а следовательно, полное или частичное ограничение трафика определенного типа (например, до выбранного абонента локальной сети). Однако в случае, если прикладная программа перестала отвечать ядру о своем решении (зависла, к примеру), трафик через сервер просто блокируется.
Необходимо отметить, что описанные механизмы при существенных объемах передаваемого трафика создают избыточную нагрузку на сервер, что связано с постоянным копированием данных из ядра в пользовательскую программу. Этого недостатка лишен метод сбора статистики на уровне ядра ОС, с выдачей в прикладную программу агрегированной статистики по протоколу NetFlow .

Netflow
Этот протокол был разработан фирмой Cisco Systems для экспорта информации о трафике с маршрутизаторов с целью учета и анализа трафика. Наиболее популярная сейчас версия 5 предоставляет получателю поток структурированных данных в виде UDP-пакетов, содержащих информацию о прошедшем трафике в виде так называемых flow records:

Объем информации о трафике меньше самого трафика на несколько порядков, что особенно актуально в больших и распределенных сетях. Конечно же, блокировать передачу информации при сборе статистики по netflow невозможно (если не использовать дополнительные механизмы).
В настоящее время становится популярным дальнейшее развитие этого протокола – версия 9, основанная на шаблонной структуре flow record, реализации для устройств других производителей (sFlow). Недавно был принят стандарт IPFIX, который позволяет передавать статистику и по протоколам более глубоких уровней (например, по типу приложения).
Реализация netflow-источников (агентов, probe) доступна для ПК-маршрутизаторов, как в виде работающих по описанных выше механизмам утилит (flowprobe, softflowd), так и непосредственно встроенных в ядро ОС (FreeBSD: ng_netgraph , Linux: ). Для программных маршрутизаторов поток статистики netflow можно принимать и обрабатывать локально на самом маршрутизаторе, или отправлять по сети (протокол передачи – поверх UDP) на принимающее устройство (коллектор).


Программа - коллектор может собирать сведения от многих источников сразу, имея возможность различать их трафик даже при пересекающихся адресных пространствах. При помощи дополнительных средств, таких как nprobe возможно также проводить дополнительную агрегацию данных, раздвоение потоков или конвертацию протоколов, что актуально при управлении большой и распределенной сетью с десятками маршрутизаторов.

Функции экспорта netflow поддерживают маршрутизаторы Cisco Systems, Mikrotik, и некоторые другие. Аналогичный функционал (с другими протоколами экспорта) поддерживается всеми крупными производителями сетевого оборудования.

Libpcap “снаружи”
Немного усложним задачу. Что, если ваше устройство доступа – аппаратный маршрутизатор другого производителя? Например, D-Link, ASUS, Trendnet и т.д. На нем, скорее всего, невозможно поставить дополнительное программное средство съема данных. Как вариант – интеллектуальное устройство доступа у вас есть, но настроить его не представляется возможным (нет прав, или оно управляется вашим провайдером). В таком случае можно собирать информацию о трафике непосредственно в точке стыка устройства доступа с внутренней сетью, пользуясь «аппаратными» средствами копирования пакетов. В таком случае непременно потребуется отдельно стоящий сервер с выделенной сетевой картой для приема копий Ethernet-пакетов.
Сервер должен использовать механизм сбора пакетов по методу libpcap, описанному выше, и наша задача - на вход выделенной для этого сетевой карты подать поток данных, идентичный выходящему из сервера доступа. Для этого можно использовать:
  • Ethernet – хаб (hub): устройство, просто пересылающее пакеты между всеми своими портами без разбора. В современных реалиях его можно найти где-нибудь на пыльном складе, и применять такой метод не рекомендуется: ненадежно, низкая скорость (хабов на скорости 1 Гбит/с не бывает)
  • Ethernet – коммутатор с возможностью зеркалирования (мирроринга, SPAN портов . Современные интеллектуальные (и дорогие) коммутаторы позволяют копировать на указанный порт весь трафик (входящий, выходящий, оба) другого физического интерфейса, VLANа, в том числе удаленного (RSPAN)
  • Аппаратный раздвоитель , который может потребовать установки для сбора двух сетевых карт вместо одной – и это помимо основной, системной.


Естественно, вы можете настроить SPAN-порт и на самом устройстве доступа (маршрутизаторе), если оно это позволяет – Cisco Catalyst 6500, Cisco ASA. Вот пример такой конфигурации для коммутатора Cisco:
monitor session 1 source vlan 100 ! откуда берем пакеты
monitor session 1 destination interface Gi6/3! куда выдаем пакеты

SNMP
Что, если маршрутизатора под нашим контролем нет, с netflow связываться нет желания, нас не интересуют детали трафика наших пользователей. Они просто подключены в сеть через управляемый коммутатор, и нам надо просто грубо оценить объем трафика, приходящегося на каждый из его портов. Как вы знаете, сетевые устройства с возможностью удаленного управления поддерживают, и могут отобразить счетчики пакетов (байт), проходящих через сетевые интерфейсы. Для их опроса правильно будет использовать стандартизованный протокол удаленного управления SNMP . При помощи его можно достаточно просто получить не только значения указанных счетчиков, но также другие параметры, такие как имя и описание интерфейса, видимые через него MAC-адреса, и другую полезную информацию. Это делается как утилитами командной строки (snmpwalk), графическими SNMP-браузерами, так и более сложными программами мониторинга сети (rrdtools , cacti , zabbix , whats up gold и т.д.). Однако, данный метод имеет два существенных недостатка:
  • блокировка трафика может производиться только путем полного отключения интерфейса, при помощи того же SNMP
  • счетчики трафика, снимаемые по SNMP, относятся к сумме длин Ethernet-пакетов (причем unicast, broadcast и multicast по-отдельности), в то время как остальные описанные ранее средства дают величины относительно IP-пакетов. Это создает заметное расхождение (особенно на коротких пакетах) из-за оверхеда, вызванного длиной Ethernet-заголовка (впрочем, с этим можно приближенно бороться: L3_байт = L2_байт - L2_пакетов*38).
VPN
Отдельно стоит рассмотреть случай доступа пользователей к сети путем явного установления соединения к серверу доступа. Классическим примером может служить старый добрый dial-up, аналогом которого в современном мире являются VPN-службы удаленного доступа (PPTP, PPPoE, L2TP, OpenVPN, IPSEC)


Устройство доступа не только маршрутизирует IP-трафик пользователей, но также представляет из себя специализированный VPN-сервер, и терминирует логические туннели (часто зашифрованные), внутри которых передается пользовательский трафик.
Для учета такого трафика можно пользоваться как всеми средствами, описанными выше (и для глубокого анализа по портам/протоколам они хорошо подходят), так и дополнительными механизмами, которые предоставляют средства управления VPN-доступом. В первую очередь речь пойдет о протоколе RADIUS . Его работа – достаточно сложная тема. Мы же кратко упомянем, что контролем (авторизацией) доступа к VPN-серверу (RADIUS-клиенту) управляет специальное приложение (RADIUS-сервер), имеющее за собой базу (текстовый файл, SQL, Active Directory) допустимых пользователей с их атрибутами (ограничения по скорости подключения, назначенные IP-адреса). Помимо процесса авторизации, клиент периодически передает серверу сообщения аккаунтинга, информацию о состоянии каждой текущей работающей VPN-сессии, в том числе счетчики переданных байт и пакетов.

Заключение

Сведем все описанные выше методы сбора информации о трафике воедино:

Подведем небольшой итог. На практике существует большое количество методов присоединения управляемой вами сети (с клиентами или офисными абонентами) к внешней сетевой инфраструктуре, с использованием ряда средств доступа – программных и аппаратных маршрутизаторов, коммутаторов, VPN-серверов. Однако практически в любом случае можно придумать схему, когда информация о переданном по сети трафике может быть направлена на программное или аппаратное средство его анализа и управления. Возможно также, что это средство позволит осуществлять обратную связь с устройством доступа, применяя интеллектуальные алгоритмы ограничения доступа для отдельных клиентов, протоколов и прочего.
На этом закончу разбор матчасти. Из неразобранных тем остались:

  • как и куда попадают собранные данные о трафике
  • программное обеспечение для учета трафика
  • чем отличается биллинг от простой “считалки”
  • как можно накладывать ограничение на трафик
  • учёт и ограничение посещенных веб-сайтов

Если заметили ошибку, выделите фрагмент текста и нажмите Ctrl+Enter
ПОДЕЛИТЬСЯ: