GreatFire и этот сайт

Большую часть данных в рейтинге этого сайта измеряли не мы. Они по расписанию импортируются из Circumvention Central проекта GreatFire. Это не скрывается: везде, где появляются импортированные данные, стоит строка «Источник данных: GreatFire Circumvention Central». На этой странице объясняется, кто такие GreatFire, откуда мы берем данные, как их забираем и помечаем и в чем мы с ними никак не связаны.

Кто такие GreatFire.org

GreatFire — анонимная группа, действующая примерно с 2011 года и занимающаяся мониторингом интернет-цензуры в Китае и противодействием ей. Известность ей принес GreatFire Analyzer — постоянно обновляемая база данных о том, какие URL и ключевые слова заблокированы в материковом Китае. Когда в новостях пишут «сайт X заблокирован в Китае», доказательства нередко ведут именно туда.

Дальше последовало несколько проектов. FreeWeibo собирал и показывал посты, удаленные из Weibo. «Collateral Freedom» — стратегия зеркалирования: размещать зеркала заблокированных сайтов на доменах крупных облачных провайдеров, чтобы цензор либо пропускал их, либо платил цену блокировки всего облака. AppleCensorship (позже вошедший в проект App Censorship) отслеживал, какие приложения Apple удаляет из App Store в каких странах. Проекты различаются масштабом и текущим состоянием — одни активны, другие заморожены, и точные сведения лучше смотреть на их собственном сайте.

Circumvention Central — один из их более поздних проектов.

Чем занимается Circumvention Central

Идея Circumvention Central (cc.greatfire.org, по-китайски «翻墙中心») проста: вместо субъективных оценок обзорных сайтов пусть реальные пользователи внутри сетей с ограничениями сами запускают тесты, а результаты сводятся в рейтинг. Пользователь нажимает кнопку в браузере, измеряет скорость, задержку и стабильность, выбирает местоположение и используемый инструмент, и результат анонимно уходит в публичный набор данных.

Рейтинг там фильтруется по региону (материковый Китай, Россия, Иран, Туркменистан, другое) и по операционной системе, агрегируется по медианам, и инструмент попадает в него только при наличии минимум пяти тестов, разнесенных по нескольким дням. Есть и публичный API — именно он сделал этот сайт возможным.

У подхода GreatFire есть очевидная сильная сторона: данные приходят из-за стены. Скорость, которую измерил обозреватель за рубежом, мало связана с тем, как тот же инструмент ощущается в Пекине в девять вечера. Слабость столь же очевидна: выборка зависит от добровольцев, поэтому у популярных инструментов данных много, а нишевые могут за месяцы набрать лишь горстку тестов.

Как этот сайт импортирует данные

Наша задача синхронизации выполняет инкрементальный импорт каждый час в пятнадцать минут, плюс полную сверку раз в сутки в 03:30 UTC, забирая публичные данные Circumvention Central в нашу базу. Переносятся четыре вещи: отдельные результаты тестов, агрегаты по каждой комбинации фильтров (по ним считается колонка «Ранг GreatFire»), каталог инструментов (включая метки сервис / свой сервер и бесплатный / платный) и общие медианы каждого региона.

Загрузка намеренно щадящая. Запросы представляются User-Agent BreakHub-sync с адресом этого сайта; все запросы идут последовательно с паузой не менее 300 мс между ними; при сбоях интервал растет и запрос повторяется; одновременно может выполняться только одна синхронизация. Нагрузка, которую мы создаем для источника, должна быть пренебрежимо малой.

Каждый импортированный результат помечается source = 'greatfire', а его идентификатор начинается с gf_ — в отличие от префикса bh_ у тестов, запущенных здесь. В интерфейсе импортированные данные несут значок источника GreatFire, а при открытии отдельного результата показывается ссылка на исходную страницу (cc.greatfire.org/en/test?id=…). Каждая страница с импортированными данными заканчивается пометкой «источник данных» и временем последней синхронизации.

Импортированные данные мы не изменяем. Записи, удаленные в источнике, здесь не удаляются немедленно, но полная синхронизация их сверяет; явно недостоверные записи могут быть скрыты (флаг hidden) — скрытые строки выпадают из статистики, но никогда не удаляются.

Сравнение двух рейтингов

Наш алгоритм ранжирования тот же, что и в Circumvention Central: усреднить ранги по каждой метрике и требовать минимум пять тестов на отрезке в 48 часов для попадания в пул. Сверх этого мы делаем две вещи.

Во-первых, мы считаем рейтинг по импортированным и локально запущенным тестам вместе, поэтому наш ранг может отличаться от исходного на одну-две позиции. Во-вторых, в таблице есть колонка «Ранг GreatFire», которая считается тем же алгоритмом по последнему снимку данных источника. Две колонки стоят рядом, чтобы вы сами могли судить, значима ли разница. Чтобы увидеть чистые данные источника, переключите фильтр «источник» на «Импорт из GreatFire».

Подробнее — в статье Как читать рейтинг.

Чем мы не являемся

Несколько вещей нужно сказать прямо.

Этот сайт не связан с GreatFire. Это не зеркало и не региональное отделение, и GreatFire его не одобряли. Мы используем их публичные данные и API, соблюдаем те нормы использования, которые можем наблюдать, и везде указываем источник. Если GreatFire попросит прекратить импорт, мы прекратим.

Этот сайт не принимает платные размещения, спонсорские места или метки «рекомендуем» ни от одного VPN-провайдера. Позиции в рейтинге определяются только данными, алгоритм задокументирован. Ссылки в каталоге инструментов ведут на домашние страницы провайдеров без каких-либо параметров отслеживания.

Тесты, запущенные здесь, и импортированные данные помечаются отдельно и никогда не смешиваются без указания источника. Каждый локальный результат содержит полную детализацию — скорость по каждому URL, задержку по каждому домену, проверку каждого изображения, — тогда как у импортированных результатов есть только сводные поля, которые предоставляет источник.

О приватности: мы не храним исходные IP-адреса посетителей. Только если вы выбрали инструмент обхода блокировок, мы сопоставляем внешний IP со страной и сохраняем ее код — это точка выхода туннеля, а не ваше местоположение. Лаборатория отпечатков хранит только хеши и грубые атрибуты, никогда — исходные данные canvas или аудио.

Что мы добавляем сверх импорта

Circumvention Central — это набор данных плюс рейтинг. Поверх него мы добавили тест доступности (открываются ли десять часто блокируемых сайтов), пиковую скорость в три потока, страницы истории по каждому инструменту, сравнение локальных данных и данных источника бок о бок и отдельную лабораторию отпечатков браузера. Первый язык сайта — китайский; английская версия полная, а не урезанная.

Если данные Circumvention Central вам полезны, запустите тест на cc.greatfire.org — он появится здесь в течение часа. Запускать тест здесь тоже можно; наши данные не передаются обратно в источник, но в нашем рейтинге они объединяются с его данными.

Вопросы и ответы

Это официальный сайт GreatFire? Нет. Это независимый проект, который использует их публичные данные с указанием источника.

Тесты, запущенные здесь, попадают в GreatFire? Нет. Данные остаются на этом сайте. Чтобы внести вклад в источник, тестируйте на cc.greatfire.org.

Почему бы просто не пользоваться сайтом GreatFire? Можно, и мы это поддерживаем. Этот сайт добавляет тексты с приоритетом китайского языка, дополнительные тесты, тренды истории, лабораторию отпечатков и оба набора данных в одном представлении.

Как часто обновляются импортированные данные? Инкрементально каждый час, полностью раз в сутки. Время последней синхронизации указано внизу каждой страницы.