Как читать рейтинг

Таблица рейтинга выглядит просто: названия инструментов, несколько чисел, место. Но если не знать, откуда эти числа берутся, легко сделать неверный вывод — например, объявить «самым быстрым VPN в Китае» инструмент, который дважды протестировали в тихий час. Эта страница объясняет правило, стоящее за каждым столбцом. Правила намеренно совпадают с Circumvention Central от GreatFire, чтобы две таблицы можно было сравнивать напрямую.

Медианы, а не средние

Столбцы скорости, задержки и стабильности — это медианы. Берем все тесты инструмента за выбранный период, сортируем по скорости, выбираем средний — это и есть «скорость (медиана)» инструмента.

Почему не среднее арифметическое? Потому что данные о скорости обхода блокировок сильно перекошены. Инструмент, который обычно выдает 1 МБ/с, однажды ночью показывает 20 МБ/с — может, маршрут был пустым, может, тестирующий забыл сбросить локальный кэш. Среднее подскакивает; медиана почти не двигается. То же верно и в обратную сторону: один тест, задушенный до нуля, не утащит стабильно хороший инструмент на дно. GreatFire использует медианы, и мы этот подход сохранили.

Задержка и стабильность подчиняются той же логике. Задержка отдельного теста — уже медиана двадцати замеров внутри него, а таблица берет медиану по тестам. Получается медиана медиан, которая намеренно нечувствительна к выбросам.

Почему нужно минимум пять тестов за 48 часов

Чтобы попасть в рейтинг (мы говорим «войти в пул»), инструменту нужно не менее 5 тестов за выбранный период, причем первый и последний из них должны отстоять друг от друга не менее чем на 48 часов.

Пять — это нижняя планка, а не статистически строгий порог, но она отсекает самый частый шум: кто-то ставит новый инструмент и прогоняет его три раза подряд — тот же маршрут, тот же час. Требование о 48 часах решает другую задачу. Пять тестов за один вечер и пять тестов, разбросанных по неделе, несут очень разное количество информации. Великий китайский файрвол ведет себя по-разному в зависимости от времени суток; вечерний пик и три часа ночи могут оказаться двумя разными сетями. Данные, охватывающие хотя бы два дня, пережили полный суточный цикл.

Инструменты, не прошедшие эти условия, не скрываются. У них по-прежнему показаны скорость, задержка, стабильность и число тестов, но в столбце места стоит «—», и они опускаются ниже ранжированных. Наведите курсор на прочерк — увидите порог. Если там оказался ваш любимый инструмент, проще всего запустить тест самостоятельно: еще несколько прогонов в разные дни, и он войдет в пул.

Как считается место и откуда берутся ничьи

Место — это не просто отсортированный столбец скорости. Оно объединяет все три метрики:

1. Для каждого инструмента в пуле вычисляются место по скорости, место по задержке и место по стабильности. Место по одной метрике = 1 + число участников пула, которые строго лучше по этой метрике. Выше скорость — лучше, ниже задержка — лучше, выше стабильность — лучше.
2. Три места усредняются в score. Чем меньше, тем лучше.
3. Сортировка по score по возрастанию. Это и есть итоговый «рейтинг».

Шаг 1 использует так называемое соревновательное ранжирование: если три инструмента показывают по 5,0 МБ/с и никто их не обгоняет, все трое получают место 1 по скорости, а следующий — место 4, а не 2. Из-за этого значения score могут совпадать, и в таблице появятся одинаковые места. Это не ошибка: это значит, что данные действительно не позволяют их разделить.

Одна деталь: если у инструмента какая-то метрика отсутствует целиком (скажем, ни один из его тестов не записал стабильность), место по этой метрике ставится равным «размер пула + 1» — позади всех. Отсутствующие данные никогда не дают преимущества.

Пример. В пуле четыре инструмента. Инструмент A — 1-й по скорости, 3-й по задержке, 1-й по стабильности: score (1+3+1)/3 ≈ 1,67. Инструмент B — 2-й, 1-й, 1-й: score 1,33. B оказывается выше A, хотя A быстрее, потому что B хорош во всем. Именно поэтому «самый быстрый» и «первый в рейтинге» — часто разные инструменты.

Переключатель «только сервисы»

У каждого инструмента в каталоге есть provider_type: service (коммерческий провайдер) или self-hosted (клиентское ПО, которое вы направляете на собственный сервер — клиенты Shadowsocks, V2Ray, sing-box и подобные).

При включенном режиме «только сервисы» к пулу добавляется еще одно условие: ранжируются только инструменты типа service. Причина в том, что «скорость» self-hosted инструмента на самом деле измеряет сервер и маршрут, которые купил тестирующий, а не само ПО. Два человека с sing-box — один на гонконгской BGP-машине, другой на дешевом VPS на западном побережье США — дают медиану, которая не описывает ни одного из них. Коммерческие провайдеры, напротив, пропускают всех пользователей через один и тот же набор выходных узлов, поэтому их медиана действительно что-то значит.

Включайте переключатель, когда выбираете провайдера. Выключайте, когда хотите увидеть, как в целом обстоят дела у self-hosted решений.

Столбец «рейтинг GreatFire»

Крайний правый столбец — «рейтинг GreatFire». Он не копируется со страницы источника. При каждой синхронизации мы сохраняем агрегаты GreatFire за соответствующий период и локацию — медианные скорость, задержку, стабильность, число тестов и временной охват каждого инструмента — как снимок, а затем прогоняем на этом снимке ровно тот же алгоритм, что описан выше.

Так что единственная разница между нашим местом и местом GreatFire — набор данных. Наше использует все тесты в нашей базе (импортированные плюс проведенные здесь); GreatFire — их агрегаты на момент последнего снимка. Когда они расходятся, обычно дело в одном из трех: тесты на этом сайте сдвинули инструмент вверх или вниз, снимок устарел на несколько часов, или границы периода у двух сайтов отличаются на несколько часов. Разница в одно-два места — норма. Большой разрыв стоит рассмотреть внимательнее.

Фильтры

Период по умолчанию — 60 дней, как у GreatFire. Можно выбрать сегодня, 7 дней, 30 дней, 60 дней, 90 дней или все время. Короткие окна ранжируют меньше инструментов, но отражают «прямо сейчас»; длинные — ровнее, но могут включать маршруты, которые с тех пор заблокировали.

Фильтр локации — это локация, которую тестирующий выбрал, а не выведенная из IP: после прохождения через туннель ваш IP все равно за рубежом, так что вывод по нему был бы бессмысленным. Операционная система берется из User-Agent браузера.

«Источник» позволяет показать все, только импорт из GreatFire или только тесты, проведенные на BreakHub. Последнее пока гораздо меньшая выборка, но это единственные данные с полной детализацией по каждому тесту.

Насколько свежие данные

Импортированные данные GreatFire синхронизируются инкрементально каждый час в пятнадцать минут, с полной сверкой ежедневно в 03:30 UTC. Тесты, отправленные здесь, сохраняются сразу; рейтинг кэшируется на пять минут, так что свой прогон вы увидите в таблице максимум через пять минут. Строка «последняя синхронизация» внизу страницы показывает последний успешный импорт.

Вопросы и ответы

Почему инструмент на первом месте — не самый быстрый? Потому что место объединяет скорость, задержку и стабильность. Инструмент, который близок к вершине по всем трем, обгоняет чемпиона по скорости с худшей задержкой в пуле.

Я только что запустил тест — почему у моего инструмента по-прежнему «—»? Для рейтинга нужно не менее пяти тестов, охватывающих 48 часов и больше. Прогоните еще несколько в разные дни, и он появится.

Почему наш рейтинг и рейтинг GreatFire различаются? Тот же алгоритм, другой набор данных. Мы включаем тесты, проведенные на этом сайте, а снимок отстает на несколько часов. Расхождение в одно-два места ожидаемо.

Можно ли накрутить медиану? Гораздо сложнее, чем среднее. Чтобы поднять медиану, придется сделать высокими больше половины всех тестов, причем на протяжении не менее 48 часов. Кроме того, мы оставляем за собой возможность скрывать явно фиктивные записи.