Как настроить отпечаток и прокси для веб-скрапинга: порядок конфигурации для стабильного сбора

Главный вывод: причины блокировок редко сосредоточены в одной точке, чаще они распределены по трём уровням: прокси, отпечаток и темп сбора. Порядок настройки важнее количества параметров. Сначала закрепите за каждой задачей свой прокси-выход. Затем задайте окружению логично согласованный набор параметров отпечатка. И наконец снизьте частоту запросов до уровня, который целевой сайт готов принимать. В статье по этому порядку дан чек-лист настройки и показано, как через Local API подключить управление окружениями к скрипту сбора.

«Купили с десяток прокси.» А блокировки стали приходить ещё чаще. Команды, занимающиеся сбором данных, обычно вкладывают бюджет именно в прокси, но проблема не обязательно в их количестве. Запросы на высокой частоте ходят через один и тот же выход, все сессии несут один и тот же набор характеристик браузера, а после срабатывания проверки скрипт продолжает идти по прежнему плану: сбой на любом из уровней утянет за собой и купленные выходы.

По форме продукта MostMate относится к антидетект-браузерам: каждому аккаунту выделяется отдельная среда браузера, а прокси, параметры отпечатка и состояние входа хранятся и управляются внутри окружения. В сценарии сбора одно окружение соответствует одной единице выполнения задачи, и окружения не делят между собой ни выход, ни характеристики устройства. Прокси решает, по какой линии уйдёт запрос, отпечаток решает, какую машину увидит целевой сайт. Когда эти два уровня настроены стабильно, у контроля темпа появляется простор для работы.

Сигналы блокировок делятся на три уровня, и от этого зависит порядок настройки

Проверка одного визита со стороны антибот-системы разворачивается примерно по трём уровням. Уровни смотрят на разные объекты, и действия по настройке тоже различаются:

• Уровень подключения: целевой сайт сначала смотрит, с какого IP пришёл запрос и к какому типу он относится. Высокочастотный трафик через один и тот же выход или попадание в помеченный диапазон адресов блокируется в первую очередь.
• Уровень устройства: скрипты страницы читают Canvas, WebGL, список шрифтов, часовой пояс и другие параметры, чтобы определить, реальная и исправная ли это машина.
• Уровень поведения: интервалы между запросами, маршруты посещения, ритм действий после входа. Долго повторяющийся механический паттерн постоянно повышает уровень подозрений.

Порядок, в котором уровни выходят из равновесия, определяет порядок настройки. Пока выход не закреплён, параметрам, привязанным к IP, вроде языка, часового пояса и геолокации, просто не на что опираться; пока характеристики устройства не зафиксированы, какой бы естественной ни была настройка темпа, целевой сайт всё равно видит одну и ту же машину с высокой частотой запросов. Поэтому рабочая последовательность такая: сначала прокси, затем отпечаток, потом темп; дальше изложение идёт по этой линии.

Как настроить прокси: стабильность выхода важнее количества

Закрепить за каждой задачей сбора отдельный выход ближе к стабильному сбору, чем нагромождать ротацию IP. Когда несколько задач делят один выход, срабатывание риск-контроля у одной задачи часто тянет за собой остальные на том же выходе. После разделения выходов задачи как минимум не задевают друг друга на уровне подключения, а при разборе инцидента сразу видно, на какой линии проблема.

Тип выхода выбирают по строгости риск-контроля. Для сайтов с мягкой защитой хватает датацентровых IP. У крупных интернет-магазинов и соцсетей резидентные IP обычно живут дольше. Различия двух типов в уровне доверия, структуре затрат и областях применения лучше оценивать по сравнению из руководства по выбору между резидентными и датацентровыми IP, а не на ощупь.

Конкретно в MostMate прокси ведутся отдельно в списке управления прокси. Доступны все четыре протокола: HTTP, HTTPS, SOCKS5 и SSH, а каждую заполненную запись можно сразу проверить кнопкой Check proxy на связность и принадлежность выхода. После успешной проверки прокси распределяется по окружениям. В настройках прокси в форме окружения три варианта: без прокси, свой прокси, выбор прокси. Для окружений сбора советуем третий вариант. Все выходы собраны в одном списке, и сразу видно, какая линия закреплена за какой задачей.

Когда уровень прокси настроен, переходим к характеристикам устройства.

Как задать параметры отпечатка: сначала согласованность, случайность с осторожностью

Цель отпечатка для окружения сбора в том, чтобы одно окружение долго выдавало характеристики одной и той же нормальной машины. Отталкиваясь от этой цели, параметры делят на две группы: связанные с выходом отдаются автоподстройке, а собственные параметры устройства фиксируются одним набором и долго не меняются.

Язык, язык интерфейса, часовой пояс и геолокация по умолчанию настраиваются по IP (настройка на основе IP). Выход определён, значения выравниваются автоматически. При смене выхода экономится целый круг ручной сверки. Операционная система и версия браузера выбираются одной комбинацией и фиксируются, UA генерируется под них и не меняется весь цикл задачи. Разрешение экрана, число ядер CPU, объём памяти устройства и список шрифтов сохраняют реальные значения и остаются согласованными с заявленной системой.

С параметрами рендеринга стоит обращаться внимательнее. Canvas, WebGL и подобные модули формирования изображения и вывода звука в интерфейсе представлены режимом шума: на реальное значение накладывается лёгкое возмущение, при этом исходная логика устройства сохраняется. Проверяющая сторона по-прежнему получает самосогласованный набор выходных данных; почему случайные значения как раз опасны, помогает понять аргументация из статьи почему параметры отпечатка нельзя задавать случайно.

На практике для окружений сбора это выглядит вполне конкретно: для параметров рендеринга выбираем режим шума, а не случайный режим. После настройки параметры не нужно проверять на глаз: справа в форме создания окружения есть панель предпросмотра отпечатка, где часовой пояс, уровень Canvas и другие значения перечислены вместе в реальном времени. Один взгляд перед сохранением, и явные несоответствия видны сразу.

Темп и состояние входа: снижаем неопределённость на уровне поведения

Пробный запуск новой задачи можно провести в три шага:

1. Задать стартовую точку: единицы параллельных запросов, интервалы в секундах, поработать день-два. Записывать появление капч и долю аномальных ответов. 2. Найти границу: как только появилась капча, откатываться на предыдущую ступень частоты. Эта ступень и есть текущая безопасная граница данного выхода. 3. Наращивать объём: после нескольких дней стабильной работы в границах слегка увеличивать параллелизм. К базовому интервалу добавлять случайный джиттер, чтобы не допускать ровного и одинакового ритма запросов.

Состояние входа хранится внутри окружения. Для данных, доступных только после входа, достаточно войти один раз: Cookie и сессия сохраняются окружением, и в следующий раз работа продолжается с того же места. Это экономит затраты на повторные проверки при входе и не даёт самому действию частых входов стать подозрительным сигналом. До начала работы определите рамки сбора: правила robots.txt и условия сервиса решают, может ли задача работать долго; детали протокола можно посмотреть в статье robots.txt в MDN, и этот пункт стоит перед всеми параметрами настройки.

Подключаем окружения к скрипту сбора через Local API

Когда окружений много, включать и выключать их вручную не поспеть за скриптом. MostMate предоставляет Local API: локальный интерфейс с API-ключом, после включения проверки безопасности каждый запрос должен нести Key. Через него скрипт сбора может запускать и останавливать окружения, запрашивать их состояние и отдать коду решение о том, в каком окружении работать. Что подходит для синхронизации окон, RPA и API, сравнивается в руководстве по выбору для мультиаккаунтной автоматизации; чисто скриптовый сбор соответствует в основном линии API.

Для сбора на уровне страниц обычно используют браузер, управляемый фреймворком автоматизации; установка и начало работы с Playwright полностью описаны в официальной документации. Схема совместной работы проста: скрипт сначала через Local API открывает заданное окружение, затем фреймворк автоматизации берёт на себя операции со страницами внутри этого окружения, а по завершении сбора окружение закрывается.

Запросы страниц уходят из полноценной браузерной среды: Cookie, хранилище и параметры отпечатка остаются внутри окружения, и набор характеристик получается намного полнее, чем у голых HTTP-запросов. Общая связь понятий окружение, прокси и отпечаток в продукте системно описана на странице что такое MostMate; проглядите её перед написанием скрипта, и понимать поля ответов интерфейса будет намного быстрее.

У Local API есть порог по тарифу: в интерфейсе помечено, что он доступен в тарифах на полгода и дольше. Перед написанием скрипта уточните срок тарифа, чтобы не обнаружить ограничение вызовов после сборки процесса.

Частые вопросы

Нужен ли каждой задаче сбора отдельный прокси?

Смотрите по строгости риск-контроля целевого сайта и объёму задач. Для сайтов со строгой защитой и большим объёмом стоит выделить отдельный выход. Редким мелким задачам можно делить один. Но лучше, чтобы задачи в пуле были не связаны по бизнесу: одна метка легко тянет остальные задачи на том же выходе.

Нужно ли периодически менять параметры отпечатка?

Нет. Цель в том, чтобы параметры одного окружения долго оставались фиксированными: частая смена лишает характеристики устройства непрерывности. Трогать отдельный пункт стоит только при смене выхода или при обнаруженном несоответствии параметров.

Нельзя ли просто слать запросы через requests?

Для простых API можно. Библиотеки запросов вроде requests не исполняют скрипты страницы и не получают полный набор характеристик браузера. Такие библиотеки годятся только для открытых интерфейсов без рендеринга. Для постраничного сбора или сайтов со строгой защитой стабильнее работать в полноценной браузерной среде.

Данные внезапно стали возвращаться пустыми: что проверить сначала?

Сначала обработайте это как проблему частоты. Снизьте частоту и наблюдайте день-два. Если аномалия остаётся, сверьте согласованность выхода и отпечатка, затем вручную откройте ту же страницу в браузерной среде, чтобы отличить изменение структуры сайта от блокировки доступа. Замену выхода оставьте напоследок.

Заключение

Сможет ли сбор работать долго, зависит от того, выполняются ли все три уровня настройки одновременно: стабильный выход, согласованный отпечаток, сдержанный темп. Сбой на любом уровне увеличивает издержки двух остальных. MostMate собирает прокси, отпечаток и состояние входа в каждом окружении: окружение и есть единица выполнения задачи, а с Local API его можно напрямую подключить к существующему скрипту сбора.

Чтобы собрать первую задачу, начните со скачивания MostMate: на бесплатной версии окружений сначала прогоните мониторинг небольшого сайта, а затем постепенно переносите на другие задачи.