Як налаштувати відбиток і проксі для вебскрапінгу: підхід до конфігурації для стабільного збирання

Головний висновок: причини блокувань під час збирання даних рідко зосереджені в одній точці; здебільшого вони розподілені між трьома шарами: проксі, відбиток і темп збирання. Порядок налаштування важливіший за кількість параметрів. Спершу закріпіть окремий канал виходу за кожним завданням. Потім задайте середовищу логічно узгоджений набір параметрів відбитка. Насамкінець утримуйте частоту запитів у межах, прийнятних для цільового сайту. У цьому порядку стаття подає список налаштувань і пояснює, як через Local API підключити керування середовищами до скрипта збирання.

«Купив понад десяток проксі». А блокування почастішали. Команди, що збирають дані, часто вкладають бюджет у проксі, але проблема не обов'язково в їхній кількості. Високочастотний трафік через один і той самий канал виходу, всі сесії з одним набором ознак браузера, продовження роботи за початковим планом після спрацювання перевірки: розбаланс на будь-якому з цих шарів тягне на дно й куплені канали.

За формою продукту MostMate належить до антидетект-браузерів: кожному акаунту виділяється окреме середовище браузера, у якому зберігаються й керуються проксі, параметри відбитка та стан входу. У сценарії збирання даних одне середовище відповідає робочій одиниці одного завдання, і середовища не поділяють між собою канал виходу та ознаки пристрою. Проксі визначає, яким каналом підуть запити, а відбиток визначає, яким побачить цільовий сайт пристрій. Коли ці два шари стабільні, у контролю темпу з'являється простір для дії.

Сигнали блокування розподілені на три шари, і звідси випливає порядок налаштування

Перевірка одного візиту з боку антибот-систем розгортається приблизно на трьох шарах. Шари дивляться на різні об'єкти, тому відрізняються й дії з налаштування:

• Шар з'єднання: цільовий сайт спершу дивиться, з якого IP прийшов запит і якого він типу. Високочастотний трафік через один канал виходу або потрапляння в позначені сегменти мережі найшвидше призводить до блокування.
• Шар пристрою: скрипти сторінки зчитують Canvas, WebGL, список шрифтів, часовий пояс і подібні параметри, щоб визначити, чи є відвідувач справжнім і нормальним пристроєм.
• Шар поведінки: інтервали між запитами, маршрут відвідування, темп дій після входу. Довга механічно одноманітна схема постійно підвищує підозру.

Порядок, у якому шар виходить із рівноваги, визначає порядок налаштування. Поки канал виходу не закріплений, параметрам, пов'язаним із IP (мова, часовий пояс, геолокація), нема на що спиратися; а поки ознаки пристрою не зафіксовані, які б природними не були налаштування темпу, цільовий сайт бачить той самий пристрій, що відвідує його на високій частоті. Тому порядок дій такий: спершу проксі, потім відбиток, насамкінець темп; далі розділи розгортаються саме цією лінією.

Як налаштувати проксі: стабільний канал виходу важливіший за кількість

Окремий закріплений канал виходу для кожного завдання збирання наближає до стабільного збирання більше, ніж купа ротаційних IP. Коли кілька завдань поділяють один канал виходу, завдання, що спрацювало ризик-контроль, зазвичай зачіпає й інші завдання на тому самому каналі. Після розділення каналів завдання щонайменше не впливають одне на одне на шарі з'єднання, а під час пошуку несправності одразу видно, на якій лінії виникла проблема.

Тип каналу обирають за силою ризик-контролю. Для сайтів із м'яким контролем достатньо витрат на IP дата-центрів. На великих маркетплейсах і в соцмережах резидентні IP живуть зазвичай довше. Різницю в довірі, структуру витрат і сфери застосування обох типів варто оцінювати за порівнянням у посібнику з вибору між резидентними IP та IP дата-центрів, а не на око.

Конкретно в MostMate проксі ведуться окремо в списку проксі. Усі чотири протоколи, HTTP, HTTPS, SOCKS5 і SSH, мають окремі поля введення, а кожен запис можна одразу перевірити кнопкою Check proxy: і зв'язність, і належність каналу виходу. Після успішної перевірки проксі призначається середовищу. Налаштування проксі у формі середовища має три варіанти: без проксі, власний проксі, вибір проксі. Для середовищ збирання радимо третій варіант. Усі канали зібрані в одному списку, і з першого погляду видно, яким каналом користується кожне завдання.

Шар проксі налаштовано, далі переходимо до ознак пристрою.

Як визначити параметри відбитка: спершу узгодженість, випадковість з обережністю

Мета відбитка для середовища збирання полягає в тому, щоб те саме середовище довго показувало ознаки одного й того самого нормального пристрою. Навколо цієї мети параметри поділяються на дві групи: ті, що пов'язані з каналом виходу, віддаються автоматичному узгодженню, а власне ознаки пристрою фіксуються в наборі, який надовго не змінюється.

Мова, мова інтерфейсу, часовий пояс і геолокація, ці чотири параметри, типово працюють за налаштуванням на основі IP: після закріплення каналу значення узгоджуються самі, і під час зміни каналу економиться цілий раунд ручної звірки. Операційну систему та версію браузера обирають однією комбінацією і фіксують, UA формується відповідно і надалі не змінюється протягом усього циклу завдання. Роздільна здатність екрана, кількість ядер CPU, об'єм пам'яті пристрою та список шрифтів зберігають реальні значення, узгоджені із заявленою системою.

З параметрами рендерингу варто поводитися найуважніше. Для Canvas, WebGL та подібних параметрів формування зображення й звуку інтерфейс пропонує шумовий режим: легке збурення поверх реального значення зі збереженням початкової логіки пристрою. Сторона, що перевіряє, отримує все ще несуперечливий набір результатів; чому випадкові значення натомість небезпечні, добре зрозуміти з аргументації у статті чому параметри відбитка не варто робити випадковими.

Практика для середовищ збирання цілком конкретна: для параметрів рендерингу обирайте шумовий режим, а не випадковий. Після налаштування не треба звіряти на око: праворуч у формі створення середовища розташована панель попереднього перегляду відбитка, де значення, від часового поясу до рівня Canvas, перелічені разом у реальному часі. Один погляд перед збереженням, і помітний розлад видно одразу.

Темп і стан входу: як знизити невизначеність на шарі поведінки

Пробний запуск нового завдання можна провести за трьома кроками:

1. Визначте стартову точку: поодинокі паралельні запити, інтервали в секундах, спершу попрацюйте день-два. Записуйте появу captcha та частку аномальних відповідей. 2. Знайдіть межу: щойно з'явилася captcha, відкотіться на попередній щабель частоти. Цей щабель і є поточною межею безпеки каналу. 3. Додавайте обсяг після цього: після кількох днів стабільної роботи в межах збільшуйте паралелізм невеликими кроками. Додавайте до базового інтервалу випадкове відхилення, щоб ритм запитів не був ідеально рівним.

Стан входу зберігається в середовищі. Для даних, що потребують входу, одного входу достатньо: Cookie та сесія зберігаються середовищем і використовуються далі під час наступного відкриття. Це економить витрати на перевірки під час повторних входів і не дає самому факту частих входів стати підозрілим сигналом. Перш ніж почати, спершу окресліть межі збирання. Протокол robots та умови користування визначають, чи може завдання працювати довго; деталі протоколу дивіться у статті robots.txt в MDN, і цей пункт стоїть попереду всіх параметрів налаштування.

Підключення середовищ до скрипта збирання через Local API

Коли середовищ стає багато, вмикати й вимикати їх вручну не встигаєш за скриптом. MostMate надає Local API: локальний інтерфейс і API-ключ; після увімкнення перевірки безпеки кожен запит мусить нести ключ. Через нього скрипт збирання може запускати й зупиняти середовища, запитувати їхній стан і доручає коду рішення, у якому середовищі запускати завдання. Що підходить для синхронізації вікон, RPA та API, порівняння є у посібнику з вибору для багатоакаунтної автоматизації; чисто скриптове збирання відповідає переважно лінії API.

Збирання на рівні сторінки зазвичай ведуть автоматизаційні фреймворки, що керують браузером; встановлення та початок роботи з Playwright повністю описані в офіційній документації. Зв'язка проста: скрипт спершу через Local API відкриває вказане середовище, потім фреймворк автоматизації переймає операції зі сторінками в цьому середовищі, а після завершення збирання середовище закривається.

Запити на рівні сторінки надсилає повноцінне браузерне середовище, у якому лишаються Cookie, сховища та параметри відбитка, тому такі запити зберігають значно повніші ознаки, ніж голі HTTP-запити. Загальні зв'язки між середовищами, проксі та відбитками в продукті системно описано на сторінці що таке MostMate; перегляньте її до написання скрипта, і розуміння полів відповідей інтерфейсу прийде значно швидше.

Кількість викликів Local API має поріг за тарифом; в інтерфейсі зазначено, що функція доступна для тарифів терміном від пів року. Перед написанням скрипта перевірте термін свого тарифу. Щоб не виявити обмеження викликів уже після того, як схема зібрана.

Часті запитання

Чи потрібне окреме проксі для кожного завдання збирання?

Оцінюйте за силою ризик-контролю цільового сайту та обсягом завдань. Для сайтів із суворим контролем і важкими завданнями вартий окремий власний канал. Малі завдання з низькою частотою можуть поділяти один канал. Але краще, щоб завдання, що поділяють канал, були бізнесово не пов'язані: одне потрапляння під позначку легко зачіпає інші завдання на тому самому каналі.

Чи потрібно періодично змінювати параметри відбитка?

Ні. Мета в тому, щоб параметри одного середовища надовго залишалися фіксованими; часті зміни позбавляють ознаки пристрою безперервності. Лише після заміни каналу або коли знайдено параметр, що збився, змінюють саме його.

Чи не можна просто надсилати запити через requests?

Для простих інтерфейсів можна. Бібліотеки запитів на кшталт requests не виконують скрипти сторінки і не отримують повного набору ознак браузера. Такі бібліотеки пасують лише для відкритих інтерфейсів, що не потребують рендерингу. Для збирання на рівні сторінки або сайтів із суворим ризик-контролем стабільніше працювати в повноцінному браузерному середовищі.

Дані раптом повертаються порожні: з чого почати перевірку?

Спершу ставтеся до цього як до проблеми частоти. Знизьте частоту і спостерігайте день-два. Якщо аномалія триває, звірте узгодженість каналу та відбитка, а потім вручну відкрийте ту саму сторінку в браузерному середовищі. Так ви розрізните зміну структури сайту та блокування доступу. І лише наприкінці розглядайте заміну каналу.

Підсумок

Чи зможе збирання працювати довго, залежить від того, чи тримаються одночасно всі три шари налаштування: стабільний канал, узгоджений відбиток, стриманий темп. Розбаланс на будь-якому шарі підсилює витрати двох інших. MostMate збирає проксі, відбиток і стан входу в кожне середовище, середовище є робочою одиницею завдання, а через Local API все це підключається прямо до наявного скрипта збирання.

Щоб налаштувати перше завдання збирання, почніть із завантаження MostMate: спершу за безкоштовними середовищами проведіть моніторинг невеликого сайту, а потім поступово розтиражуйте підхід на інші завдання.