Webスクレイピングの指紋とプロキシ設定ガイド：ブロックされない構成の考え方

要点：採集がブロックされる原因は一箇所に集中せず、プロキシ・指紋・採集ペースの三層に分散するのが普通です。設定順序はパラメータの数より重要です。まず各タスクのプロキシ出口を固定します。次に環境へ一貫した論理の指紋パラメータを用意します。最後にリクエスト頻度を対象サイトが受け入れられる範囲まで抑えます。本稿はこの順序で設定チェックリストを示します。Local API で環境管理をスクリプトに組み込む方法も解説します。

「プロキシを十数本買ったのに。」ブロックはむしろ頻繁になりました。スクレイピングを行うチームは予算をプロキシに傾けがちですが、問題は本数にあるとは限りません。同じ出口を高頻度で出入りするリクエスト。全セッションが共有する同一のブラウザ特性。認証が発生しても予定どおり動き続ける動作。どれか一層でも崩れると、買った出口がまとめて巻き込まれます。連鎖です。

製品の形態から見ると、MostMate は指紋ブラウザという種類のツールです。アカウントごとに独立したブラウザ環境を割り当て、プロキシ・指紋パラメータ・ログイン状態を環境の中で管理します。スクレイピングの場面に当てはめると、一つの環境が一つの採集タスクの実行単位になります。環境同士は出口もデバイス特性も共有しません。プロキシがリクエストの回線を決めます。指紋が対象サイトに見えるデバイスの姿を決めます。この二層が安定の土台です。ペース制御はその次です。

ブロックの兆候は三層に分かれる。だから設定順序が決まる

アンチボットの検査はおよそ三層に沿って展開されます。層ごとに見る対象が違い、取るべき設定も変わります：

• 接続層：対象サイトはまず、リクエストがどの IP から来てどの種類かに着目します。同一出口の高頻度アクセスや、フラグ付き網域（IP レンジ）への着地は、最初に止められやすい部分です。
• デバイス層：ページスクリプトが Canvas、WebGL、フォント一覧、タイムゾーンなどの値を読み、訪問者が実在する正常なデバイスかを判定します。
• 行動層：リクエスト間隔、閲覧経路、ログイン後の操作テンポです。機械的に一定のパターンが続くと、疑いが積み上がります。

三層が崩れる順序が、設定の順序を決めます。出口が固まらないうちは、言語・タイムゾーン・位置情報など IP と連動する項目に置き場所がありません。デバイス特性が固定できないうちは、ペースをどれだけ自然にしても無駄です。対象サイトには同一マシンの高頻度アクセスにしか見えません。だから作業順序はプロキシ、指紋、ペースの順です。以下のセクションもこの流れに沿います。

プロキシの設定：本数より出口の安定

採集タスクごとに専用の出口を一本固定する方が、ローテーション IP を積み上げるより安定した採集に近づきます。複数タスクが同じ出口を共有すると、一つがリスク制御に触れた瞬間、他タスクも巻き込まれがちです。連鎖しやすい状態です。出口を分ければ、タスク間は少なくとも接続層で干渉せず、障害の切り分けも該当回線へ直行します。

出口の種類はどう決めるか。リスク制御の強さで決めます。緩いサイトならデータセンター IP のコストで足り、主要なECやSNSなら住宅 IP の生存時間が長めです。両者の信頼度の差、コスト構造、適した場面の比較は、住宅 IP とデータセンター IP の選び方ガイドを判断材料にしてください。感覚に頼らずに済みます。

MostMate の場合、プロキシはプロキシ管理リストで個別に管理します。HTTP、HTTPS、SOCKS5、SSH の四種類のプロトコルに対応します。入力ごとに Check proxy ボタンで接続性と出口の帰属をその場で確認できます。接続を確認します。確認できたら環境へ割り当てます。環境フォームのプロキシ設定は三段階です。不使用、カスタム、選択の三つで、採集環境には三つ目がお勧めです。出口がリストに集約されるため、どのタスクがどの回線を使うか一目で分かります。

プロキシの層が終わったら、次はデバイス特性です。

指紋パラメータの決め方：一貫性を優先、ランダムは慎重に

採集環境の指紋の目標は、同一環境が長期にわたり同一の正常デバイスとして見えることです。この目標に沿って、パラメータは二系統に分けて扱います。出口と連動するものは自動合わせに任せ、デバイス自身のものは長期固定のセットにします。

言語設定、UI 言語、タイムゾーン、位置情報の四項目は、既定で IP ベースの設定に従います。出口が決まれば値が自動でそろい、出口の変更時の確認の手間を一巡省けます。OS とブラウザのバージョンは一つの組み合わせを選んで固定し、UA がそれに従って生成されます。タスク期間中は固定です。画面解像度、CPU コア数、メモリ、フォント一覧は実値のまま、宣言するシステムと一致させます。

描画系パラメータの扱いには一段の注意が要ります。Canvas や WebGL といった画像・音声出力について、UI が提供するのはノイズモードです。実値の上に軽い揺らぎを重ねます。デバイス本来の論理は保たれます。検知側が受け取るのは依然として整合の取れた出力です。ランダム値がなぜかえって危険なのかは、指紋パラメータをランダムにしてはいけない理由の論証が参考になります。

採集環境での具体的な運用はこうです。描画系はノイズモードを選び、ランダムモードは使いません。設定後の確認も感覚に頼りません。環境作成フォームの右側にある指紋プレビューパネルに、タイムゾーンや Canvas の段位などがリアルタイムで並びます。保存前に一目見るだけです。明らかなズレはその場で分かります。

ペースとログイン状態：行動層の不確実性を下げる

新規タスクの試験運用は三段階で進めます：

1. 起点を決める：一桁の並列数、秒単位の間隔で、まず一〜二日動かします。認証の出現状況と異常レスポンスの割合を記録します。 2. 境界を見つける：認証が出た時点で一段前の頻度へ戻します。その段階が、この出口の現時点での安全境界です。 3. 荷重を上げる：境界内で数日安定したら、並列数を小幅に上げます。間隔には基準値へランダムな揺らぎを加え、そろったリクエストのリズムを避けます。

ログイン状態は環境の中に保持します。ログインが必要なデータは、一度ログインすれば Cookie とセッションを環境が保存します。次回も続きから使えます。再ログインの認証コストを省けるうえ、頻繁なログイン自体が怪しいシグナルになるのを避けられます。手を動かす前に、採集範囲を確認します。robots プロトコルと利用規約が、タスクの長期運用の可否を決めます。プロトコルの詳細は MDN の robots.txt 項目を参照できます。この確認がすべての設定パラメータより先です。

Local API で環境をスクレイピングスクリプトにつなぐ

環境が増えると、手動の切り替えではスクリプトのテンポに追いつきません。MostMate は Local API を提供します。ローカルインターフェースに API キーを組み合わせ、セキュリティ検証を有効にすると全リクエストに Key が要ります。スクレイピングスクリプトはこれ経由で環境の起動・停止・状態照会ができます。どの環境で走らせるかは、コードに任せられます。ウィンドウ同期、RPA、API のそれぞれが適する場面は、複数アカウント自動化の選定ガイドで比較されており、純スクリプトの採集は主に API の線に当たります。

ページ単位の採集では自動化フレームワークでブラウザを動かすのが一般的で、Playwright の導入と始め方は公式ドキュメントに一通り載っています。組み合わせ方は素直です。スクリプトが先に Local API で指定環境を開きます。自動化フレームワークがページ操作を引き継ぎます。採集が終わったら、環境を閉じます。

ページリクエストは完全なブラウザ環境から発行されます。Cookie・ストレージ・指紋パラメータが環境の中に残るため、素の HTTP リクエストより多くの特性を保てます。環境・プロキシ・指紋という概念の製品内での全体関係は、MostMate とはのページで体系的に紹介されています。スクリプトを書く前に一読すると、理解が速くなります。API の戻り値のフィールドも同じです。

Local API の呼び出し回数にはプラン条件があり、UI では半年以上のプランで開放と明記されています。まずはここを確認します。仕組みを組んだ後で呼び出し制限に気づくのを避けるためです。

よくある質問

採集タスクごとにプロキシを一本ずつ用意すべきですか？

判断の軸は二つ。リスク制御の強さとタスク量です。制御が厳しくタスクの重いサイトなら、専用出口一本の価値があります。低頻度の小タスクは一本を共用できます。ただし共用するタスクは、業務上も無関係である方が安全です。一つがフラグを立てると、同出口の他タスクが巻き込まれやすいためです。

指紋パラメータは定期的に変えるべきですか？

変えません。同一環境では長期固定こそが目標で、頻繁な変更はデバイス特性の連続性を損ないます。動かすのは出口の交換時や、パラメータのズレが見つかった時に、該当項目だけです。

requests で直接リクエストすれば十分では？

単純な API なら十分です。requests のようなライブラリはページスクリプトを実行しないため、完全なブラウザ特性は取れません。こうしたライブラリは、描画不要の公開 API に向いています。ページ単位の採集や制御の厳しいサイトでは、完全なブラウザ環境で動かす方が安定します。まずは小さく試します。

データが突然空で返るようになったら、何を確認すべき？

まずは頻度を疑います。頻度を下げて一〜二日観察します。それでも異常が続くなら、出口と指紋の一致性を照合し、ブラウザ環境で同じページへ手動アクセスしてみます。サイト構造の変化か、アクセスの遮断かを切り分けます。出口の交換は最後です。

おわりに

採集が長く続くかは、三層の設定が同時に成立するかにかかります。出口の安定、指紋の一致、ペースの抑制です。どの一層が崩れても、残り二層のコストが膨らみます。MostMate はプロキシ・指紋・ログイン状態を各環境に収めます。環境がそのままタスクの実行単位です。Local API と組み合わせれば、既存のスクレイピングスクリプトへ直結できます。

最初の採集タスクを作るなら、MostMate のダウンロードから始めて、無料版の環境で小さなサイトの監視を一つ通し、その後ほかのタスクへ段階的に広げるのが動かしやすい順路です。