Wie konfiguriert man Fingerprint und Proxy für Web-Crawler? Konfigurationsansatz gegen Blockierungen

Kernfazit: Wenn eine Erfassung blockiert wird, liegt die Ursache selten an einem einzigen Punkt; sie verteilt sich meist auf die drei Ebenen Proxy, Fingerprint und Erfassungstempo. Die Reihenfolge der Konfiguration ist wichtiger als die Zahl der Parameter. Zuerst den Proxy-Ausgang jeder Aufgabe festlegen. Dann der Umgebung einen logisch konsistenten Satz Fingerprint-Parameter geben. Zum Schluss die Request-Frequenz in den Bereich drücken, den die Ziel-Website toleriert. Dieser Artikel liefert die Konfigurationsliste in dieser Reihenfolge und zeigt, wie sich die Verwaltung der Umgebungen per Local API in das Scraping-Skript einbinden lässt.

„Ich habe ein Dutzend Proxys gekauft.“ Trotzdem kommen die Sperren immer häufiger. Teams im Scraping legen das Budget gern in Proxys an, doch das Problem liegt nicht unbedingt an deren Anzahl. Requests, die über denselben Ausgang mit hoher Frequenz ein- und ausgehen, Sitzungen, die alle dasselbe Browser-Profil mitführen, oder Läufe, die nach einer ausgelösten Verifikation einfach nach Plan weiterlaufen: Bringt nur eine Ebene das Gleichgewicht aus der Balance, zieht sie alle gekauften Ausgänge mit hinunter.

Vom Produkttyp her gehört MostMate zur Kategorie der Antidetect-Browser: Jedes Konto erhält eine eigene Browser-Umgebung, in der Proxy, Fingerprint-Parameter und Login-Status verwaltet werden. In das Scraping übersetzt entspricht jede Umgebung der Ausführungseinheit einer Aufgabe, und Umgebungen teilen sich weder Ausgang noch Gerätemerkmale. Der Proxy entscheidet, über welche Leitung die Requests hinausgehen; der Fingerprint entscheidet, was die Ziel-Website für ein Gerät sieht. Sind diese beiden Ebenen stabil, bleibt dem Tempo-Management Spielraum.

Die Blockiersignale verteilen sich auf drei Ebenen, daraus ergibt sich die Konfigurationsreihenfolge

Die Prüfung des Anti-Bot-Systems bei einem Besuch läuft grob über drei Ebenen. Jede Ebene betrachtet andere Objekte und verlangt andere Konfigurationsschritte:

• Verbindungsebene: Die Ziel-Website schaut zuerst, von welcher IP der Request kommt und welchen Typs sie ist. Hohe Frequenz über denselben Ausgang oder das Landen in einem markierten Netzsegment führt am ehesten zu einer frühen Sperre.
• Geräte-Ebene: Die Skripte der Seite lesen Parameter wie Canvas, WebGL, Font-Liste und Zeitzone, um zu beurteilen, ob der Besucher ein echtes und normales Gerät ist.
• Verhaltensebene: Request-Abstände, Besuchspfade, das Tempo der Aktionen nach dem Login. Ein dauerhaft mechanisch gleichförmiges Muster schürt kontinuierlich Verdacht.

Die Reihenfolge, in der die drei Ebenen aus dem Gleichgewicht geraten, bestimmt die Konfigurationsreihenfolge. Steht der Ausgang noch nicht fest, haben die IP-gekoppelten Parameter wie Sprache, Zeitzone und Standort nichts, woran sie sich anschließen können; sind die Gerätemerkmale nicht fixiert, sieht die Ziel-Website weiterhin dieselbe Maschine mit hoher Frequenz vorbeikommen, so natürlich das Tempo auch sein mag. Die Arbeitsreihenfolge lautet daher: erst Proxy, dann Fingerprint, dann Tempo. Die folgenden Abschnitte folgen dieser Linie.

Proxy konfigurieren: Ein stabiler Ausgang zählt mehr als die Menge

Einen unabhängigen Ausgang pro Erfassungsaufgabe festzulegen bringt stabiles Scraping näher als ein Stapel rotierender IPs. Teilen sich mehrere Aufgaben denselben Ausgang, zieht eine Aufgabe, die das Risikomanagement auslöst, die anderen am selben Kanal oft mit hinein. Mit unabhängigen Ausgängen beeinträchtigen sich Aufgaben zumindest auf der Verbindungsebene nicht mehr gegenseitig, und bei der Fehlersuche lässt sich direkt erkennen, auf welcher Leitung das Problem liegt.

Den Ausgangstyp wählt man nach der Intensität des Risikomanagements. Bei großzügigen Seiten reichen die Kosten für Datacenter-IPs. Bei großen E-Commerce- und Social-Media-Seiten halten Residential-IPs meist länger. Die Vertrauensunterschiede, Kostenstrukturen und Anwendungsfälle beider Arten lassen sich anhand des Vergleichs im Leitfaden zur Wahl zwischen Residential- und Datacenter-IPs abwägen, ganz ohne Bauchgefühl.

Konkret in MostMate werden Proxys separat in der Proxy-Verwaltungsliste gepflegt. Alle vier Protokolle HTTP, HTTPS, SOCKS5 und SSH sind anbindbar, und jeder eingetragene Proxy lässt sich mit dem Button Check proxy sofort auf Konnektivität und Ausgangszugehörigkeit testen. Nach dem erfolgreichen Test wird er der Umgebung zugewiesen. Die Proxy-Einstellungen im Umgebungsformular haben drei Stufen: kein Proxy, eigener Proxy, ausgewählter Proxy. Für Erfassungsumgebungen empfiehlt sich die dritte Stufe. Alle Ausgänge liegen zentral in der Liste, und auf einen Blick ist nachvollziehbar, welche Aufgabe über welche Leitung läuft.

Ist die Proxy-Ebene fertig, geht es weiter mit den Gerätemerkmalen.

Fingerprint-Parameter festlegen: Konsistenz zuerst, Zufall mit Vorsicht

Das Fingerprint-Ziel einer Erfassungsumgebung ist, dauerhaft wie ein und dasselbe normale Gerät aufzutreten. Entlang dieses Ziels werden die Parameter in zwei Gruppen behandelt: Was mit dem Ausgang gekoppelt ist, übernimmt der automatische Abgleich; was zum Gerät selbst gehört, wird als fester Satz langfristig unverändert gelassen.

Sprache, Oberflächensprache, Zeitzone und Standort sind standardmäßig auf die IP-Basis-Konfiguration eingestellt. Steht der Ausgang fest, richten sich die Werte automatisch daran aus; beim Wechsel des Ausgangs entfällt eine Runde manueller Prüfung. Betriebssystem und Browserversion werden als Kombination gewählt und fixiert, der UA entsteht daraus und bleibt über den gesamten Aufgabenzyklus unverändert. Bildschirmauflösung, CPU-Kerne, Gerätespeicher und Font-Liste behalten ihre realen Werte und stammen aus derselben Quelle wie das deklarierte System.

Wie man mit den Rendering-Parametern umgeht, verdient besondere Aufmerksamkeit. Für Bild- und Audioausgaben wie Canvas und WebGL bietet die Oberfläche eine Rauschstufe an: Sie legt eine leichte Störung über den realen Wert und bewahrt zugleich die ursprüngliche Logik des Geräts. Was der Prüfer erhält, bleibt ein in sich stimmiger Datensatz. Warum Zufallswerte gerade gefährlich sind, erschließt sich über die Argumentation in Warum Fingerprint-Parameter nicht zufällig sein sollten.

Für Erfassungsumgebungen lautet die Praxis ganz konkret: Bei den Rendering-Parametern die Rauschstufe wählen, nicht die Zufallsstufe. Und auch nach dem Konfigurieren muss niemand nach Gefühl prüfen: Rechts im Formular zum Erstellen einer Umgebung zeigt das Fingerprint-Vorschaupanel Zeitzone, Canvas-Stufe und weitere Werte in Echtzeit zusammen an. Ein Blick vor dem Speichern, und grobe Fehlstellungen fallen sofort auf.

Tempo und Login-Status: Die Unwägbarkeiten der Verhaltensebene senken

Den Probelauf einer neuen Aufgabe kann man in drei Schritte gliedern:

1. Startpunkt festlegen: einstellige Parallelität, Abstände im Sekundenbereich, zuerst ein bis zwei Tage laufen lassen. Notieren, wann Captchas auftauchen und wie hoch der Anteil auffälliger Antworten ist. 2. Grenze finden: Sobald ein Captcha erscheint, zurück zur vorherigen Frequenzstufe. Diese Stufe ist die aktuelle sichere Grenze dieses Ausgangs. 3. Volumen erhöhen: Nach mehreren Tagen stabilen Betriebs innerhalb der Grenze die Parallelität behutsam anheben. Den Abstand mit zufälligem Jitter versehen, damit der Request-Takt nicht wie aus einem Guss wirkt.

Der Login-Status bleibt in der Umgebung erhalten. Bei Daten, die einen Login voraussetzen, genügt eine einmalige Anmeldung: Cookie und Sitzung werden von der Umgebung gespeichert, und beim nächsten Öffnen geht es nahtlos weiter. Das spart die Verifikationskosten wiederholter Logins und verhindert zugleich, dass der häufige Login selbst zum verdächtigen Signal wird. Vor dem Start den Erfassungsumfang klären. robots.txt und die Nutzungsbedingungen entscheiden, ob eine Aufgabe dauerhaft laufen darf; Details zum Protokoll finden sich im robots.txt-Eintrag von MDN, und dieser Punkt kommt vor allen Konfigurationsparametern.

Umgebungen per Local API in das Scraping-Skript einbinden

Sind es viele Umgebungen, kommen sie beim manuellen Öffnen und Schließen nicht mehr hinter dem Skript her. MostMate bietet dafür die Local API: lokale Schnittstelle plus API-Schlüssel; nach Aktivierung der Sicherheitsprüfung muss jeder Request den Key mitführen. Über die API kann das Skript Umgebungen starten und schließen, ihren Status abfragen und die Entscheidung, welche Umgebung läuft, an den Code übergeben. Wofür Fenster-Synchronisation, RPA und API jeweils passen, ist im Auswahl-Leitfaden für Multi-Konto-Automatisierung verglichen; für reines Skript-Scraping ist vor allem die Linie der API relevant.

Scraping auf Seitenebene wird meist von einem Automatisierungs-Framework angetrieben; die Installation und die ersten Schritte mit Playwright sind in der offiziellen Dokumentation vollständig beschrieben. Die Kombination ist unkompliziert: Das Skript öffnet zuerst die gewünschte Umgebung über die Local API, danach übernimmt das Automatisierungs-Framework die Seitenoperationen in dieser Umgebung, und am Ende wird die Umgebung geschlossen.

Seitenrequests gehen von einer vollständigen Browser-Umgebung aus, mit Cookie, Speicher und Fingerprint-Parametern in der Umgebung; sie bewahren deutlich mehr Merkmale als nackte HTTP-Requests. Wie die Konzepte Umgebung, Proxy und Fingerprint im Produkt zusammenhängen, stellt die Seite Was ist MostMate systematisch dar. Wirf vor dem Skriptschreiben einen Blick darauf, dann verstehst du die zurückgegebenen Felder deutlich schneller.

Die Anzahl der Local-API-Aufrufe ist an den gebuchten Tarif gebunden; die Oberfläche weist darauf hin, dass sie in Tarifen ab einem halben Jahr Laufzeit verfügbar ist. Prüfe die Laufzeit deines Tarifs, bevor du mit dem Skript beginnst, und vermeide es, die Beschränkung erst zu entdecken, wenn der Ablauf schon steht.

Häufige Fragen

Braucht jede Erfassungsaufgabe einen eigenen Proxy?

Das hängt von der Strenge des Risikomanagements der Ziel-Website und vom Aufgabenvolumen ab. Bei strengen Seiten mit hoher Last lohnt sich ein exklusiver Ausgang. Kleine Aufgaben mit niedriger Frequenz können sich einen teilen, sollten aber fachlich nichts miteinander zu tun haben: Wird eine markiert, droht die Ansteckung der übrigen Aufgaben am selben Ausgang.

Müssen Fingerprint-Parameter regelmäßig erneuert werden?

Nein. Das Ziel ist, dass die Parameter derselben Umgebung dauerhaft fix bleiben; häufige Wechsel zerstören die Kontinuität der Gerätemerkmale. Nur beim Wechsel des Ausgangs oder bei entdeckten Fehlstellungen wird der betreffende Parameter angepasst.

Reichen direkte Requests mit requests nicht aus?

Für einfache Schnittstellen ja. Bibliotheken wie requests führen die Skripte der Seite nicht aus und erhalten nicht das volle Merkmalbild des Browsers. Sie eignen sich nur für offene Schnittstellen ohne Rendering. Für Scraping auf Seitenebene oder Seiten mit strenger Prüfung ist eine vollständige Browser-Umgebung stabiler.

Die Daten kommen plötzlich leer zurück: Was zuerst prüfen?

Zuerst als Frequenzproblem behandeln. Tempo senken und ein bis zwei Tage beobachten. Bleibt es auffällig, die Konsistenz von Ausgang und Fingerprint abgleichen und dieselbe Seite manuell über die Browser-Umgebung aufrufen. So lässt sich unterscheiden, ob sich die Seitenstruktur geändert hat oder der Zugriff blockiert wurde. Ein Austausch des Ausgangs ist der letzte Schritt.

Fazit

Ob eine Erfassung dauerhaft läuft, hängt davon ab, dass alle drei Ebenen gleichzeitig stimmen: stabiler Ausgang, konsistenter Fingerprint, maßvolles Tempo. Gerät eine Ebene aus dem Gleichgewicht, verteuert sie die anderen beiden. MostMate bündelt Proxy, Fingerprint und Login-Status in jeder Umgebung; die Umgebung ist die Ausführungseinheit der Aufgabe und lässt sich über die Local API direkt in bestehende Scraping-Skripte einbinden.

Für die erste Erfassungsaufgabe starte am besten über MostMate herunterladen: Mit den Umgebungen der Gratisversion erst die Überwachung einer kleinen Seite zum Laufen bringen und das Muster dann schrittweise auf weitere Aufgaben übertragen.