Web kazıyıcı için parmak izi ve proxy nasıl yapılandırılır? Engellenmeye karşı yapılandırma yaklaşımı

Özet: Kazımanın engellenme nedeni nadiren tek bir noktada toplanır; çoğunlukla proxy, parmak izi ve kazıma hızı olmak üzere üç katmana dağılır. Yapılandırma sırası, parametre sayısından daha önemlidir. Önce her görevin proxy çıkışını sabitle. Sonra ortama mantıksal olarak tutarlı bir parmak izi parametre seti ver. En son istek sıklığını hedef sitenin tolere edebileceği aralığa çek. Bu makale bu sırayla bir yapılandırma listesi sunar ve Local API ile ortam yönetiminin kazıma betiğine nasıl bağlanacağını anlatır.

“Bir düzine proxy aldım.” Yine de engellemeler daha sık gelmeye başladı. Kazıma yapan ekipler bütçeyi çoğunlukla proxylere yorar; oysa sorun proxy sayısında olmayabilir. İstekler aynı çıkıştan yüksek sıklıkta girip çıkıyor, tüm oturumlar aynı tarayıcı imzasını taşıyor ve doğrulama tetiklendikten sonra betik eski plana göre koşmaya devam ediyor: Katmanlardan herhangi biri dengesizleştiğinde satın alınan tüm çıkışlar da beraber gider.

Ürün biçimi açısından MostMate antidetect tarayıcı kategorisine girer: her hesaba bağımsız bir tarayıcı ortamı tanımlanır; proxy, parmak izi parametreleri ve oturum durumu ortamın içinde yönetilir. Kazıma senaryosuna taşındığında her ortam bir kazıma görevinin çalışma birimine karşılık gelir ve ortamlar çıkışı da cihaz özelliklerini de paylaşmaz. Proxy, isteklerin hangi hat üzerinden çıkacağına karar verir; parmak izi, hedef sitenin nasıl bir cihaz göreceğini belirler. Bu iki katman sağlam kurulduğunda hız kontrolünün çalışacak alanı kalır.

Engellenme sinyalleri üç katmana ayrılır; yapılandırma sırası da buradan çıkar

Anti-bot sistemi bir ziyareti kabaca üç katman boyunca inceler. Her katman farklı nesnelere bakar ve farklı yapılandırma adımı gerektirir:

• Bağlantı katmanı: Hedef site önce isteğin hangi IP'den geldiğine ve tipine bakar. Aynı çıkıştan yüksek sıklıkta girip çıkmak ya da işaretlenmiş bir ağ aralığına düşmek en erken burada takılır.
• Cihaz katmanı: Sayfa betikleri Canvas, WebGL, font listesi, saat dilimi gibi parametreleri okuyup ziyaretçinin gerçek ve normal bir cihaz olup olmadığını değerlendirir.
• Davranış katmanı: İstek aralıkları, gezi yolu, girişten sonraki eylem temposu. Uzun süre mekanik biçimde tekdüze bir örüntü şüpheyi sürekli yükseltir.

Üç katmanın dengeden çıkma sırası, yapılandırma sırasını belirler. Çıkış sabitlenmeden dil, saat dilimi, konum gibi IP ile bağlantılı parametrelerin yaslanacağı bir şey olmaz; cihaz özellikleri sabitlenmeden tempo ne kadar doğal olursa olsun hedef site aynı makinenin yüksek sıklıkta ziyaretini görmeye devam eder. Bu yüzden çalışma sırası önce proxy, sonra parmak izi, en son hızdır. Aşağıdaki bölümler bu hattı izler.

Proxy nasıl yapılandırılır: Çıkışın kararlılığı sayıdan önemlidir

Her kazıma görevine ayrı bir çıkış sabitlemek, yığınla dönen IP kullanmaktan istikrarlı kazımaya daha yaklaştırır. Birden çok görev aynı çıkışı paylaştığında biri risk kontrolünü tetiklediğinde aynı hattaki öteki görevler de genellikle yanında sürüklenir. Çıkışlar bağımsızlaştığında görevler en azından bağlantı katmanında birbirini etkilemez; sorun çıktığında da sorunun hangi hatta olduğunu doğrudan görebilirsin.

Çıkış türü risk kontrolünün sertliğine göre seçilir. Gevşek denetimli sitelerde veri merkezi IP'nin maliyeti yeter. Büyük e-ticaret ve sosyal medya sitelerinde konut IP'ler genellikle daha uzun yaşar. İki türün güven farkını, maliyet yapısını ve kullanım alanlarını tahminle değil, konut IP ve veri merkezi IP seçim rehberindeki karşılaştırmayla değerlendirebilirsin.

MostMate'te proxy'ler proxy yönetim listesinde ayrıca tutulur. HTTP, HTTPS, SOCKS5 ve SSH olmak üzere dört protokolün de girişi vardır; her kayıt, Check proxy düğmesiyle anında bağlantı ve çıkış sahipliği açısından test edilebilir. Test geçildikten sonra ortama atanır. Ortam formundaki proxy ayarı üç seviyelidir: proxy kullanma, özel proxy, listeden proxy seçme. Kazıma ortamları için üçüncüsü önerilir. Tüm çıkışlar listede toplandığı için hangi görevin hangi hattı kullandığı tek bakışta görülür.

Proxy katmanı tamamlanınca sıra cihaz özelliklerine gelir.

Parmak izi parametreleri nasıl belirlenir: Tutarlılık önce, rastgelelik temkinli

Bir kazıma ortamının parmak izi hedefi, ortamın uzun süre aynı normal cihazın özelliklerini sunmasıdır. Bu hedefe göre parametreler ikiye ayrılır: çıkışla bağlantılı olanlar otomatik hizalamaya bırakılır, cihazın kendisine ait olanlar uzun vadede değişmeyen bir set olarak sabitlenir.

Dil, arayüz dili, saat dilimi ve konum varsayılan olarak IP tabanlı yapılandırmadadır. Çıkış belirlendikten sonra değerler kendiliğinden hizalanır; çıkış değişince manuel kontrol turu da gider. İşletim sistemi ve tarayıcı sürümü bir kombinasyon olarak seçilip sabitlenir; UA buna göre üretilir ve görev boyunca dokunulmaz. Ekran çözünürlüğü, CPU çekirdek sayısı, cihaz belleği ve font listesi gerçek değerlerde kalır ve beyan edilen sistemle aynı kaynaktan gelir.

Render parametrelerinin ele alınışı ayrıca dikkat ister. Canvas ve WebGL gibi görüntü ve ses çıkışları için arayüz bir gürültü seviyesi sunar: gerçek değerin üzerine hafif bir bozulma eklerken cihazın özgün mantığını korur. Denetleyicinin eline geçen yine kendi içinde tutarlı bir çıktı kümesidir. Rastgele değerlerin neden daha tehlikeli olduğu, parmak izi parametreleri neden rastgele olmamalı makalesindeki akıl yürütmeden anlaşılır.

Kazıma ortamlarında uygulama çok somut: Render parametrelerinde gürültü seviyesini seç, rastgele seviyeyi kullanma. Parametreler ayarlandıktan sonra da göz kararı kontrol gerekmez; ortam oluşturma formunun sağında parmak izi önizleme paneli, saat dilimi ve Canvas seviyesi gibi değerleri gerçek zamanlı yan yana listeler. Kaydetmeden önce bir bakış, bariz kaymalar anında yakalanır.

Hız ve oturum durumu: Davranış katmanındaki belirsizliği azaltmak

Yeni bir görevin deneme koşusu üç adımda yürütülebilir:

1. Başlangıcı belirle: tek haneli eşzamanlılık, saniyelik aralıklarla önce bir iki gün koştur. Doğrulama kodlarının ne zaman çıktığını ve anormal yanıt oranını kaydet. 2. Sınırı bul: bir kez doğrulama kodu çıktığında bir önceki hız seviyesine geri dön. O seviye, bu çıkışın bugünkü güven sınırıdır. 3. Yükü artır: sınır içinde birkaç gün sorunsuz koştuktan sonra eşzamanlılığı küçük adımlarla yükselt. Aralığa rastgele sapma ekle ki istek ritmi kusursuz tekdüze olmasın.

Oturum durumu ortamın içinde korunur. Giriş gerektiren veriler için bir kez giriş yeter; Cookie ve oturum ortamda saklanır ve sonraki açılış kaldığı yerden sürer. Bu, tekrarlanan girişlerin doğrulama maliyetini ortadan kaldırır ve sık girişin kendisinin şüpheli sinyal hâline gelmesini önler. İşe koyulmadan önce kazıma kapsamını netleştir. robots protokolü ve hizmet şartları bir görevin uzun vadede koşup koşamayacağına karar verir; protokol ayrıntılarına MDN'nin robots.txt maddesinden bakılabilir ve bu madde tüm yapılandırma parametrelerinden önce gelir.

Ortamları Local API ile kazıma betiğine bağlamak

Ortamlar çoğaldığında tek tek elle açıp kapatmak betiğin hızına yetişemez. MostMate bunun için Local API sunar: yerel arayüz artı API anahtarı; güvenlik doğrulaması açıldıktan sonra her istek Key taşımak zorundadır. Betik bu API üzerinden ortam açıp kapatabilir, ortam durumunu sorgulayabilir ve hangi ortamda koşulacağı kararını koda bırakabilir. Pencere senkronizasyonu, RPA ve API'nin hangi senaryoya uyduğu çok hesaplı otomasyon seçim rehberinde karşılaştırılmıştı; salt betikli kazıma esas olarak API hattına denk gelir.

Sayfa düzeyi kazımada tarayıcı çoğunlukla bir otomasyon çatısıyla yönetilir; Playwright'ın kurulumu ve ilk adımları resmî belgelerde eksiksiz anlatılır. Birlikte kullanım çok doğrudan: betik önce Local API üzerinden belirtilen ortamı açar, sonra otomasyon çatısı o ortamdaki sayfa işlemlerini devralır; kazıma bitince ortam kapatılır.

Sayfa istekleri tam bir tarayıcı ortamından çıkar; Cookie, depolama ve parmak izi parametreleri ortamda kalır ve çıplak HTTP isteğinden çok daha eksiksiz bir imza taşır. Ortam, proxy ve parmak izi kavramlarının üründeki bütünsel ilişkisi MostMate nedir sayfasında sistematik biçimde anlatılır; betik yazmadan önce bir kez okursan arayüzün döndürdüğü alanları çok daha hızlı kavramaya başlarsın.

Local API çağrı sayısının bir paket eşiği vardır; arayüz bunu altı ay ve üzeri paketlerde açık olarak işaretler. Betik yazmaya başlamadan önce paket süreni doğrula; akış kurulduktan sonra çağrı limitiyle karşılaşmayı önle.

Sık sorulan sorular

Her kazıma görevi için ayrı bir proxy gerekir mi?

Hedef sitenin risk kontrolünün sertliğine ve görev hacmine bakılır. Sıkı denetimli, yükü yüksek sitelerde özel bir çıkış değer. Düşük sıklıktaki küçük görevler tek çıkışı paylaşabilir; ama paylaşan görevler iş olarak birbirinden bağımsız olsun. Biri işaretlendiğinde aynı hattaki öteki görevlerin de sürüklenmesi kolaydır.

Parmak izi parametreleri düzenli aralıklarla yenilenmeli mi?

Hayır. Hedef, aynı ortamın parametrelerinin uzun süre sabit kalmasıdır; sık değişiklik cihaz özelliklerinin sürekliliğini bozar. Yalnızca çıkış değişince ya da bir parametre kayması tespit edilince o kaleme dokunulur.

requests ile doğrudan istek atmak yetmez mi?

Basit arayüzler için yeter. requests gibi istek kütüphaneleri sayfa betiklerini çalıştırmaz ve tam tarayıcı imzasını alamaz. Bu kütüphaneler yalnızca render gerektirmeyen açık arayüzler için uygundur. Sayfa düzeyi kazımda ya da denetimi sıkı sitelerde tam bir tarayıcı ortamıyla çalışmak daha sağlamdır.

Veriler bir anda boş dönmeye başladı, önce neye bakılır?

Önce hız sorunu olarak ele al. Hızı düşürüp bir iki gün izle. Hâlâ anormalse çıkış ile parmak izinin tutarlılığını kontrol et, sonra tarayıcı ortamıyla aynı sayfayı elle ziyaret et. Site yapısının mı değiştiği yoksa erişimin mi kesildiğini böyle ayırt edersin. Çıkışı değiştirmek son çare olsun.

Sonuç

Kazımanın uzun vadede koşması üç katmanın aynı anda sağlamasına bağlıdır: kararlı çıkış, tutarlı parmak izi, ölçülü tempo. Herhangi biri dengeden çıkarsa öbür ikisinin maliyetini büyütür. MostMate proxy'yi, parmak izini ve oturum durumunu her ortamın içinde toplar; ortam görevin çalışma birimidir ve Local API sayesinde mevcut kazıma betiklerine doğrudan bağlanır.

İlk kazıma görevini kurmak için MostMate'i indir sayfasından başla; ücretsiz sürümün ortamlarıyla önce küçük bir sitenin izlemesini çalıştır, sonra bu düzeni kademeli olarak öteki görevlere taşı.