จะตั้งค่าลายนิ้วมือและพร็อกซีสำหรับเว็บสแครปเปอร์อย่างไร แนวคิดการตั้งค่าเพื่อให้การเก็บข้อมูลไม่ถูกบล็อก

สรุปหลัก: สาเหตุที่การเก็บข้อมูลโดนบล็อกมักไม่ได้อยู่จุดเดียว แต่กระจายอยู่ในสามชั้นคือพร็อกซี ลายนิ้วมือ และจังหวะการเก็บข้อมูล ลำดับการตั้งค่าสำคัญกว่าจำนวนพารามิเตอร์ กำหนดเอาต์พุตพร็อกซีของแต่ละงานให้คงที่ก่อน จากนั้นจึงตั้งชุดพารามิเตอร์ลายนิ้วมือที่สอดคล้องกันเชิงตรรกะให้แต่ละสภาพแวดล้อม แล้วปรับความถี่คำขอให้อยู่ในระดับที่เว็บเป้าหมายยอมรับได้ บทความนี้เรียงเช็กลิสต์ตามลำดับนี้ พร้อมอธิบายวิธีใช้ Local API ต่อการจัดการสภาพแวดล้อมเข้ากับสคริปต์เก็บข้อมูล

ซื้อพร็อกซีมาเกือบสิบเส้น แต่กลับโดนบล็อกบ่อยขึ้น ทีมเก็บข้อมูลมักกดงบไว้ที่พร็อกซี ทั้งที่ปัญหาไม่จำเป็นต้องอยู่ที่จำนวนพร็อกซี คำขอวิ่งเข้าออกด้วยความถี่สูงจากเอาต์พุตเส้นเดิม ทุกเซสชันแบกชุดลักษณะเบราว์เซอร์ชุดเดียวกัน และหลังเจอการตรวจสอบแล้วยังวิ่งตามแผนเดิมต่อ ชั้นไหนเสียสมดุลก็ลากเอาต์พุตที่ซื้อมาลงไปด้วยกันได้ทั้งหมด

ในเชิงรูปแบบผลิตภัณฑ์ MostMate จัดอยู่ในกลุ่มเบราว์เซอร์ลายนิ้วมือ: แต่ละบัญชีจะได้สภาพแวดล้อมเบราว์เซอร์แยกต่างหาก โดยพร็อกซี พารามิเตอร์ลายนิ้วมือ และสถานะล็อกอินถูกเก็บจัดการไว้ในสภาพแวดล้อม วางในบริบทการเก็บข้อมูล หนึ่งสภาพแวดล้อมเทียบได้กับหน่วยทำงานหนึ่งหน่วยของงานเก็บข้อมูล และสภาพแวดล้อมต่าง ๆ ไม่แชร์เอาต์พุตและลักษณะอุปกรณ์กัน พร็อกซีกำหนดว่าคำขอจะออกทางเส้นไหน ลายนิ้วมือกำหนดว่าเว็บเป้าหมายจะเห็นอุปกรณ์แบบไหน สองชั้นนี้มั่นคงแล้ว การคุมจังหวะจึงมีพื้นที่ให้ทำงาน

สัญญาณการโดนบล็อกแบ่งเป็นสามชั้น ลำดับการตั้งค่าจึงมาจากตรงนี้

การตรวจสอบหนึ่งครั้งของระบบต่อต้านบ็อตคร่าว ๆ คลี่ออกตามสามชั้น แต่ละชั้นมองสิ่งต่างกัน การตั้งค่าก็ต่างกัน:

• ชั้นการเชื่อมต่อ: เว็บเป้าหมายดูก่อนว่าคำขอมาจาก IP ไหนและจัดอยู่ในประเภทใด คำขอที่วิ่งเข้าออกถี่ ๆ ที่เอาต์พุตเส้นเดียว หรือตกอยู่ในช่วง IP ที่ถูกติดแท็ก มักถูกขวางเป็นอันดับแรก
• ชั้นอุปกรณ์: สคริปต์หน้าเว็บอ่านค่า Canvas, WebGL, รายการฟอนต์, เขตเวลา ฯลฯ เพื่อประเมินว่าผู้เข้าชมเป็นอุปกรณ์จริงและปกติหรือไม่
• ชั้นพฤติกรรม: ช่วงห่างระหว่างคำขอ เส้นทางการเข้าชม จังหวะการกระทำหลังล็อกอิน รูปแบบที่เป็นเครื่องจักรต่อเนื่องยาว ๆ จะยกระดับความสงสัยขึ้นเรื่อย ๆ

ลำดับที่สามชั้นเสียสมดุลกำหนดลำดับการตั้งค่า ยังไม่กำหนดเอาต์พุต พารามิเตอร์ที่ผูกกับ IP อย่างภาษา เขตเวลา ตำแหน่งภูมิศาสตร์ก็ไม่มีที่ยึด ลักษณะอุปกรณ์ยังไม่คงที่ ปรับจังหวะให้เป็นธรรมชาติแค่ไหน เว็บเป้าหมายก็ยังเห็นเครื่องเดิมวิ่งถี่ ๆ ลำดับการลงมือจึงเป็นพร็อกซีก่อน ลายนิ้วมือตามมา แล้วจึงจังหวะ หัวข้อถัดไปเดินตามเส้นนี้

ตั้งค่าพร็อกซีอย่างไร: เอาต์พุตคงที่สำคัญกว่าจำนวน

ล็อกเอาต์พุตแยกหนึ่งเส้นให้แต่ละงานเก็บข้อมูล ให้ผลใกล้เคียงการเก็บข้อมูลที่เสถียรมากกว่าการกอง IP หมุนเวียนเอาไว้ เมื่อหลายงานแชร์เอาต์พุตเส้นเดียวกัน งานหนึ่งกระตุ้นระบบความเสี่ยงขึ้นมา งานอื่นบนเอาต์พุตเดียวกันมักโดนลากไปด้วย แยกเอาต์พุตกันแล้ว ระหว่างงานอย่างน้อยก็ไม่รบกวนกันในชั้นการเชื่อมต่อ และตอนสืบสวนก็ชี้ได้ทันทีว่าปัญหาอยู่ที่เส้นไหน

ชนิดเอาต์พุตเลือกตามความเข้มของระบบความเสี่ยง เว็บที่คุมหลวม IP ดาต้าเซ็นเตอร์ก็คุ้มต้นทุน อีคอมเมิร์ซและโซเชียลหลัก ๆ IP ผู้อยู่อาศัยมักอยู่ได้นานกว่า ความต่างด้านความน่าเชื่อถือ โครงสร้างต้นทุน และกรณีใช้งานของสองแบบ ใช้การเปรียบเทียบในคู่มือเลือกใช้ระหว่าง IP ผู้อยู่อาศัยและ IP ดาต้าเซ็นเตอร์ช่วยตัดสินได้ ไม่ต้องเดาด้วยความรู้สึก

ใน MostMate โดยเฉพาะ พร็อกซีถูกดูแลแยกไว้ในรายการจัดการพร็อกซี รองรับครบสี่โปรโตคอลคือ HTTP, HTTPS, SOCKS5 และ SSH กรอกแต่ละเส้นเสร็จกดปุ่ม Check proxy ทดสอบการเชื่อมต่อและดูว่าเอาต์พุตอยู่ที่ไหนได้ทันที ทดสอบผ่านแล้วจึงจัดสรรให้สภาพแวดล้อม การตั้งค่าพร็อกซีในฟอร์มสภาพแวดล้อมมีสามระดับ: ไม่ใช้พร็อกซี, พร็อกซีแบบกำหนดเอง, เลือกพร็อกซี สำหรับสภาพแวดล้อมเก็บข้อมูลแนะนำระดับที่สาม เอาต์พุตทั้งหมดรวมอยู่ในรายการเดียว งานไหนใช้เส้นไหนดูได้รอบเดียว

ชั้นพร็อกซีตั้งเสร็จ ต่อไปดูลักษณะอุปกรณ์

กำหนดพารามิเตอร์ลายนิ้วมืออย่างไร: ความสอดคล้องต้องมาก่อน ใช้ค่าสุ่มอย่างระวัง

เป้าหมายของลายนิ้วมือสำหรับสภาพแวดล้อมเก็บข้อมูลคือทำให้สภาพแวดล้อมเดียวกันแสดงลักษณะของอุปกรณ์ปกติเครื่องเดิมได้ยาวนาน ยึดเป้าหมายนี้เป็นหลัก พารามิเตอร์แบ่งจัดการเป็นสองกลุ่ม: พวกที่ผูกกับเอาต์พุตให้ระบบจัดตรงให้เอง ส่วนลักษณะของตัวอุปกรณ์ตั้งเป็นชุดเดียวคงไว้ยาว ๆ ไม่แตะต้อง

ภาษา ภาษาอินเทอร์เฟซ เขตเวลา และตำแหน่งภูมิศาสตร์ สี่ค่านี้ค่าเริ่มต้นตั้งตาม IP (การตั้งค่าตาม IP) กำหนดเอาต์พุตแล้วค่าจะจัดตรงให้เอง เปลี่ยนเอาต์พุตก็ประหยัดการตรวจเทียบด้วยมือไปหนึ่งรอบ ระบบปฏิบัติการและเวอร์ชันเบราว์เซอร์เลือกคู่หนึ่งแล้วตรึงไว้ UA ถูกสร้างตามไป ตลอดวงจรงานไม่แตะ ความละเอียดหน้าจอ จำนวนคอร์ CPU หน่วยความจำอุปกรณ์ รายการฟอนต์ ให้คงค่าจริงไว้และสอดคล้องกับระบบที่ประกาศไว้

พารามิเตอร์กลุ่มเรนเดอร์ควรใส่ใจมากกว่า Canvas, WebGL และอื่น ๆ ที่เป็นการสร้างภาพและเสียงออก หน้าจอระบบให้มาเป็นระดับนอยส์ คือเติมความผันผวนเล็กน้อยบนค่าจริง แต่ยังคงตรรกะดั้งเดิมของอุปกรณ์ไว้ ฝ่ายตรวจสอบได้ชุดเอาต์พุตที่ยังสอดคล้องกันเองอยู่ เหตุที่ค่าสุ่มกลับอันตรายกว่า อ่านการอธิบายในทำไมพารามิเตอร์ลายนิ้วมือไม่ควรสุ่มช่วยให้เข้าใจได้

ลงมือกับสภาพแวดล้อมเก็บข้อมูลแล้วจับต้องได้ชัด: พารามิเตอร์เรนเดอร์เลือกระดับนอยส์ ไม่ใช้ระดับสุ่ม ตั้งพารามิเตอร์เสร็จก็ไม่ต้องตรวจด้วยความรู้สึก ด้านขวาของฟอร์มสร้างสภาพแวดล้อมมีแผงพรีวิวลายนิ้วมือ เขตเวลา ระดับ Canvas ฯลฯ แสดงค่ารวมกันแบบเรียลไทม์ กวาดตาหนึ่งรอบก่อนบันทึก จุดที่เพี้ยนชัดเห็นได้ทันที

จังหวะและสถานะล็อกอิน: ลดความไม่แน่นอนในชั้นพฤติกรรม

การทดลองรันงานใหม่ทำได้ตามสามขั้น:

1. ตั้งจุดเริ่ม: คอนเคอเรนซีหลักเดียว ช่วงห่างระดับวินาที รันไปหนึ่งสองวันก่อน จดการเจอแคปชาและสัดส่วนการตอบกลับผิดปกติ 2. หาเส้นแบ่ง: พอเจอแคปชาให้ถอยกลับไประดับความถี่ก่อนหน้า ระดับนี้แหละคือขอบเขตปลอดภัยปัจจุบันของเอาต์พุตเส้นนี้ 3. ค่อยเพิ่มปริมาณ: รันเสถียรในขอบเขตได้หลายวันแล้วจึงเพิ่มคอนเคอเรนซีทีละนิด ช่วงห่างให้เติมความสั่นแบบสุ่มบนค่าพื้นฐาน กันจังหวะคำขอที่เป็นระเบียบเท่ากันหมด

สถานะล็อกอินเก็บไว้ในสภาพแวดล้อม ข้อมูลที่ต้องล็อกอินก่อนถึงเห็น ล็อกอินครั้งเดียวแล้ว Cookie และเซสชันถูกสภาพแวดล้อมเก็บไว้ ครั้งถัดไปเปิดใช้ต่อได้เลย ทั้งประหยัดต้นทุนการยืนยันจากการล็อกอินซ้ำ ทั้งกันการล็อกอินถี่ ๆ กลายเป็นสัญญาณน่าสงสัยเสียเอง ก่อนลงมือ ยืนยันขอบเขตการเก็บข้อมูลก่อน โปรโตคอล robots.txt และข้อกำหนดการใช้บริการตัดสินว่างานนี้รันยาวได้หรือไม่ รายละเอียดโปรโตคอลดูได้ที่บทความ robots.txt ของ MDN ข้อนี้อยู่ก่อนพารามิเตอร์การตั้งค่าทั้งหมด

ใช้ Local API ต่อสภาพแวดล้อมเข้ากับสคริปต์เก็บข้อมูล

สภาพแวดล้อมเยอะขึ้นแล้ว เปิดปิดทีละตัวด้วยมือก็ตามสคริปต์ไม่ทัน MostMate มี Local API ให้ อินเทอร์เฟซภายในเครื่องบวกคีย์ API เปิดการตรวจสอบความปลอดภัยแล้วทุกคำขอต้องแนบ Key มาด้วย สคริปต์เก็บข้อมูลใช้ตัวนี้เปิด ปิดสภาพแวดล้อม ไล่สถานะสภาพแวดล้อม แล้วโยนการตัดสินว่าจะใช้สภาพแวดล้อมไหนรันให้โค้ดจัดการ ว่า Window sync, RPA และ API ถนัดฉากไหน มีเปรียบเทียบไว้ในคู่มือเลือกใช้ระบบอัตโนมัติหลายบัญชี การเก็บด้วยสคริปต์ล้วน ๆ ตรงกับสาย API เป็นหลัก

การเก็บระดับหน้าเว็บมักใช้เฟรมเวิร์กอัตโนมัติคุมเบราว์เซอร์ การติดตั้งและเริ่มต้นกับ Playwright มีครบในเอกสารทางการ วิธีจับคู่ตรงไปตรงมา: สคริปต์เปิดสภาพแวดล้อมที่ระบุผ่าน Local API ก่อน แล้วให้เฟรมเวิร์กอัตโนมัติรับช่วงจัดการหน้าเว็บในสภาพแวดล้อมนั้น เก็บเสร็จปิดสภาพแวดล้อม

คำขอระดับหน้าถูกส่งออกจากสภาพแวดล้อมเบราว์เซอร์เต็มรูปแบบ Cookie พื้นที่จัดเก็บและพารามิเตอร์ลายนิ้วมืออยู่ครบในสภาพแวดล้อม ลักษณะที่เก็บได้สมบูรณ์กว่าคำขอ HTTP เปล่า ๆ มาก ความสัมพันธ์โดยรวมของแนวคิดสภาพแวดล้อม พร็อกซี ลายนิ้วมือ ในผลิตภัณฑ์ มีเรียบเรียงเป็นระบบไว้ที่หน้าMostMate คืออะไร ก่อนเขียนสคริปต์แวะอ่านหนึ่งรอบ เข้าใจฟิลด์ที่อินเทอร์เฟซส่งกลับจะไวขึ้นเยอะ

จำนวนเรียกใช้ Local API มีเพดานตามแพ็กเกจ หน้าจอระบุว่าเปิดให้แพ็กเกจหกเดือนขึ้นไป ก่อนเขียนสคริปต์ยืนยันรอบบิลแพ็กเกจก่อน กันสร้างโฟลว์เสร็จแล้วค่อยพบว่าเรียกได้จำกัด

คำถามที่พบบ่อย

แต่ละงานเก็บข้อมูลต้องมีพร็อกซีแยกหนึ่งเส้นหรือไม่

ตัดสินตามความเข้มของระบบความเสี่ยงของเว็บเป้าหมายและปริมาณงาน เว็บที่คุมเข้มงานหนัก คุ้มที่จะแยกเอาต์พุตเฉพาะเส้น งานเล็กที่ถี่ต่ำแชร์เส้นเดียวกันได้ แต่งานที่แชร์กันควรไม่เกี่ยวข้องกันทางธุรกิจ ตัวหนึ่งโดนทำเครื่องหมาย งานอื่นบนเอาต์พุตเดียวกันโดนลากได้ง่าย

พารามิเตอร์ลายนิ้วมือต้องเปลี่ยนเป็นระยะหรือไม่

ไม่ต้อง เป้าหมายคือพารามิเตอร์ของสภาพแวดล้อมเดียวกันคงที่ยาว ๆ เปลี่ยนบ่อยทำให้ลักษณะอุปกรณ์ขาดความต่อเนื่อง แตะเฉพาะจุดนั้นจริง ๆ เมื่อเปลี่ยนเอาต์พุตหรือสืบพบพารามิเตอร์เพี้ยนเท่านั้น

ยิงคำขอตรง ๆ ด้วย requests ไม่ได้เหรอ

อินเทอร์เฟซง่าย ๆ ก็ได้ ไลบรารีคำขออย่าง requests ไม่รันสคริปต์หน้าเว็บ ได้ลักษณะเบราว์เซอร์ไม่ครบ ไลบรารีพวกนี้เหมาะกับอินเทอร์เฟซเปิดที่ไม่ต้องเรนเดอร์เท่านั้น การเก็บระดับหน้าเว็บหรือเว็บที่คุมเข้ม รันในสภาพแวดล้อมเบราว์เซอร์เต็มรูปแบบจะเสถียรกว่า

ข้อมูลที่ได้กลับมาหายวับไปเป็นค่าว่าง ควรเช็กอะไรก่อน

จัดการเป็นปัญหาความถี่ก่อน ลดความถี่แล้วดูอาการหนึ่งสองวัน ยังผิดปกติให้ตรวจความสอดคล้องของเอาต์พุตกับลายนิ้วมือ แล้วลองเปิดหน้าเดิมด้วยมือในสภาพแวดล้อมเบราว์เซอร์ เพื่อแยกว่าเว็บเปลี่ยนโครงสร้างหรือการเข้าถึงถูกขวาง สุดท้ายจึงค่อยพิจารณาเปลี่ยนเอาต์พุต

บทสรุป

การเก็บข้อมูลจะรันยาวได้หรือไม่ ขึ้นกับว่าการตั้งค่าสามชั้นสมบูรณ์พร้อมกันหรือไม่: เอาต์พุตคงที่ ลายนิ้วมือสอดคล้อง จังหวะยับยั้ง ชั้นไหนเสียสมดุล ต้นทุนของอีกสองชั้นก็ถูกขยาย MostMate เก็บพร็อกซี ลายนิ้วมือ และสถานะล็อกอินไว้ในแต่ละสภาพแวดล้อม สภาพแวดล้อมก็คือหน่วยทำงานของงาน และด้วย Local API ต่อเข้ากับสคริปต์เก็บข้อมูลที่มีอยู่ได้ตรง ๆ

อยากวางงานเก็บข้อมูลชิ้นแรก เริ่มจากดาวน์โหลด MostMate ใช้สภาพแวดล้อมของเวอร์ชันฟรีรันมอนิเตอร์เว็บเล็ก ๆ ให้ผ่านก่อน แล้วค่อยคัดลอกไปยังงานอื่นทีละขั้น