Matthew Lyons
Matthew Lyons
New member
- Tham gia
- 26/8/26
- Bài viết
- 1
- Cảm xúc
- 0
Năm ngoái, tôi cần thu thập dữ liệu từ 4 triệu trang sản phẩm của 28 nhà bán lẻ trong vòng 36 giờ cho một khách hàng chuyên về phân tích giá cả. Chỉ sau 6 giờ, một nửa số yêu cầu (request) của tôi đã bị hệ thống chống bot chặn lại.
Bộ công cụ truyền thống đã thất bại ngay khi bắt đầu: Scrapy, proxy datacenter và mức độ đồng thời (concurrency) tối đa. Đầu tiên là bị phát hiện qua dấu vân tay TLS (TLS fingerprinting), sau đó là các thử thách xác thực của Cloudflare, và cuối cùng là toàn bộ IP bị chặn đứng. Tôi đã lãng phí hai ngày cố gắng tăng mức độ đồng thời — nhưng mọi thứ chỉ tệ hơn.
Giải pháp thực sự hiệu quả lại rất đơn giản và không hào nhoáng. Tôi giảm xuống còn 25 yêu cầu đồng thời và tăng dần tốc độ trong khi theo dõi tỷ lệ lỗi: các trang web nhạy cảm được xử lý chậm rãi, trong khi các trang dễ hơn thì được cấp nhiều luồng (thread) hơn. Với những trang khó nhất, tôi để trình duyệt Playwright thực thụ giải quyết thử thách ban đầu một lần, sau đó tái sử dụng cookie phiên (session cookie) với một HTTP client tốc độ cao. Tôi cũng ngừng việc đổi IP cho mỗi yêu cầu — vì hành động đó tố cáo ngay lập tức đây là bot.
Tôi chuyển sang sử dụng mạng lưới proxy dân cư (residential proxy) của Helodata với tính năng "sticky session" (phiên cố định), duy trì cùng một IP đầu ra trong 10-30 phút cho các quy trình phức tạp (như quy trình thanh toán), đồng thời phạm vi phủ sóng tại hơn 195 quốc gia giúp tôi không cần thêm nhà cung cấp nào khác cho khu vực Châu Á - Thái Bình Dương (APAC).
Kết quả cuối cùng: thu thập được 4 triệu trang trong 41 giờ với tỷ lệ thành công 99,2%. Mô hình định giá của khách hàng đã giúp chi trả toàn bộ chi phí dự án ngay trong thương vụ đầu tiên của họ.
Chiến lược xoay vòng IP của bạn cho việc thu thập dữ liệu quy mô lớn vào năm 2026 là gì? Sticky session, xoay vòng IP (rotating), hay kết hợp cả hai?
Bộ công cụ truyền thống đã thất bại ngay khi bắt đầu: Scrapy, proxy datacenter và mức độ đồng thời (concurrency) tối đa. Đầu tiên là bị phát hiện qua dấu vân tay TLS (TLS fingerprinting), sau đó là các thử thách xác thực của Cloudflare, và cuối cùng là toàn bộ IP bị chặn đứng. Tôi đã lãng phí hai ngày cố gắng tăng mức độ đồng thời — nhưng mọi thứ chỉ tệ hơn.
Giải pháp thực sự hiệu quả lại rất đơn giản và không hào nhoáng. Tôi giảm xuống còn 25 yêu cầu đồng thời và tăng dần tốc độ trong khi theo dõi tỷ lệ lỗi: các trang web nhạy cảm được xử lý chậm rãi, trong khi các trang dễ hơn thì được cấp nhiều luồng (thread) hơn. Với những trang khó nhất, tôi để trình duyệt Playwright thực thụ giải quyết thử thách ban đầu một lần, sau đó tái sử dụng cookie phiên (session cookie) với một HTTP client tốc độ cao. Tôi cũng ngừng việc đổi IP cho mỗi yêu cầu — vì hành động đó tố cáo ngay lập tức đây là bot.
Tôi chuyển sang sử dụng mạng lưới proxy dân cư (residential proxy) của Helodata với tính năng "sticky session" (phiên cố định), duy trì cùng một IP đầu ra trong 10-30 phút cho các quy trình phức tạp (như quy trình thanh toán), đồng thời phạm vi phủ sóng tại hơn 195 quốc gia giúp tôi không cần thêm nhà cung cấp nào khác cho khu vực Châu Á - Thái Bình Dương (APAC).
Kết quả cuối cùng: thu thập được 4 triệu trang trong 41 giờ với tỷ lệ thành công 99,2%. Mô hình định giá của khách hàng đã giúp chi trả toàn bộ chi phí dự án ngay trong thương vụ đầu tiên của họ.
Chiến lược xoay vòng IP của bạn cho việc thu thập dữ liệu quy mô lớn vào năm 2026 là gì? Sticky session, xoay vòng IP (rotating), hay kết hợp cả hai?
