रेट लिमिटिंग

रेट लिमिटिंग यह निर्धारित करता है कि एक क्लाइंट कितनी बार कार्रवाई कर सकता है - उदाहरण के लिए, प्रति IP या प्रति खाता 60 अनुरोध प्रति मिनट। सर्वर इसका उपयोग लोड के तहत स्थिर रहने और स्क्रैपिंग और ब्रूट-फोर्स प्रयासों को रोकने के लिए करते हैं। जब आप एक सीमा को पार करते हैं, तो आपको आमतौर पर एक HTTP 429 "बहुत अधिक अनुरोध" प्रतिक्रिया मिलती है, कभी-कभी एक Retry-After हेडर के साथ जो आपको बताता है कि कितनी देर तक प्रतीक्षा करनी है। सीमाएँ आपके IP पते, एक API कुंजी, एक खाते या एक संयोजन पर आधारित हो सकती हैं, इसलिए जिस सीमा को आप पार करते हैं वह इस पर निर्भर करती है कि सेवा आपको कैसे गिनती है।

क्योंकि कई सीमाएँ प्रति-IP होती हैं, पते के बीच अनुरोधों को वितरित करना एक सामान्य तरीका है कुल थ्रूपुट बढ़ाने का बिना किसी एकल सीमा को पार किए — यह एक भूमिका है प्रॉक्सी पूल की वेब स्क्रैपिंग में। नैतिक दृष्टिकोण यह है कि प्रकाशित सीमाओं का सम्मान करें, 429 पर पीछे हटें बजाय तुरंत पुनः प्रयास करने के, और अनुरोधों के बीच जिटर जोड़ें ताकि आपका पैटर्न कम यांत्रिक लगे। s4m स्वयं खाता-प्रकार, प्रति-IP और प्रति-खाता धुरी के बीच उपयोग सीमाओं को समायोजित कर सकता है। अपने क्लाइंट को धीरे-धीरे धीमा करने के लिए डिज़ाइन करें; 429 के माध्यम से जोर से हिट करने से आमतौर पर एक लंबा ब्लॉक मिलता है, तेज़ डेटा नहीं।

s4m स्वयं खाता-प्रकार, प्रति-IP और प्रति-खाता धुरी के चारों ओर उपयोग सीमा को समायोजित कर सकता है, इसलिए सीमाएँ कनेक्शन के दोनों पक्षों पर दिखाई देती हैं। अपने स्वयं के क्लाइंट में, सुस्त होने के लिए डिज़ाइन करें: Retry-After का सम्मान करें, अनुरोधों के बीच jitter जोड़ें, और जब एक लक्ष्य IP द्वारा गिनता है तो एक proxy पूल में लोड फैलाएं। 429 के माध्यम से जोर देने से आमतौर पर एक लंबा ब्लॉक मिलता है, तेज़ डेटा नहीं, इसलिए पीछे हटें, और जब एक साइट एक आधिकारिक API प्रदान करती है तो उसे प्राथमिकता दें।