Ograniczanie przepustowości

Ograniczenie liczby żądań ogranicza, jak często klient może działać — na przykład 60 żądań na minutę na adres IP lub na konto. Serwery używają tego, aby pozostać stabilnymi pod obciążeniem oraz aby zminimalizować próby skanowania i ataki brute-force. Gdy przekroczysz limit, zazwyczaj otrzymujesz odpowiedź HTTP 429 "Zbyt wiele żądań", czasami z nagłówkiem Retry-After informującym, jak długo należy czekać. Limity mogą być ustalane na podstawie twojego adresu IP, klucza API, konta lub kombinacji, więc granica, którą osiągasz, zależy od tego, jak usługa cię liczy.

Ponieważ wiele limitów jest przypisanych do adresu IP, rozdzielanie żądań pomiędzy adresami jest powszechnym sposobem na zwiększenie łącznej przepustowości bez przekraczania jakiegokolwiek pojedynczego limitu — jedną z ról puli proxy w web scraping. Etyczne podejście polega na szanowaniu opublikowanych limitów, wycofaniu się przy błędzie 429 zamiast natychmiastowego ponawiania próby oraz dodaniu jittera pomiędzy żądaniami, aby twój wzór wyglądał mniej mechanicznie. s4m sam w sobie może dostosować limity użycia w zależności od typu konta, na osi per-IP i per-account. Zaprojektuj swojego klienta tak, aby zwalniał w sposób płynny; uderzanie przez błąd 429 zazwyczaj skutkuje dłuższą blokadą, a nie szybszymi danymi.

s4m sam w sobie może dostosować limity użycia w zależności od typu konta, adresu IP i konta, więc limity pojawiają się po obu stronach połączenia. W swoich klientach zaprojektuj sposób na łagodne spowolnienie: szanuj Retry-After, dodaj jitter między żądaniami i rozłóż obciążenie na proxy, gdy cel liczy według IP. Uderzanie przez 429 zazwyczaj skutkuje dłuższą blokadą, a nie szybszymi danymi, więc odpuść i preferuj oficjalne API, gdy strona oferuje takie rozwiązanie.