Limitação de Taxa

A limitação de taxa restringe com que frequência um cliente pode agir — por exemplo, 60 solicitações por minuto por IP ou por conta. Os servidores a utilizam para se manter estáveis sob carga e para atenuar tentativas de scraping e força bruta. Quando você excede um limite, normalmente recebe uma resposta HTTP 429 "Muitas Solicitações" , às vezes com um cabeçalho Retry-After informando quanto tempo esperar. Os limites podem ser baseados no seu endereço IP, uma chave de API, uma conta ou uma combinação, portanto, o limite que você atinge depende de como o serviço conta você.

Como muitos limites são por IP, distribuir solicitações entre endereços é uma maneira comum de aumentar a largura de banda agregada sem exceder nenhum limite único — um dos papéis de um proxy pool em web scraping. A abordagem ética é respeitar os limites publicados, recuar em um 429 em vez de tentar novamente instantaneamente, e adicionar jitter entre as solicitações para que seu padrão pareça menos mecânico. O s4m em si pode ajustar os limites de uso entre os tipos de conta, por IP e por conta. Projete seu cliente para desacelerar de forma elegante; insistir em um 429 geralmente resulta em um bloqueio mais longo, não em dados mais rápidos.

s4m pode ajustar os limites de uso em diferentes tipos de conta, por IP e por conta, de modo que os limites apareçam em ambos os lados de uma conexão. Em seus próprios clientes, projete para uma desaceleração suave: respeite Retry-After, adicione jitter entre as solicitações e distribua a carga em um pool de proxy quando um alvo contar por IP. Forçar uma conexão após um 429 geralmente resulta em um bloqueio mais longo, não em dados mais rápidos, então recue e prefira uma API oficial quando um site oferecer uma.