Обмеження частоти запитів

Обмеження частоти запитів регулює, як часто клієнт може діяти — наприклад 60 запитів за хвилину на IP або на обліковий запис. Сервери використовують його, щоб залишатися стабільними під навантаженням і послаблювати спроби скрапінгу та підбору методом перебору. Коли ви перевищуєте ліміт, ви зазвичай отримуєте відповідь HTTP 429 "Too Many Requests", іноді із заголовком Retry-After, що вказує, скільки чекати. Ліміти можуть прив'язуватися до вашої IP-адреси, ключа API, облікового запису чи їх комбінації, тож межа, якої ви сягаєте, залежить від того, як сервіс вас рахує.

Оскільки багато лімітів застосовуються на кожен IP, розподіл запитів між адресами — поширений спосіб підвищити сукупну пропускну здатність, не перевищуючи жодного окремого ліміту, — одна з ролей пулу проксі у вебскрапінгу. Етичний підхід — поважати оприлюднені ліміти, робити паузу при 429, а не повторювати запит миттєво, і додавати джитер між запитами, щоб ваш патерн виглядав менш механічним. Сам s4m може налаштовувати ліміти використання за осями типу облікового запису, на кожен IP і на кожен обліковий запис. Проєктуйте свій клієнт так, щоб він плавно вповільнювався; продавлювання крізь 429 зазвичай призводить до довшого блокування, а не до швидших даних.

Сам s4m може налаштовувати ліміти використання за осями типу облікового запису, на кожен IP і на кожен обліковий запис, тож ліміти з'являються з обох боків з'єднання. У власних клієнтах проєктуйте плавне вповільнення: враховуйте Retry-After, додавайте джитер між запитами й розподіляйте навантаження на пул проксі, коли ціль рахує за IP. Продавлювання крізь 429 зазвичай призводить до довшого блокування, а не до швидших даних, тож робіть паузу й надавайте перевагу офіційному API, коли сайт його пропонує.