Веб-скрапінг · 1 хв читання

Парсинг Amazon: проксі, заголовки і ліміти запитів

Amazon — один із найчастіше парсених сайтів і один із найзахищеніших. Збирати ціни, відгуки чи каталог у великому обсязі означає розподіляти запити, надсилати реалістичні заголовки і давати раду CAPTCHA та антибот-сторінкам, які Amazon повертає у відповідь. Практичний і чесний розбір.

Почати

Як Amazon бореться зі скраперами

Amazon захищає свій каталог кількома шарами виявлення: ліміти запитів на IP, сторінка CAPTCHA «Robot Check» / «Enter the characters you see», сторінки помилок із собаками, відбитки TLS і заголовків та поведінкові перевірки. Якщо довбати сторінки товарів з однієї адреси, ви швидко побачите CAPTCHA, потім тротлінг або блокування. До того ж сайт змінює сторінки залежно від регіону і ганяє A/B-тести розмітки, тож ваш парсер має терпіти зміни.

Два чесні застереження перед стартом. Умови Amazon забороняють скрапінг, а для узгодженого доступу до даних є офіційні шляхи — Product Advertising API і Selling Partner API; зважте спершу їх. І жодне налаштування не скрапить Amazon надійно вічно: мета — стійкий темп збору, а не невидимість. Про типові сценарії в електронній комерції, моніторинг цін і аналіз конкурентів, читайте на сторінках моніторинг цін і проксі для Amazon.

Схема збору, яка живе довго

Виграшний підхід — вдавати багатьох звичайних покупців:

  • Крутіть пул проксі, щоб жодна окрема IP не перевищувала терпіння Amazon. Це головний захист від тротлінгу на адресу.
  • Надсилайте повний, реалістичний набір заголовків — User-Agent, Accept, Accept-Language — і тримайте їх узгодженими між собою. Голі заголовки за замовчуванням з requests видають вас миттєво.
  • Тримайте темп із джитером — випадкові паузи кращі за рівні інтервали. Тонкий рівний струмок кращий за сплески.
  • Зафіксуйте регіон — одна країна виходу, відповідні Accept-Language і поштовий індекс, щоб ціни й наявність були узгоджені; зміна регіону посеред прогону перемішує ваші дані.
  • Розпізнавайте сторінку для ботів — шукайте маркери CAPTCHA / Robot Check і відводьте цю IP на відпочинок, замість парсити сміття.
  • Беріть headless-браузер лише за потреби — більша частина сторінки товару вже є в початковому HTML; важку артилерію лишіть для блоків, які малює JS.

Amazon оцінює серверні IP, тож агресивний скрапінг — саме той випадок, коли резидентські проксі живуть довше. s4m продає серверні проксі; виділена IP дає стабільний регіон для збору узгоджених цін на помірних обсягах, але щодо виявлення серверних адрес на великому обсязі варто бути реалістом.

Забрати сторінку товару через проксі

Ходимо через проксі s4m із повним набором заголовків і розпізнаємо сторінку для ботів від Amazon, щоб змінити адресу, а не парсити помилку.

python
import requests

proxies = {
    "http":  "http://USER:[email protected]:3128",
    "https": "http://USER:[email protected]:3128",
}
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/122.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
}

r = requests.get("https://www.amazon.com/dp/B0EXAMPLE",
                 headers=headers, proxies=proxies, timeout=20)

if "[email protected]" in r.text or "Robot Check" in r.text:
    raise RuntimeError("Hit Amazon bot page - rotate IP and back off")

parse_product(r.text)   # your parser
Поділитися сторінкою
FAQ

Відповіді на питання

Чи дозволено скрапити Amazon?

Умови використання Amazon забороняють скрапінг, а залежно від юрисдикції і самих даних можливий і юридичний ризик. Для узгодженого доступу Amazon дає офіційні API (Product Advertising API, Selling Partner API). Спершу розгляньте їх, а для чогось масштабного порадьтеся з юристом.

Чому ціни Amazon стрибають між запитами?

Amazon локалізує ціни й наявність за регіоном і ганяє A/B-тести. Якщо ваш пул проксі виходить із різних країн, дані будуть неузгоджені. Зафіксуйте один регіон виходу з відповідними Accept-Language і поштовим індексом, а тримати його стабільним допомагає виділена IP.

Чи працюють серверні проксі з Amazon?

Для помірного, добре розміреного збору — часто так. Amazon оцінює серверні діапазони, тож на великих обсягах CAPTCHA траплятиметься частіше, ніж із резидентськими адресами. s4m продає серверні проксі; ротація, темп і реалістичні заголовки важать не менше за тип IP, але схеми, захищеної від блокувань, не існує.

Читайте далі

Вам також може сподобатися

Як приховати справжню IP-адресу вашого сервера

Читати →

Що таке проксі SOCKS5?

Читати →

Як налаштувати WireGuard VPN, крок за кроком

Читати →

Як використовувати проксі для веб-скрапінгу

Читати →

Збирайте дані е-комерції чисто

Пустіть збір товарів і цін через автентифіковані серверні проксі s4m, зафіксуйте регіон виділеною IP і тримайте розмірений темп. Оплата за спожите, анонімні акаунти, приймаємо криптовалюту.

Проксі для AmazonДивитись ціни

Цю сторінку знаходять за запитами

Реальні пошукові фрази, на які відповідає ця сторінка — за посиланнями відкриються матеріали, що розкривають тему глибше.