Веб-скрапінг · 2 хв читання

Як використовувати проксі для веб-скрапінгу

Проксі приховують сервер-джерело вашого скрапера й розподіляють запити між IP-адресами, щоб одна адреса не потрапила під обмеження швидкості чи блокування. Цей посібник охоплює вибір проксі та їх під'єднання до Python, Scrapy й Playwright.

Почати

Чому вашому скраперу потрібен проксі

Майже кожне налаштування скрапінгу зумовлене двома проблемами: захистом вашої справжньої IP-адреси та дотриманням лімітів запитів на кожну IP.

Коли краулер надсилає тисячі запитів з однієї адреси, цільовий сайт бачить одну IP, яка поводиться як бот. Звичний результат — уповільнення, стіна з CAPTCHA або повне блокування, і найгірше — заблокованою адресою виявляється ваш origin-сервер, машина, на якій працює ваша бізнес-логіка. Проксі стоїть між вашим скрапером і ціллю, тож сайт завжди бачить лише вихідну IP проксі, а не вашу справжню.

Майже кожне налаштування скрапінгу формують два міркування:

Захист вашого origin-сервера. Якщо IP вашого продакшн-сервера потрапить у чорний список, шкода переживе сам скрапінг. Маршрутизація через проксі зберігає цю адресу чистою та не пов'язаною зі скануванням.
Розподіл навантаження. Розподіл запитів між кількома вихідними IP тримає кожну з них у межах ліміту запитів цілі на одну IP, тож ви збираєте дані, не спрацьовуючи захист від зловживань.

Саме для цього s4m надає автентифіковані датацентрові SOCKS5 та HTTP проксі. Вони швидкі й недорогі, що підходить для великих обсягів і толерантних цілей, але оскільки це датацентрові IP, суворі сайти можуть виявити їх за відбитком легше, ніж резидентні адреси, тож відповідно налаштуйте очікування. Для швидких експериментів можна взяти одноразові точки доступу зі списку безкоштовних публічних проксі — сторонніх проксі, які постійно перевіряються, але суворо на ваш власний ризик. Якщо ж ви хочете приховати цілий застосунок чи сервер, а не окремий клієнт, VPN-тунель покриває весь його трафік. Тарифи на проксі з оплатою за використання дивіться на сторінці цін.

Вибір проксі для скрапінгу

Підбирайте інструмент під задачу. Ось як варіанти s4m порівнюються для скрапінгового навантаження.

Датацентрові SOCKS5 / HTTP

Проксі з оплатою за обсягом на proxy.s4m.online — порт 1080 для SOCKS5, 3128 для HTTP, автентифікація через USER:PASS. Швидкі й економічні для масового сканування цілей, які не оцінюють репутацію IP надто агресивно. Це робоча конячка для продакшн-скрапінгу.

Безкоштовний публічний список проксі

Сторонні проксі, зібрані з відкритих джерел і постійно повторно перевіряються, з фільтрацією за країною, протоколом та анонімністю. Ідеальні для прототипування скрапера, перш ніж витрачати бюджет, але ненадійні й на ваш власний ризик, аж ніяк не для продакшн-задач.

Виділений персональний IP

Виділений IP надається виключно одному клієнту на строк призначення за умовами сервісу. Попередня історія, строк, доступність і підтримувані прив’язки все одно мають значення. Вихідний IP може мати попередню історію. Акаунти, cookie та сигнали браузера можуть і далі ідентифікувати користувача; зміна адреси не гарантує чистої репутації.

Інтегруйте та контролюйте свій краулінг

Від першого автентифікованого запиту до сесій, ротації, лімітів запитів і контролю витрат.

Спрямуйте свій клієнт на проксі

У Python requests встановіть словник proxies у socks5://USER:[email protected]:1080 (встановіть requests[socks]) або HTTP-точку доступу на 3128. У Scrapy увімкніть HttpProxyMiddleware і задайте проксі для кожного запиту чи через змінну середовища http_proxy. У Playwright передайте proxy={"server": ...} у browser.launch().

Оберіть сесії чи ротацію

Використовуйте одну постійну requests.Session — або виділену персональну IP — коли ціль прив'язує cookie та стан входу до IP, оскільки зміна IP посеред сесії виглядає підозріло. Ротуйте між багатьма вихідними IP при скануванні публічних списків, щоб залишатися в межах лімітів на одну IP. Не змішуйте ці два підходи для однієї логічної особи.

Обмежуйте темп і поважайте ціль

Дотримуйтесь robots.txt, читайте умови використання сайту та додавайте затримки: time.sleep у requests, DOWNLOAD_DELAY та AutoThrottle у Scrapy. Рівномірний, «людський» темп запитів блокують значно рідше, ніж сплески — відповідальний скрапінг є водночас і етичним, і ефективним вибором.

Обмежте свої витрати

Оскільки проксі дата-центру вимірювані, стежте за використанням. s4m дозволяє адміністраторам встановлювати ліміти за трьома осями — на тип облікового запису, на IP і на обліковий запис — щоб некерований обхідник не зміг тихо спалити ваш бюджет. Встановіть стелю на обліковий запис перед запуском великого завдання.

Python: скрапінг через проксі s4m

Мінімальний, ввічливий скрапер на requests, який виходить через ваш датацентровий проксі s4m замість вашого origin-сервера.

python

import time
import requests

# s4m datacenter proxy endpoints:
#   SOCKS5 -> proxy.s4m.online:1080   (pip install "requests[socks]")
#   HTTP   -> proxy.s4m.online:3128
PROXY = "socks5://USER:[email protected]:1080"
# PROXY = "http://USER:[email protected]:3128"

session = requests.Session()
session.proxies.update({"http": PROXY, "https": PROXY})
session.headers.update(
    {"User-Agent": "my-scraper/1.0 ([email protected])"}
)

# Confirm requests now exit through the proxy, not your real IP:
print("exit IP:", session.get("https://api.ipify.org", timeout=15).text)

for page in range(1, 6):
    r = session.get(f"https://example.com/list?page={page}", timeout=20)
    r.raise_for_status()
    # ... parse r.text here ...
    time.sleep(1.5)  # throttle: stay within the target's rate limits

FAQ

Відповіді на питання

Чи є проксі s4m резидентними?

Ні. s4m надає автентифіковані датацентрові SOCKS5 та HTTP проксі. Вони швидкі й економічні, але оскільки це датацентрові IP, сайти, які оцінюють репутацію IP, можуть виявити їх легше, ніж резидентні адреси. Ми не продаємо й не заявляємо про резидентні проксі.

Чи можу я ротувати IP автоматично?

Ви керуєте ротацією зі свого боку, чергуючи запити чи сесії. Для фіксованого виходу без ротації додайте виділену персональну IP і прив'яжіть її до свого проксі. Поєднайте будь-який підхід із лімітами використання s4m на IP та на обліковий запис, щоб тримати і поведінку, і вартість передбачуваними.

SOCKS5 чи HTTP — що використовувати для скрапінгу?

Обидва працюють. SOCKS5 (порт 1080) не залежить від протоколу й обробляє будь-який TCP-трафік, що зручно для автоматизації браузера, як-от Playwright. HTTP (порт 3128) — найпростіший варіант для звичайних скриптів на основі requests. Обирайте те, що ваш клієнт підтримує найкраще.

Чи можна використовувати список безкоштовних проксі для продакшн-скрапінгу?

Залиште його для тестування. Безкоштовний список агрегує сторонні проксі з відкритих джерел; вони постійно перевіряються, але можуть зникнути чи сповільнитися будь-якої миті, і ви використовуєте їх на власний ризик. Для надійних задач використовуйте автентифіковані датацентрові проксі s4m.

Чи законний веб-скрапінг через проксі?

Проксі змінює те, яку IP-адресу бачить сайт; воно не дає дозволу. Завжди перевіряйте умови використання цільового ресурсу та robots.txt, уникайте персональних або захищених авторським правом даних, які вам не дозволено збирати, і тримайте частоту запитів у розумних межах. Проксі не замінює законного та етичного скрапінгу.

Читайте далі

Вам також може сподобатися

Починайте скрапінг, не розкриваючи своєї реальної IP-адреси

Підніміть автентифіковані SOCKS5 та HTTP проксі дата-центрів або спершу спробуйте прототип із безкоштовним публічним списком. Анонімні акаунти, no-logs за задумом, і ви платите лише за дані, які тарифікуєте.

Переглянути ціни на проксі Дивитись ціни

Цю сторінку знаходять за запитами

як використовувати проксі для веб-скрапінгу
роздільне тунелювання
ip адреса для парсингу
ip адреса
vpn kill switch для парсингу
проксі для парсингу
список безкоштовних проксі
налаштування проксі
подвійний VPN / multi-hop
як користуватися проксі у wget

Реальні пошукові фрази, на які відповідає ця сторінка — за посиланнями відкриються матеріали, що розкривають тему глибше.