Guide de scraping · 2 min de lecture

Comment éviter les interdictions d'IP lors du scraping

Les interdictions d'IP proviennent généralement du comportement, pas de la malchance — trop de requêtes, des en-têtes négligés, et une empreinte digitale qui crie "bot". Voici comment gratter dans les règles et garder vos requêtes en cours.

Commencez

Pourquoi les sites interdisent les IP (et quoi corriger en premier)

La plupart des blocages sont déclenchés par la façon dont vous demandez, pas par qui vous êtes.

Trois signaux font le gros du travail derrière la plupart des interdictions :

Taux & de volume — trop de requêtes par seconde d'une seule IP, ou un rythme parfaitement régulier qu'aucun humain ne produirait.
Empreinte — ordre des frames TLS/JA3, HTTP/2, et ordre des en-têtes qui ne correspondent pas au navigateur que vous prétendez être.
En-têtes — un User-Agent manquant ou par défaut, pas de Accept-Language, un Referer obsolète ou absent.

Avant d'optimiser quoi que ce soit, lisez le robots.txt et les Conditions d'utilisation de la cible. Le scraping de données publiques est souvent acceptable ; frapper un point de terminaison, ignorer les limites de taux publiées, ou collecter des données personnelles peut enfreindre les ToS et, dans certaines juridictions, la loi. Respectez le crawl-delay, mettez en cache ce que vous récupérez, et ne réessayez pas un site jusqu'à l'épuisement.

Une fois que vous scrapez de manière responsable, votre principal levier est la façon dont les IP sont attribuées :

Approche	Meilleur pour	Compromis
Rotation (nouvelle IP par requête/groupe)	Pages publiques à fort volume, crawls de style recherche	Répartit la charge, mais casse les sessions, les paniers et les connexions
Collant / session (même IP pendant un certain temps)	Flux connectés, navigation multi-étapes, pagination	A l'air humain, mais concentre la charge sur une seule sortie

s4m exécute des proxys datacenter — SOCKS5 + HTTP authentifiés, pas résidentiels. Ils sont rapides et peu coûteux par Go, mais certains sites consommateurs signalent plus facilement les plages de datacenter, donc associez-les à des en-têtes propres et à des limites de taux honnêtes. Besoin d'une sortie stable pour les connexions ? Ajoutez une IP dédiée. Préférez un tunnel complet ? Voir /vpn/, évaluer les options à /compare/, ou lire plus de guides.

Les leviers qui vous gardent non banni

Combinez-les — aucun truc unique ne surpasse un bon système anti-bot.

Limite de taux et jitter

Limitez la concurrence, ajoutez des délais aléatoires entre les demandes, et respectez le crawl-delay ainsi que tout 429 / Retry-After que le serveur envoie.

Faire tourner ou rester collant

Faites tourner les IP pour des crawls sans état et à fort volume ; gardez une sortie fixe pour les flux connectés et multi-étapes. De nombreux travaux mélangent les deux.

Empreinte propre

Envoyez des en-têtes de navigateur réalistes avec un Accept-Language et un Referer cohérents au lieu des valeurs par défaut de la bibliothèque qui vous marquent comme un bot.

Reculez en cas d'échec

Utilisez un backoff exponentiel avec jitter sur les réponses 429 et 5xx, et arrêtez complètement lorsque le site signale clairement d'arrêter.

Contrôle d'utilisation par IP

Les limites s4m sont réglables par l'administrateur par IP, compte et type de compte, donc un travail incontrôlé ne peut pas brûler une sortie partagée ou votre budget.

Pas de journaux, RAM d'abord

Proxys authentifiés sur TLS, sans journaux par conception. Votre liste de cibles et votre trafic restent les vôtres, sur carte ou crypto.

Une configuration de scraping résistante aux interdictions

Six étapes de la première demande à un crawler durable.

Vérifiez robots.txt et ToS

Confirmez que le point de terminaison permet un accès automatisé, notez tout délai de crawl et évitez les données personnelles ou clairement interdites.

Définir un budget de demande

Choisissez une limite de concurrence et un nombre de requêtes par seconde bien en dessous de ce qui semblerait abusif, puis ajoutez un délai aléatoire.

Envoyer des en-têtes réalistes

Définissez un vrai User-Agent, Accept et Accept-Language, et gardez-les cohérents pendant toute la durée d'une session.

Choisissez entre rotatif et collant

Faites tourner les sorties pour les pages sans état ; réutilisez une sortie collante par session connectée afin que l'état ne se casse pas en cours de route.

Ajouter un retour exponentiel

Sur 429 / 503, attendez Retry-After (ou 2^n) plus un peu de jitter et réessayez plusieurs fois, puis abandonnez gracieusement.

Limite d'utilisation par IP

Utilisez des limites par IP s4m afin qu'un seul scraping ne puisse pas épuiser une sortie, et surveillez l'utilisation mesurée à mesure que vous évoluez.

Python : crawler poli sur des proxies s4m

Session persistante, en-têtes réalistes, ralentissement avec jitter. Échangez USER:PASS contre vos identifiants — ne codez jamais une vraie IP en dur.

python

import random
import time
import requests

# s4m datacenter proxies (authenticated). Placeholder host only.
USER, PASS = "USER", "PASS"
HTTP  = f"http://{USER}:{PASS}@proxy.s4m.online:3128"
SOCKS = f"socks5://{USER}:{PASS}@proxy.s4m.online:1080"  # pip install requests[socks]

PROXIES = {"http": HTTP, "https": HTTP}

HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/125.0 Safari/537.36"
    ),
    "Accept": "text/html,application/xhtml+xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
}


def polite_get(url, session, max_retries=5):
    for attempt in range(max_retries):
        r = session.get(url, headers=HEADERS, proxies=PROXIES, timeout=20)
        if r.status_code == 429 or r.status_code >= 500:
            wait = float(r.headers.get("Retry-After", 2 ** attempt))
            time.sleep(wait + random.uniform(0, 1))  # backoff + jitter
            continue
        r.raise_for_status()
        return r
    raise RuntimeError(f"gave up after {max_retries} tries: {url}")


def crawl(urls):
    # One Session = one sticky exit for this run; open a new one to rotate.
    with requests.Session() as s:
        for url in urls:
            resp = polite_get(url, s)
            yield url, resp.text
            time.sleep(random.uniform(1.5, 4.0))  # rate-limit + jitter


if __name__ == "__main__":
    for url, html in crawl(["https://example.com/page/1"]):
        print(url, len(html))

FAQ

Questions, réponses

Les proxies de datacenter sont-ils suffisants pour éviter les interdictions ?

Ils cachent votre IP d'origine et répartissent la charge, ce qui empêche de nombreux blocages basés sur le taux. Mais les proxies s4m sont des datacenters, pas résidentiels, et certains sites consommateurs signalent plus facilement les plages de datacenters — donc combinez-les avec des en-têtes propres, des limites de taux raisonnables, et des sessions collantes là où l'état compte.

Devrais-je utiliser des proxies rotatifs ou persistants ?

Faites tourner les sorties pour des pages publiques sans état et à fort volume afin qu'aucune IP unique n'attire l'attention. Gardez une session stable lorsque vous êtes connecté ou que vous suivez un flux multi-étapes, car un changement d'IP en cours de session semble suspect et peut casser des paniers ou des authentifications. De nombreux travaux mélangent les deux.

Le scraping web est-il légal ?

Cela dépend de votre juridiction, des données et des conditions du site. Les données publiques et non personnelles sont souvent acceptables, mais les CGU d'une plateforme peuvent interdire l'accès automatisé même lorsque cela est techniquement possible, et les données personnelles comportent des règles supplémentaires. Vérifiez toujours robots.txt et les CGU, et scrapez de manière conservatrice.

Comment puis-je empêcher un travail de consommer tout mon quota ?

Les proxies s4m sont mesurés et payés à l'utilisation, avec des limites réglables par l'administrateur par IP, par compte et par type de compte. Limitez la concurrence dans votre crawler et définissez une limite d'utilisation par IP afin qu'une boucle incontrôlée ne puisse pas épuiser votre budget ou une sortie partagée.

Puis-je obtenir une IP stable pour le scraping connecté ?

Oui. L'option d'IP personnelle dédiée est une sortie statique que vous pouvez optionnellement dissocier de votre identité et lier soit à un proxy soit au VPN — utile lorsqu'une cible lie une session à une adresse cohérente.

Continuez à lire

Grattez plus intelligemment, pas plus durement

Proxies de datacenter SOCKS5 + HTTP authentifiés, pay-as-you-go à la consommation, avec des limites d'utilisation par IP et une IP dédiée en option. Pas de logs par conception — et honnête sur le fait qu'il s'agit de sorties de datacenter, pas résidentielles.

Voir les prix des proxies Voir les prix

Les gens ont trouvé cette page en recherchant

comment éviter les interdictions d'IP lors du scraping
que sont les proxies ISP (résidentiels statiques)
proxy pour le scraping avec paiement crypto
comment configurer un proxy dans Chrome et Firefox
configuration de proxy Puppeteer avec authentification
frais liste de proxies gratuits
comment liste de proxies gratuits fonctionne
proxy http
interrupteur d'arrêt VPN
WireGuard vs OpenVPN
proxy socks5 pour les entreprises
openvpn
authentification de proxy tutoriel
comment configurer adresse IP
adresse IP
authentification de proxy

Vraies phrases de recherche auxquelles cette page répond — les liens ouvrent la page qui les couvre en profondeur.