Zum Inhalt springenWie man Proxys für Web-Scraping verwendet
Proxys halten den Ursprungsserver deines Scrapers verborgen und verteilen Anfragen über IPs, sodass eine einzelne Adresse nicht drosselt oder blockiert wird. Dieser Leitfaden behandelt die Auswahl von Proxys und deren Integration in Python, Scrapy und Playwright.
Warum dein Scraper einen Proxy benötigt
Zwei Probleme treiben fast jede Scraping-Einrichtung an: den Schutz Ihrer echten IP und das Einhalten der pro-IP-Datenlimits.
Wenn ein Crawler Tausende von Anfragen von einer Adresse sendet, sieht die Zielseite eine einzelne IP, die sich wie ein Bot verhält. Das übliche Ergebnis ist eine Verlangsamung, eine CAPTCHA-Wand oder eine vollständige Sperrung — und schlimmer, die gesperrte Adresse ist dein Ursprungsserver, die Maschine, die deine Geschäftslogik ausführt. Ein Proxy sitzt zwischen deinem Scraper und dem Ziel, sodass die Seite nur die Ausgangs-IP des Proxys sieht, niemals deine echte.
Zwei Anliegen prägen fast jede Scraping-Konfiguration:
- Schutz deines Ursprungs. Wenn die IP deines Produktionsservers auf die schwarze Liste gesetzt wird, überdauert der Schaden das Scraping. Das Routing über einen Proxy hält diese Adresse sauber und unverbunden mit dem Crawl.
- Lastverteilung. Das Verteilen von Anfragen auf mehrere Ausgangs-IPs hält jede von ihnen unter dem pro-IP-Datenlimit des Ziels, sodass du Daten sammeln kannst, ohne die Missbrauchsabwehr auszulösen.
s4m bietet authentifizierte Datacenter SOCKS5- und HTTP-Proxys genau dafür an. Sie sind schnell und kostengünstig, was zu hochvolumigen, toleranten Zielen passt — aber da es sich um Datacenter-IPs handelt, können strenge Seiten sie leichter als Wohnadressen identifizieren, also setze die Erwartungen entsprechend. Für schnelle Experimente kannst du Wegwerf-Endpunkte von der kostenlosen öffentlichen Proxyliste abrufen, Drittanbieter-Proxys, die kontinuierlich validiert werden, aber strikt auf eigenes Risiko verwenden. Wenn du auch eine ganze App oder einen Server anstelle eines einzelnen Clients verbergen möchtest, deckt ein VPN-Tunnel gesamten Verkehr ab. Siehe Preise für die Abrechnung von Proxy-Raten.
Proxys für das Scraping auswählen
Passen Sie das Werkzeug an die Aufgabe an. So vergleichen sich die Optionen von s4m für eine Scraping-Last.
Rechenzentrum SOCKS5 / HTTP
Abgerechnete, nutzungsabhängige Proxys auf proxy.s4m.online — Port 1080 für SOCKS5, 3128 für HTTP, authentifiziert mit USER:PASS. Schnell und kosteneffektiv für das massenhafte Crawlen von Zielen, die nicht aggressiv die IP-Reputation bewerten. Dies ist das Arbeitstier für das Produktions-Scraping.
Kostenlose öffentliche Proxy-Liste
Drittanbieter-Proxys, die aus offenen Quellen gesammelt und kontinuierlich neu validiert werden, filterbar nach Land, Protokoll und Anonymität. Ideal für das Prototyping eines Scrapers, bevor Sie ein Budget festlegen – aber unzuverlässig und auf eigenes Risiko zu verwenden, niemals für Produktionsjobs geeignet.
Dedizierte persönliche IP
Eine optionale statische IP, die nur Ihnen gehört, an Ihren Proxy bindbar und optional von Ihrer Identität entkoppelt. Nützlich, wenn ein Ziel eine einzelne Adresse auf die Whitelist setzt oder wenn Sie eine stabile, feste Sitzung benötigen, die sich nie unter Ihnen ändert.
Integrieren und steuern Sie Ihr Crawling
Von einer ersten authentifizierten Anfrage zu Sitzungen, Rotation, Ratenlimits und Kostenkontrolle.
Richten Sie Ihren Client auf den Proxy aus
In Python-Anfragen setzen Sie das Proxydict auf socks5://USER:PASS@proxy.s4m.online:1080 (installieren Sie requests[socks]) oder den HTTP-Endpunkt auf 3128. In Scrapy aktivieren Sie HttpProxyMiddleware und setzen den Proxy pro Anfrage oder über die Umgebungsvariable http_proxy. In Playwright übergeben Sie proxy={"server": ...} an browser.launch().
Wählen Sie Sitzungen vs. Rotation
Verwenden Sie eine persistente requests.Session — oder eine dedizierte persönliche IP — wenn das Ziel Cookies und den Anmeldestatus an eine IP bindet, da ein Wechsel während der Sitzung verdächtig aussieht. Rotieren Sie über viele Ausgangs-IPs, wenn Sie öffentliche Listen durchsuchen, um unter den pro-IP-Limits zu bleiben. Mischen Sie die beiden nicht für dieselbe logische Identität.
Drosseln und das Ziel respektieren
Ehren Sie robots.txt, lesen Sie die Nutzungsbedingungen der Website und fügen Sie Verzögerungen hinzu: time.sleep in Anfragen, DOWNLOAD_DELAY und AutoThrottle in Scrapy. Stetige, menschliche Anfragegeschwindigkeiten werden viel seltener blockiert als Spitzen — verantwortungsvolles Scraping ist sowohl die ethische als auch die effektive Wahl.
Begrenzen Sie Ihre Ausgaben
Da Rechenzentrums-Proxys nach Verbrauch abgerechnet werden, beobachten Sie die Nutzung. s4m ermöglicht es Administratoren, Limits auf drei Achsen festzulegen – pro Kontotyp, pro IP und pro Konto – sodass ein unkontrollierter Crawler Ihr Budget nicht heimlich aufbrauchen kann. Setzen Sie eine Obergrenze pro Konto, bevor Sie einen großen Job starten.
Python: über den s4m-Proxy scrapen
Ein minimaler, höflicher Anfragen-Scraper, der über Ihren s4m-Datacenter-Proxy anstelle Ihres Ursprungsservers aussteigt.
import time
import requests
# s4m datacenter proxy endpoints:
# SOCKS5 -> proxy.s4m.online:1080 (pip install "requests[socks]")
# HTTP -> proxy.s4m.online:3128
PROXY = "socks5://USER:PASS@proxy.s4m.online:1080"
# PROXY = "http://USER:PASS@proxy.s4m.online:3128"
session = requests.Session()
session.proxies.update({"http": PROXY, "https": PROXY})
session.headers.update(
{"User-Agent": "my-scraper/1.0 (+contact@example.com)"}
)
# Confirm requests now exit through the proxy, not your real IP:
print("exit IP:", session.get("https://api.ipify.org", timeout=15).text)
for page in range(1, 6):
r = session.get(f"https://example.com/list?page={page}", timeout=20)
r.raise_for_status()
# ... parse r.text here ...
time.sleep(1.5) # throttle: stay within the target's rate limits
Fragen, beantwortet
Sind s4m-Proxys residential?
Nein. s4m bietet authentifizierte Datacenter-SOCKS5- und HTTP-Proxys an. Sie sind schnell und kosteneffektiv, aber da es sich um Datacenter-IP-Adressen handelt, können sie von Websites, die die IP-Reputation bewerten, leichter erkannt werden als Wohnadressen. Wir verkaufen oder beanspruchen keine Wohnproxies.
Kann ich IPs automatisch rotieren?
Sie steuern die Rotation von Ihrer Seite, indem Sie durch Anfragen oder Sitzungen wechseln. Für einen festen, nicht rotierenden Ausgang fügen Sie eine dedizierte persönliche IP hinzu und binden Sie sie an Ihren Proxy. Kombinieren Sie entweder Ansatz mit s4m's pro-IP und pro-Konto-Nutzungsgrenzen, um sowohl Verhalten als auch Kosten vorhersehbar zu halten.
SOCKS5 oder HTTP — was sollte ich zum Scraping verwenden?
Beide funktionieren. SOCKS5 (Port 1080) ist protokollunabhängig und verarbeitet jeden TCP-Verkehr, was für die Automatisierung von Browsern wie Playwright praktisch ist. HTTP (Port 3128) ist die einfachste Lösung für skriptbasierte Anfragen. Wähle das, was dein Client am besten unterstützt.
Kann ich die kostenlose Proxy-Liste für die Produktion verwenden?
Behalten Sie es für Tests. Die kostenlose Liste aggregiert Drittanbieter-Proxys aus offenen Quellen; sie werden kontinuierlich validiert, können jedoch jederzeit verschwinden oder langsamer werden, und Sie verwenden sie auf eigenes Risiko. Für zuverlässige Aufgaben verwenden Sie die authentifizierten Rechenzentrums-Proxys von s4m.
Ist Web-Scraping über einen Proxy legal?
Ein Proxy ändert, welche IP eine Seite sieht; er gewährt keine Erlaubnis. Überprüfe immer die Nutzungsbedingungen und robots.txt des Ziels, vermeide persönliche oder urheberrechtlich geschützte Daten, die du nicht sammeln darfst, und halte die Anfrageraten angemessen. Ein Proxy ist kein Ersatz für rechtmäßiges und ethisches Scraping.
Beginne mit dem Scraping, ohne deine Herkunft preiszugeben
Starten Sie authentifizierte Datacenter-SOCKS5- und HTTP-Proxys oder prototypisieren Sie zunächst mit der kostenlosen öffentlichen Liste. Anonyme Konten, keine Protokollierung aus Design, und Sie zahlen nur für die Daten, die Sie messen.
Menschen fanden diese Seite durch die Suche nach
- wie man proxys für Web-Scraping verwendet
- split tunneling
- IP-Adresse für Scraping
- IP-Adresse
- VPN-Kill-Switch für Scraping
- Proxy für Scraping
- kostenlose Proxy-Liste
- Proxy-Einrichtung
- doppeltes VPN / Multi-Hop
- wie man einen proxy mit wget verwendet
Echte Suchphrasen, auf die diese Seite antwortet — die verlinkten öffnen die Seite, die sie ausführlich behandelt.