Scrapy Proxy-Integration
Diese Anleitung könnte veraltet sein. Eine aktuelle Anleitung finden Sie in unserer Dokumentation.
Was ist Scrapy?
Scrapy ist ein Python-Framework für Web-Crawling und -Scraping, mit dem Nutzer strukturierte Daten von Websites extrahieren können. Es ist Open-Source, schnell und erweiterbar. Scrapy kann für verschiedene Zwecke verwendet werden, wie Data Mining, Überwachung und automatisiertes Testen.
Scrapy-Integration mit Bright Data Proxys
Öffnen Sie Ihre bevorzugte IDE und starten Sie ein neues Scrapy-Projekt, geben Sie in die Befehlszeile ein:
scrapy startproject <project_name>
Dadurch wird ein neuer Ordner mit dem Projektnamen erstellt, öffnen Sie innerhalb des Ordners eine Python-Datei.
- Gehen Sie zu Ihrem Bright Data Control Panel und klicken Sie auf das Symbol ‘Proxies & Scraping Infra’
- Erstellen Sie eine neue Proxy-Zone, indem Sie auf ‘Hinzufügen’ klicken, einen Netzwerktyp auswählen, den Proxy konfigurieren und auf Speichern klicken
- Unter dem Tab ‘Zugriffsparameter‘ Ihrer Proxy-Zone finden Sie Ihre Werte für ‘USERNAME‘ und ‘PASSWORD‘.
- Setzen Sie in Ihrer Scrapy-Spider-Codedatei innerhalb des Meta-Parameters der Anfrage den Wert ‘proxy’ auf Folgendes, unter Verwendung der zuvor genannten Werte ‘USERNAME‘ und ‘PASSWORD‘: “http://USERNAME:[email protected]:33335“
- Zum Beispiel:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request
def parse(self, response):
print(response.body)
Führen Sie dann den folgenden Befehl in Ihrer Befehlszeile aus:
scrapy runspider <Pythonfilename.py>
So verwenden Sie den Bright Data Proxy Manager mit Scrapy
- Erstellen Sie eine Proxy-Zone genau wie bei der direkten Integration oben
- Installieren Sie den Proxy Manager
- Klicken Sie auf ‘Neuen Port hinzufügen’ und konfigurieren Sie ihn für Ihren Anwendungsfall
- Setzen Sie in Ihrer Scrapy-Spider-Codedatei innerhalb des Meta-Parameters der Anfrage den Wert ‘proxy’ auf Folgendes: “http://IP:PORTNUMBER”
- Die lokale Host-IP lautet 127.0.0.1 – dies ist der Wert, den Sie verwenden müssen, wenn der Proxy Manager auf Ihrem Rechner installiert ist. Wenn der Proxy Manager auf einem externen Server installiert ist, geben Sie die IP-Adresse dieses Servers ein
- Der im Proxy Manager erstellte Port ist 24XXX, zum Beispiel 24000 – die standardmäßige erste Portnummer
- Zum Beispiel:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request
def parse(self, response):
print(response.body)
⚠️Wichtiger Hinweis: Wenn Sie die Residential-Proxys, den Web Unlocker oder die SERP-API von Bright Data verwenden, müssen Sie ein SSL-Zertifikat installieren, um Ende-zu-Ende-sichere Verbindungen zu Ihrer Zielwebsite(n) zu ermöglichen. Dies ist ein einfacher Prozess, siehe https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate für Anweisungen.
Proxys für Scrapy holen
Angetrieben von einem preisgekrönten Residential-Proxy-Netzwerk
Über 400M+ monthly residential IPs, erstklassige Technologie und die Fähigkeit jedes Land, jede Stadt, jeden Anbieter und jede ASN zu erreichen, machen unsere Premium-Proxy-Dienste zur ersten Wahl für Entwickler
Ein Proxy für jeden Entwicklungspfad
Kombinieren Sie Netzwerke, Peers und IPs, um Ihren kontinuierlichen Web-Datenfluss zu optimieren.
Proxy-Netzwerk-Preise
Das beste Kundenerlebnis in der Branche!
Neue Funktionsveröffentlichungen jeden Tag
Um Fragen zu beantworten, wenn Sie sie benötigen
Echtzeit-Netzwerkleistungs-Dashboard
Um Ihre Leistung zu optimieren
Um Ihre Datensammelziele zu erreichen