Scrapy proxy integation

Scrapy Proxy-Integration

Diese Anleitung könnte veraltet sein. Eine aktuelle Anleitung finden Sie in unserer Dokumentation.

Was ist Scrapy?

Scrapy ist ein Python-Framework für Web-Crawling und -Scraping, mit dem Nutzer strukturierte Daten von Websites extrahieren können. Es ist Open-Source, schnell und erweiterbar. Scrapy kann für verschiedene Zwecke verwendet werden, wie Data Mining, Überwachung und automatisiertes Testen.

Scrapy-Integration mit Bright Data Proxys

Öffnen Sie Ihre bevorzugte IDE und starten Sie ein neues Scrapy-Projekt, geben Sie in die Befehlszeile ein:

      scrapy startproject <project_name>
    

Dadurch wird ein neuer Ordner mit dem Projektnamen erstellt, öffnen Sie innerhalb des Ordners eine Python-Datei.

  • Gehen Sie zu Ihrem Bright Data Control Panel und klicken Sie auf das Symbol ‘Proxies & Scraping Infra’
  • Erstellen Sie eine neue Proxy-Zone, indem Sie auf ‘Hinzufügen’ klicken, einen Netzwerktyp auswählen, den Proxy konfigurieren und auf Speichern klicken
  • Unter dem Tab ‘Zugriffsparameter‘ Ihrer Proxy-Zone finden Sie Ihre Werte für ‘USERNAME‘ und ‘PASSWORD‘.
  • Setzen Sie in Ihrer Scrapy-Spider-Codedatei innerhalb des Meta-Parameters der Anfrage den Wert ‘proxy’ auf Folgendes, unter Verwendung der zuvor genannten Werte ‘USERNAME‘ und ‘PASSWORD‘: “http://USERNAME:[email protected]:33335“
  • Zum Beispiel:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"

def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request

def parse(self, response):
print(response.body)

Führen Sie dann den folgenden Befehl in Ihrer Befehlszeile aus:

      scrapy runspider <Pythonfilename.py>
    

So verwenden Sie den Bright Data Proxy Manager mit Scrapy

  • Erstellen Sie eine Proxy-Zone genau wie bei der direkten Integration oben
  • Installieren Sie den Proxy Manager
  • Klicken Sie auf ‘Neuen Port hinzufügen’ und konfigurieren Sie ihn für Ihren Anwendungsfall
  • Setzen Sie in Ihrer Scrapy-Spider-Codedatei innerhalb des Meta-Parameters der Anfrage den Wert ‘proxy’ auf Folgendes: “http://IP:PORTNUMBER”
  • Die lokale Host-IP lautet 127.0.0.1 – dies ist der Wert, den Sie verwenden müssen, wenn der Proxy Manager auf Ihrem Rechner installiert ist. Wenn der Proxy Manager auf einem externen Server installiert ist, geben Sie die IP-Adresse dieses Servers ein
  • Der im Proxy Manager erstellte Port ist 24XXX, zum Beispiel 24000 – die standardmäßige erste Portnummer
  • Zum Beispiel:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"

def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request

def parse(self, response):
print(response.body)

⚠️Wichtiger Hinweis: Wenn Sie die Residential-Proxys, den Web Unlocker oder die SERP-API von Bright Data verwenden, müssen Sie ein SSL-Zertifikat installieren, um Ende-zu-Ende-sichere Verbindungen zu Ihrer Zielwebsite(n) zu ermöglichen. Dies ist ein einfacher Prozess, siehe https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate für Anweisungen.

Proxys für Scrapy holen

proxy badges

Angetrieben von einem preisgekrönten Residential-Proxy-Netzwerk

Über 400M+ monthly residential IPs, erstklassige Technologie und die Fähigkeit jedes Land, jede Stadt, jeden Anbieter und jede ASN zu erreichen, machen unsere Premium-Proxy-Dienste zur ersten Wahl für Entwickler

Proxy-Netzwerk-Preise

    50% RABATT
    PAY AS YOU GO
    $8$4/GB
    Keine Verpflichtung
    Jetzt anfangen
    Use this coupon code: RESIGB50
    Proxies ohne monatliche Bindung
    50% RABATT
    141 GB enthalten
    $7$4/GB
    $499 Monatliche Abrechnung
    Jetzt anfangen
    Use this coupon code: RESIGB50
    Perfekt für kleine Unternehmen mit mäßiger Nutzung
    50% RABATT
    332 GB enthalten
    $6$3/GB
    $999 Monatliche Abrechnung
    Jetzt anfangen
    Use this coupon code: RESIGB50
    Für große Teams mit umfangreichen betrieblichen Anforderungen konzipiert
    50% RABATT
    798 GB enthalten
    $5$3/GB
    $1,999 Monatliche Abrechnung
    Jetzt anfangen
    Use this coupon code: RESIGB50
    Für Unternehmen mit umfangreichen Betriebsabläufen optimiert
    Prices shown are estimates in local currency for reference only. Actual charges will be calculated and billed in USD based on the exchange rate at the time of the transaction. Bright Data is not liable for any foreign exchange differences. USD pricing is binding, local currency amounts are indicative only.
    Sie benötigen mehr als 1 TB?
    Kontaktieren Sie uns
    • Unbegrenztes Volumen
    • Unbegrenzte Sitzplätze
    • Premium - SLA
    • 99,99 % Netzwerkverfügbarkeit
    • Kostenloser Proxy-Manager
    • Vollständige Datenabdeckung
    • Custom price per GB
    • Maßgeschneiderte Lösungen
    Wir akzeptieren diese Zahlungsmethoden:
    AWS logoVerwenden Sie AWS? Ab sofort können Sie über den AWS-Marktplatz bezahlen
    Erste Schritte

    Das beste Kundenerlebnis in der Branche!

    Sie fragen, wir entwickeln

    Neue Funktionsveröffentlichungen jeden Tag

    24/7 globale Unterstützung

    Um Fragen zu beantworten, wenn Sie sie benötigen

    Vollständige Transparenz

    Echtzeit-Netzwerkleistungs-Dashboard

    Gewidmete Kontomanager

    Um Ihre Leistung zu optimieren

    Maßgeschneiderte Lösungen

    Um Ihre Datensammelziele zu erreichen

    Der führende Anbieter von Proxies und Datenerfassung

    Täglich werden 650TB an öffentlichen Daten gesammelt
    Neue Funktionen werden täglich veröffentlicht
    Skalierung auf Unternehmensniveau
    4.6/5 höchste Trustpilot-Bewertung in der Branche

    Bereit, Scrapy-Proxys zu holen?