Erfahren Sie, wie Sie die Anforderungsgeschwindigkeit mit einfachen Manipulationen an Proxies erhöhen können.
Agenda
- Einfache Schritte zur Lösung häufiger Geschwindigkeitsprobleme
- Verwendung der schnellsten IPs und Super-Proxys für Ihre Zieldomains
- Verringerung der Bandbreite der Antwort
- Proxy-Konfigurationen optimieren
Sie möchten das Webinar nicht ansehen, sondern lesen?
Die Zeit, die für das Senden und Empfangen von Anfragen aufgewendet wird, ist wichtig für den Erfolg Ihrer Datenerfassungsvorgänge. Wir zeigen Ihnen zunächst, wie Sie Ihre Anfragezeit beschleunigen können.
Ich beginne mit dem Proxy-Manager, mit dem ich die Anfrage ändern kann, bevor sie den Super-Proxy erreicht.
Der Proxy Manager fungiert als Vermittler zwischen dem Crawler und den Super-Proxys und hilft dabei, den Traffic zu den Super-Proxys und zum Proxy-Ausgangsknoten (auch Peer genannt) zu steuern und zu formen.
Er steuert auch, was nach Erhalt der Antwort geschehen soll.
Der Proxy Manager ist eine Open-Source-Software, die lokal auf Ihrem Computer installiert wird.
Ein Download ist auf unserer Website verfügbar: brightdata.com/products/Proxy-Manager, github.com/luminati-io/luminati-Proxy, npmjs.com/package/@luminati-io/luminati-Proxy und hub.docker.com/r/luminati/luminati-Proxy/
Wir beginnen mit der Betrachtung der Anforderungsprotokolle, die im Proxy Manager-Dashboard und unter der Registerkarte „HAR Viewer” in jedem der Proxy-Ports verfügbar sind.
Klicken Sie auf die Anforderung, um die Details der Anforderung und Antwort sowie deren Zeitpunkt anzuzeigen.
Der Zeitpunkt gibt an, wie lange es gedauert hat, bis die Anforderung an die Zielwebsite gesendet und von dieser empfangen wurde, sowie wie lange es gedauert hat, bis die Antwort zurückkam.
Wenn die Zeit für das Senden der Anfrage die gewünschte Zeit überschreitet, können wir dies ändern, indem wir zur Registerkarte „Anfragegeschwindigkeit“ des Proxy-Ports gehen.
Ich kann den Super-Proxy auswählen, der meinem Standort am nächsten ist, um eine kürzere Roundtrip-Zeit zu erzielen.
Dies kann über den Proxy-Manager erfolgen, indem Sie zum Proxy-Manager gehen und im Proxy-Port unter der Registerkarte „Anfragegeschwindigkeit“ das gewünschte Land in der Dropdown-Liste „Standort des Super-Proxys“ auswählen.
Beachten Sie, dass die Geolokalisierung der Exit-Node-IP nicht vom Standort des Super-Proxys selbst beeinflusst wird.
Das Abrufen des Super-Proxys per Geolokalisierung für eine kürzere Latenzzeit kann auch mit dem Befehl servercountry-COUNTRY_CODE.zproxy.lum-superproxy.io erfolgen. Derzeit werden die Ländercodes AU, CN, GB, IN, NL und US für das Abrufen eines Super-Proxys unterstützt.
Um beispielsweise einen Super-Proxy aus Australien zu erhalten, müssen Sie lediglich diesen Befehl ausführen: servercountry-au.zproxy.lum-superproxy.io
Eine weitere Möglichkeit zur Verbesserung der Geschwindigkeit besteht darin, jede Anfrage mehrmals parallel über verschiedene Super-Proxys zu senden, wodurch der schnellste verwendet wird.
Dies kann erreicht werden, indem Sie „Parallel race requests” auf 3 und die Mindestanzahl an Super-Proxys auf 5 setzen.
Die Einstellung „DNS beim Super-Proxy auflösen” ist ebenfalls schneller als die Auflösung auf der Peer-Seite.
Führen Sie nach der Einrichtung einen kurzen Test durch, indem Sie eine Anfrage an die Zielwebsite senden, um zu überprüfen, ob dies erfolgreich war.
Eine weitere Möglichkeit, die Anfragegeschwindigkeit zu verbessern, besteht darin, einen Geschwindigkeitsschwellenwert festzulegen und einen Pool von IPs zu speichern, die diesen Schwellenwert erfüllen.
Dies kann im Proxy-Manager unter der Registerkarte „Regeln” erfolgen.
Ich erstelle eine Regel, die ausgelöst wird, wenn eine Anfrage meine Zeitschwellenwerte erreicht oder unterschreitet, indem ich „Anfragezeit weniger als“ und „500 Millisekunden“ auswähle.
Als Nächstes wähle ich die Aktion „IP im Fast-Pool speichern“ aus. Dadurch wird ein Pool von IPs erstellt, die für meine spezifische Zielwebsite am schnellsten sind, und ich lege die Poolgröße auf 20 IPs fest.
Denken Sie daran, den HTTPS-Analysator zu aktivieren, damit die Proxy-Manager-Regeln mit https-Protokollen funktionieren.
Anweisungen finden Sie unter brightdata.com/faq#proxy-certificate.
Je nach Betriebssystem und Browser finden Sie hier genauere Anweisungen.
Eine langsame Antwortzeit kann optimiert werden, indem unnötige Dateien aus der Antwort entfernt werden.
Dies kann auf der Registerkarte „Regeln” erfolgen, indem Sie den zu entfernenden Dateityp im Regex-Feld auswählen und einen Trigger für bestimmte URLs aktivieren.
Auf der rechten Seite finden Sie die Regel als JavaScript-Funktion, die Sie in Ihren Code kopieren können.
Testen Sie Ihre Regel immer, indem Sie unterhalb des Regelabschnitts auf „Test” klicken.
Das Rechenzentrumsnetzwerk und das statische Wohnnetzwerk haben eine Begrenzung von 500 Anfragen pro Sekunde und IP.
Wenn Sie diesen Schwellenwert erreichen, erhalten Sie folgende Fehlermeldung: CODE 429: TUN_ERR: Zu viele Anfragen pro IP.
Um dieses Problem zu beheben, senken Sie die Anzahl der Anfragen oder kaufen Sie IPs, um die Last auf mehr Rechenzentrums-IPs zu verteilen.
Rechenzentrums-IPs sind Maschinen-IPs, und Statische Residential-IPs sind ISP-IPs, die besonders schnell sind und so lange wie nötig verwendet werden können.
Die Anzahl der Anfragen, die über das private Netzwerk mit Millionen von IPs echter Nutzer gestellt werden können, ist unbegrenzt.
Bright Data hat viele Kunden, die täglich mehr als 20 Millionen Anfragen senden.
Für Kunden, die täglich Millionen von Anfragen stellen, ist es ideal, Ihren Crawler oder Bot mit dem Proxy Manager oder über eine API mit dem Proxy Manager zu verbinden, der Sie mit dem Super Proxy verbindet.
Der Proxy Manager wird bei Ihnen vor Ort installiert und bei hoher Auslastung ist es notwendig, den Traffic auf mehrere Proxy Manager aufzuteilen.
Andernfalls kann es aufgrund der hohen Traffic-Auslastung auf einem einzelnen Proxy Manager-Rechner zu einem 502-Fehlercode kommen.
Um mehrere Proxy Manager zu konfigurieren, installieren Sie den Proxy Manager auf einem PC und richten Sie die erforderlichen Proxy-Ports, die Proxy-Port-Zielausrichtung, die Netzwerkregeln und die Portkonfiguration ein.
Der Proxy-Port kann auf der Registerkarte „Allgemein“ konfiguriert werden. Wählen Sie „Ja“, um SSL-Protokolle zu aktivieren.
Setzen Sie nun die IPs, die Sie mit diesem Proxy-Port verbinden möchten, auf die Whitelisted IPs, d. h. die IP Ihres Crawlers oder Bots.
Dadurch wird sichergestellt, dass nur die zulässigen Quellen die einzelnen Proxy-Ports des Proxy Managers verwenden.
Rufen Sie einfach die IPs von Ihrem Crawler-Rechner ab, geben Sie sie in das Feld „Whitelisted IPs“ ein und klicken Sie auf „V“.
Wechseln Sie nun zur Registerkarte „Manuelle Konfiguration“ und kopieren Sie die JSON-Datei.
Um den Proxy Manager auf anderen Rechnern zu installieren, wechseln Sie zur Registerkarte „Manuelle Konfigurationen“, klicken Sie auf „Bearbeiten“, fügen Sie die JSON-Datei ein und speichern Sie sie.
Dadurch werden alle von Ihnen definierten Proxy-Ports mit ihren Konfigurationen einschließlich der Whitelisted IPs kopiert.
Da wir nun über mehrere Computer mit Proxy Manager verfügen, wird die Aufteilung des Traffics zwischen den Instanzen durch die Weiterleitung der Anfragen an die entsprechende Computer-IP und den Proxy Manager-Port vorgenommen.
Die Anfragen sehen wie folgt aus:
Anfrage 1 -> [erste Server-IP]:24000
Anfrage 2 -> [zweite Server-IP]:24000
Hinweis: Denken Sie daran, das Proxy Manager-Zertifikat wie zuvor beschrieben zu installieren.
Zum Abschluss unseres Webinars sind die Schritte zur Erhöhung der Anfragegeschwindigkeit folgende:
- Leiten Sie den Traffic zu dem schnellsten Super-Proxy in Ihrer Nähe um.
- Senden Sie parallele Anfragen über mehrere Super-Proxys, um den schnellsten zu verwenden
- Lösen Sie DNS auf der Super-Proxy-Seite auf.
- Entfernen Sie unnötige Dateien aus der Antwort
- Speichern Sie die schnellste IP in einem Fast-IP-Pool für die zukünftige Verwendung.
- Verteilen Sie den Traffic auf mehrere Proxy Manager-Instanzen und -Maschinen
Wir hoffen, dass dieses Webinar für Sie hilfreich war. Sie können gerne unsere häufig gestellten Fragen besuchen oder sich unsere vergangenen Webinare ansehen, die Sie unter brightdata.com/webinarfinden.