Owler Crawler

Der Owler-Crawler ist ein automatisiertes Tool, das öffentliche Daten von Owler im großen Umfang findet und sammelt. Sie benötigen keine vollständige Liste von URLs. Sie können mit einem Schlüsselwort, einer Kategorie, einer Such-URL oder einer bestimmten Seite starten. Der Crawler findet die passenden Einträge und liefert die Daten in strukturiertem Format zurück.

Beim Crawlen geht es um das Auffinden von Seiten. Beim Scrapen geht es um die Extraktion bestimmter Felder von einer Seite, die bereits bekannt ist. Ein Scraper benötigt die Angabe, welche URL besucht werden soll. Ein Crawler findet die Einträge selbstständig und extrahiert dann die Daten. Nutzen Sie den Crawler, wenn Sie nicht die vollständige Liste der URLs haben oder wenn sich die Liste ständig ändert, etwa bei jedem Artikel einer Kategorie oder jedem Ergebnis für ein Schlüsselwort. Wenn Sie bereits die genauen URLs haben, ist die Erfassung per URL die direktere Option.

Ein Datensatz besteht aus bereits gesammelten Daten, die Sie als fertige Datei kaufen. Der Crawler sammelt frische Daten, wenn Sie ihn ausführen, basierend auf Ihren eigenen Eingaben. Wählen Sie einen Datensatz, wenn Sie sofort eine breite Abdeckung ohne Einrichtung wünschen. Wählen Sie den Crawler, wenn Sie einen bestimmten Umfang, die neuesten Daten oder eine Erfassung nach einem selbst festgelegten Zeitplan benötigen.

Proxys sind Infrastruktur. Sie leiten Ihre Anfragen über verschiedene IP-Adressen, aber Sie müssen trotzdem den Crawler, den Parser und die Entsperrung selbst erstellen und pflegen. Der Owler-Crawler enthält all das bereits: Proxy-Verwaltung, vollständiges Browser-Rendering, CAPTCHA-Lösung, Datenparsing und Lieferung. Wählen Sie Proxys, wenn Sie den Code selbst schreiben und besitzen möchten. Wählen Sie den Crawler, wenn Sie einfach nur die Daten möchten.

Nein. Die Crawl API funktioniert auf jeder öffentlichen Website. Sie geben eine Root-URL an, und sie liefert den Inhalt der Website als Markdown, Text, HTML oder JSON zurück. Der Owler-Crawler ist ausschließlich für Owler entwickelt. Er liefert einsatzbereite Felder speziell für Owler, sodass Sie keine eigene Parsing-Logik schreiben müssen.

Das hängt vom gewählten Crawler ab. Übliche Ausgangspunkte sind eine direkte URL, ein Schlüsselwort, eine Kategorie-URL, eine Such-URL oder eine Profil-, Verkäufer- oder Shop-URL. Sie können bis zu 5.000 URLs in einer einzigen Sammelanfrage senden.

Ja. Der Crawler unterstützt Batch- und geplante Erfassung, sodass Sie denselben Crawl in regelmäßigen Abständen erneut ausführen können. Das ist nützlich, um Veränderungen über die Zeit zu verfolgen, etwa Preise, Verfügbarkeit, Rankings oder Interaktionszahlen, ohne jeden Durchlauf manuell zu starten.

Nein. Proxy-Verwaltung, CAPTCHA-Lösung und vollständiges Browser-Rendering sind alle integriert. Der Crawler läuft auf dem Netzwerk von Bright Data mit über 400 Millionen echten Nutzer-IPs in 195 Ländern, sodass Sie Owler von jedem Standort aus crawlen können, ohne eine eigene Entsperrungslösung zu pflegen.

Sie zahlen nur für erfolgreich gelieferte Einträge. Fehlgeschlagene Lieferungen werden nie berechnet. Sie können mit der kostenlosen Stufe mit 5.000 Einträgen pro Monat ohne Kreditkarte starten und dann je nach Skalierung zu Bezahlung pro Nutzung oder einem monatlichen Plan wechseln. Details zu den Plänen finden Sie im obigen Preisbereich.

Der Crawler sammelt ausschließlich öffentlich verfügbare Daten. Die Datenschutzpraktiken von Bright Data folgen den Datenschutzgesetzen, einschließlich GDPR und CCPA. Es gibt zudem einen KYC-Überprüfungsprozess und eine öffentliche Richtlinie zur akzeptablen Nutzung. Sie sind weiterhin selbst dafür verantwortlich sicherzustellen, dass Ihre eigene Nutzung der Daten den für Sie geltenden Gesetzen entspricht.