Bright Data CLI vs Bright Data Python SDK: Das richtige Tool für Webdaten wählen

In diesem Blogbeitrag lernen Sie:

• Was die Bright Data CLI und das Python SDK mitbringen.
• Was die Bright Data CLI ist, wie sie funktioniert und was sie bietet.
• Was das Bright Data Python SDK tut, wie es funktioniert und was es bietet.
• Wie CLI-Befehle und SDK-Methoden einander entsprechen.
• Wie beide Tools gängige Web-Scraping-Szenarien handhaben.
• Wie Sie das richtige Tool für Ihren Workflow auswählen.

Legen wir los!

Ein Überblick über die Bright Data CLI und das Python SDK

Die Bright Data CLI und das Python SDK bieten Schnittstellen zur Interaktion mit der Bright Data Plattform. Beide verbinden sich mit derselben zugrunde liegenden Infrastruktur, die über 400 Millionen Residential-IPs in mehr als 195 Ländern umfasst, mit 99,99 % Verfügbarkeit und einer Erfolgsquote von 99,95 %.

Beide Tools bieten die gleichen Kernfunktionen: das Scrapen einzelner Webseiten, das Ausführen von Suchmaschinenanfragen, das Abrufen strukturierter Daten von beliebten Plattformen, die Steuerung von Anti-Detect-Cloud-Browsern und den Zugriff auf Kontoinformationen wie Nutzungsstatistiken.

Der Hauptunterschied liegt darin, wie Sie mit diesen Funktionen interagieren. Die CLI ist für Nutzer konzipiert, die lieber im Terminal arbeiten, während das SDK für Entwickler gedacht ist, die Python-Skripte entwickeln möchten.

Die folgenden Abschnitte erklären, wie jede Lösung funktioniert, vergleichen ihre Befehle und Methoden nebeneinander und untersuchen praktische Anwendungsfälle, damit Sie die beste Wahl für Ihren Workflow treffen können.

TL;DR: Bright Data CLI vs Bright Data Python SDK Vergleichstabelle

Eine Einführung in die Bright Data CLI

Nachdem Sie nun das Gesamtbild haben, ist es Zeit, die Bright Data CLI als Terminal-Tool zu verstehen.

Was ist die Bright Data CLI?

Die Bright Data CLI ist das offizielle Kommandozeilen-Tool von Bright Data. Sie ist über den Befehl brightdata oder dessen kürzeren Alias bdata verfügbar.

Sie bietet eine einfache Kommandozeilen-Schnittstelle zu den APIs von Bright Data, mit der Sie Webseiten scrapen, Suchen durchführen und Daten direkt aus dem Terminal extrahieren können, ohne API-Anfragen oder Proxy-Einstellungen manuell zu verwalten.

Weiterführende Lektüre:

• Dokumentation der Bright Data CLI
• Die Bright Data CLI kennenlernen: Daten extrahieren und mit dem Web aus Ihrem Terminal interagieren
• Bright Datas CLI-Repository

Wie es funktioniert

Um zu beginnen, benötigen Sie lokal installiertes Node.js 20+ und ein Bright Data Konto.

Unter macOS, Linux und WSL installieren Sie die CLI mit folgendem Befehl:

curl -fsSL https://cli.brightdata.com/install.sh | sh

Alternativ installieren Sie sie global über npm:

npm install -g @brightdata/cli

Der Befehl brightdata und dessen kürzerer Alias bdata sind nun in Ihrem Terminal verfügbar. Weitere Informationen finden Sie im Installationshandbuch der Bright Data CLI.

Führen Sie dann den folgenden Befehl aus, um den Login-Assistenten zu starten:

brightdata login

Die CLI führt Sie durch einen OAuth-Ablauf, um Ihr Bright Data Konto zu authentifizieren. Anschließend speichert sie Ihre Zugangsdaten lokal und erstellt die erforderlichen APIs cli_unlocker und cli_browser:

Hinweis: Die Bright Data CLI ist auf der kostenlosen Stufe von Bright Data verfügbar, die Ihnen 5.000 Credits pro Monat gibt. Diese Credits werden gemeinsam über die zugrunde liegenden Produkte Unlocker API, SERP API, Web Scraping APIs, Scraper Studio und Browser API genutzt.

CLI-Befehle auf einen Blick

Die CLI ist um einige Befehle herum organisiert, darunter:

Sehen Sie, wie dies nicht nur die Interaktion mit Bright Data Produkten, sondern auch Kontoverwaltung und Nutzungsüberwachung ermöglicht.

Der Befehl scrape gibt standardmäßig Markdown zurück und unterstützt auch HTML-, JSON- und Screenshot-Formate. Der Befehl search gibt eine formatierte Tabelle oder JSON zurück. Der Befehl pipelines gibt standardmäßig JSON zurück, mit CSV, NDJSON und JSONL als Alternativen.

Wo die CLI glänzt

Dies sind einige Szenarien, in denen sich die Bright Data CLI auszeichnet:

• Shell-Pipelines: Verketten Sie Such-, Parsing- und Scraping-Schritte mit Pipes und Hilfsprogrammen wie jq und xargs, ohne Code zu schreiben.
• KI-Coding-Agenten: Claude Code, Codex CLI und ähnliche Agenten können CLI-Befehle ausführen und die Markdown- oder JSON-Ausgabe direkt aus dem Terminal lesen. Siehe wie man die Bright Data CLI mit lokalen KI-Agenten nutzt.
• Einmalige Datenabrufe: Rufen Sie schnell eine einzelne Webseite ab oder führen Sie eine Suchanfrage aus und speichern Sie die Ergebnisse in einer lokalen Datei.
• Cron-Jobs und Skripte: Definieren Sie ein Shell-Skript, das die CLI verwendet, und planen Sie es dann mit cron für wiederkehrende Scraping- oder Überwachungsaufgaben.
• Kontoüberwachung: Prüfen Sie Ihren Kontostand und die API-Nutzung, ohne einen Browser zu öffnen, sich einzuloggen oder im Kontrollpanel zu navigieren.

Eine Einführung in das Python SDK

Der nächste logische Schritt in diesem Artikel über Bright Data CLI vs Bright Data Python SDK ist die Vorstellung des Python SDK.

Was ist das Bright Data Python SDK?

Das Bright Data Python SDK ist das offizielle Python-Paket zur Interaktion mit Bright Data APIs. Anstatt HTTP-Anfragen manuell zu erstellen, Endpunkte zu verwalten und Antworten zu parsen, können Sie die typisierten Methoden des SDK in Ihren Python-Skripten aufrufen.

Weiterführende Lektüre:

• Dokumentation des Bright Data Python SDK
• Bright Datas Python-SDK-Repository

Wie es funktioniert

Das Bright Data Python SDK erfordert Python 3.9+ und einen Bright Data API-Schlüssel. Es ist auf PyPI als brightdata-sdk verfügbar. Installieren Sie das SDK also mit:

pip install brightdata-sdk

Setzen Sie als Nächstes Ihren Bright Data API-Schlüssel als Umgebungsvariable. Unter macOS und Linux führen Sie aus:

export BRIGHTDATA_API_KEY="<IHR_BRIGHT_DATA_API_SCHLUESSEL>"

Unter Windows verwenden Sie diesen PowerShell-Befehl:

$env:BRIGHTDATA_API_KEY="<IHR_BRIGHT_DATA_API_SCHLUESSEL>"

Ersetzen Sie <IHR_BRIGHT_DATA_API_SCHLUESSEL> durch Ihren tatsächlichen Bright Data API-Schlüssel. Alternativ liest das Python SDK Ihre vorhandenen Zugangsdaten und authentifiziert sich automatisch, wenn Sie bereits bei der Bright Data CLI angemeldet sind.

Standardmäßig erstellt das SDK die benötigten APIs (sdk_unlocker und sdk_serp) in Ihrem Bright Data Konto:

Dies vereinfacht die anfängliche Einrichtung und ermöglicht Ihnen, das SDK zu nutzen, ohne jede API manuell zu konfigurieren. Sie können die automatische API-Erstellung auch deaktivieren und das SDK bei Bedarf so konfigurieren, dass es Ihre eigenen benutzerdefinierten API-Namen verwendet.

Das Bright Data Python SDK bietet sowohl synchrone als auch asynchrone Clients, die dieselben Methodennamen verwenden. Dieses Tutorial verwendet den asynchronen BrightDataClient in allen Codebeispielen. Für synchrone Beispiele siehe die offizielle SDK-Dokumentation.

Das SDK eignet sich auch gut für nebenläufige Arbeitslasten. Wenn Sie beispielsweise eine Liste von URLs an eine einzelne Methode übergeben, kann das SDK mehrere Anfragen parallel verarbeiten, was es einfacher macht, Daten von vielen Seiten effizient zu sammeln.

Wichtig: Die kostenlose Stufe von Bright Data mit 5.000 Credits pro Monat gilt auch für die Nutzung des Python SDK.

Hauptmethoden

Das SDK bietet einige nützliche Methoden, darunter:

Wo das SDK am besten passt

Das SDK verdient sich seinen Platz in mehreren Szenarien, wie zum Beispiel:

• Benutzerdefinierte Datenpipelines: Senden Sie gescrapte Daten direkt an pandas, BeautifulSoup oder Ihre eigenen Python-basierten Datenanalyse-Workflows.
• Nebenläufige Batch-Jobs: Verarbeiten Sie mehrere Anfragen parallel, indem Sie eine Liste von URLs an unterstützte SDK-Methoden übergeben.
• Langlaufende Jobs: Lösen Sie Datenerfassungsjobs aus, fragen Sie deren Status ab und rufen Sie Ergebnisse ab, während Sie möglicherweise Ihre eigene Wiederholungs-, Warte- und Protokollierungslogik integrieren.
• Produktionspipelines: Typisierte Methoden helfen Ihnen, Eingabefehler vor dem Aufruf zu erkennen, und typisierte Antworten helfen Ihnen, auf zurückgegebene Daten über klar definierte Felder zuzugreifen.
• Backend-Integrationen: Erstellen Sie Webdatenerfassungsdienste, indem Sie SDK-Methoden in Ihre eigenen APIs einbinden und die abgerufenen Daten direkt in Ihren Datenbanken speichern.

Bright Data CLI vs Bright Data Python SDK: Direkter Vergleich von Befehlen und Methoden

Die Bright Data CLI und das Python SDK entsprechen einander eng, wie Sie in der folgenden Tabelle sehen können:

Es gibt auch einige wichtige Unterschiede, die Sie beachten sollten:

• Die CLI unterhält eine persistente Browser-Sitzung, die Sie Befehl für Befehl steuern können. Im Gegensatz dazu bietet das Python SDK nur einen CDP-Endpunkt (Chrome DevTools Protocol), mit dem Sie sich über Playwright/Puppeteer verbinden können, um den Browser zu automatisieren.
• Die CLI ermöglicht es Ihnen, benutzerdefinierte Scraper mit Scraper Studio zu erstellen, auszuführen und zu verwalten. Das Python SDK konzentriert sich nur darauf, vorhandene Scraper auszuführen und deren Ergebnisse abzurufen.
• Die CLI gibt Ergebnisse an die Standardausgabe (stdout) aus, wodurch sie leicht in Dateien gespeichert oder an andere Befehle weitergeleitet werden können. Das Python SDK gibt strukturierte Ergebnisobjekte mit Attributen wie data, success und cost zurück, sodass Sie Ergebnisse programmatisch untersuchen und verarbeiten können.

Bright Data CLI vs Bright Data Python SDK in der Praxis: Häufige Szenarien

Der klarste Weg, die Unterschiede zwischen Bright Data CLI und Bright Data Python SDK zu verstehen, besteht darin, zu betrachten, wie jedes Tool dieselbe Aufgabe handhabt.

Eine gescrapte Webseite in einer Datei speichern

Mit der Bright Data CLI können Sie eine einzelne Webseite scrapen und das Ergebnis mit einem Befehl in einer Datei speichern. Das Flag -o gibt die Ausgabedatei an, und das Standardausgabeformat ist Markdown:

brightdata scrape 'https://www.espn.com/college-football/story/_/id/50189757/connelly-week-7-notre-dame-ohio-state-indiana' -o 'espn_article.md'

Das Ergebnis wird sein:

Das entspricht der Markdown-Version der Zielseite:

Hinweis: Verwenden Sie das Flag -f, um ein anderes Ausgabeformat zu wählen. Beispielsweise speichert -f html die Seite als rohes HTML, während -f screenshot sie als Bild erfasst.

Mit dem Bright Data Python SDK können Sie Ähnliches über die Methode scrape_url() erreichen. Anstatt die Antwort automatisch zu speichern, ermöglicht Ihnen das SDK, die zurückgegebenen Daten in Python zu verarbeiten und selbst in eine Datei zu schreiben:

# pip install brightdata-sdk
# Setzen Sie die Umgebungsvariable BRIGHTDATA_API_KEY

import asyncio
from brightdata import BrightDataClient

async def main():
    async with BrightDataClient() as client:
        # Zielseite scrapen
        result = await client.scrape_url(
            "https://www.espn.com/college-football/story/_/id/50189757/connelly-week-7-notre-dame-ohio-state-indiana"
        )

        # Gescrapten Inhalt in eine HTML-Datei exportieren
        with open("espn_article.html", "w", encoding="utf-8") as f:
            f.write(result.data)

asyncio.run(main())

Das Ergebnis ist dieselbe Seite wie zuvor, jedoch in HTML:

Die CLI ist die einfachere Wahl für schnelle, einmalige Scraping-Aufgaben. Das Python SDK ist nützlicher, wenn Sie den gescrapten Inhalt weiter verarbeiten müssen (z. B. HTML parsen, um bestimmte Daten zu extrahieren, oder die Ergebnisse in eine größere Datenpipeline einspeisen).

Das erste Suchergebnis bei Google suchen und scrapen

Angenommen, Sie möchten eine Google-Suche für eine Anfrage durchführen und die Seite scrapen, die vom ersten organischen Suchergebnis zurückgegeben wird. Mit der Bright Data CLI können Sie dies erreichen, indem Sie eine einfache Shell-Pipeline erstellen:

1. brightdata search führt die Suche aus.
2. jq extrahiert die URL des ersten Ergebnisses aus der JSON-Antwort.
3. tr -d '\r' entfernt Wagenrücklaufzeichen.
4. xargs übergibt diese URL an brightdata scrape, das den Seiteninhalt in einer Markdown-Datei speichert.

Alles zusammen:

brightdata search "best ai models" --json \
  | jq -r '.organic[0].link' \
  | tr -d '\r' \
  | xargs -I {} brightdata scrape "{}" -o page.md

Hinweis: Dieser Befehl erfordert eine Unix-ähnliche Shell, wie macOS oder Linux (unter Windows können Sie ihn über Git Bash ausführen), und jq, das auf Ihrem Rechner installiert sein muss.

Die Ausgabe wird sein:

Das Ergebnis ist eine Markdown-Datei namens page.md:

Diese enthält den gescrapten Inhalt des ersten organischen Suchergebnisses für “best AI models”:

Mit dem Bright Data Python SDK können Sie einen ähnlichen Workflow umsetzen und dabei mehr Kontrolle darüber behalten, was zwischen den Such- und Scraping-Schritten passiert. Verwenden Sie die Methode search.google(), um Google-Ergebnisse abzurufen, übergeben Sie die URL des ersten Ergebnisses an scrape_url() und verarbeiten Sie dann den zurückgegebenen Inhalt in Python:

# pip install brightdata-sdk
# Setzen Sie die Umgebungsvariable BRIGHTDATA_API_KEY

import asyncio
from brightdata import BrightDataClient

async def main():
    async with BrightDataClient() as client:
        # Geparste SERP von Google abrufen
        search = await client.search.google(query="best ai models")
        # Erstes Suchergebnis scrapen
        page = await client.scrape_url(search.data[0]["url"])

        print(page.data[:5000])
        # Zurückgegebene Daten verarbeiten...

asyncio.run(main())

Die Ausgabe wird sein:

Beachten Sie, dass dies dieselbe Seite ist, die zuvor gescrapt wurde (diesmal jedoch im HTML-Format).

Die CLI-Pipeline ist ideal für prägnante Shell-Automatisierung, wenn Sie vorhandene Befehle verbinden möchten. Das Python SDK ist besser geeignet, wenn Sie benutzerdefinierte Logik benötigen, z. B. um Suchergebnisse zu prüfen, bevor Sie eine URL auswählen, oder um fehlende Ergebnisse zu behandeln.

Amazon-Produktdaten abrufen

Mit dem Bright Data Python SDK können Sie Amazon-Produktdetails und Bewertungen mit zwei einfachen Methodenaufrufen abrufen:

# pip install brightdata-sdk
# Setzen Sie die Umgebungsvariable BRIGHTDATA_API_KEY

import asyncio
from brightdata import BrightDataClient

PRODUCT_URL = "https://www.amazon.com/Owala-FreeSip-Insulated-Stainless-BPA-Free/dp/B0BZYCJK89/"

async def main():
    async with BrightDataClient() as client:
        # Amazon-Produktdaten scrapen
        scraped_product = await client.scrape.amazon.products(url=PRODUCT_URL)
        # Amazon-Produktbewertungen scrapen
        scraped_reviews = await client.scrape.amazon.reviews(url=PRODUCT_URL)

        # Gescrapte Daten zusammenführen
        product = {
            "data": scraped_product.data,
            "reviews": scraped_reviews.data
        }

        print(product)
        # Zusammengeführtes Amazon-Produktdatenobjekt verarbeiten...

asyncio.run(main())

Die Ausgabe enthält die gescrapten Produktdetails und Bewertungen in einem einzigen Python-Objekt.

Die Bright Data CLI kann Amazon-Produktdaten mit einem Befehl abrufen:

brightdata pipelines run 'gd_l7q7dkf244hwjntr0' collect_by_url 'https://www.amazon.com/Owala-FreeSip-Insulated-Stainless-BPA-Free/dp/B0BZYCJK89/' --pretty

Die Ausgabe sind strukturierte Amazon-Produktdaten:

Dies wurde von der Ziel-Amazon-Produktseite gescrapt:

Um als Nächstes die Amazon-Bewertungen des Produkts zu erhalten, müssen Sie einen zweiten Befehl ausführen:

brightdata pipelines run 'gd_le8e811kzy4ggddlq' collect_by_url 'https://www.amazon.com/Owala-FreeSip-Insulated-Stainless-BPA-Free/dp/B0BZYCJK89/' --pretty

Dies gibt die öffentlichen Bewertungen des Produkts im strukturierten JSON-Format zurück:

Hinweis: gd_l7q7dkf244hwjntr0 und gd_le8e811kzy4ggddlq sind die IDs der Bright Data Amazon Scraper API bzw. der Amazon Reviews Scraper API.

Die CLI gibt die Ausgabe jeder Pipeline separat zurück, sodass das Kombinieren von Produktdetails und Bewertungen einen zusätzlichen Schritt erfordert. Außerdem müssen Sie die relevanten Scraper-API-Collection-IDs kennen, die Sie mit dem Befehl brightdata pipelines search finden können.

Stattdessen ruft das Python SDK die Scraper direkt über dedizierte Methoden auf und hält beide Ergebnisse als Python-Objekte verfügbar. Dies macht es unkompliziert, die Produktdetails und Bewertungen zu kombinieren und sie dann gemeinsam in Ihrer Anwendung zu verarbeiten.

URLs gleichzeitig in Batches verarbeiten

Das SDK ruft eine Liste von URLs gleichzeitig in einem Aufruf ab. Jedes Ergebnis ist ein separates Objekt, sodass das Skript jedes einzeln prüfen kann:

# pip install brightdata-sdk beautifulsoup4
# Setzen Sie die Umgebungsvariable BRIGHTDATA_API_KEY

import asyncio
from brightdata import BrightDataClient
from bs4 import BeautifulSoup

# Zu scrapende Zielseiten
urls = [
    "https://www.nintendo.com/us/store/products/nintendo-switch-sports-resort-switch-2/",
    "https://www.nintendo.com/us/store/products/super-mario-galaxy-plus-super-mario-galaxy-2-switch/",
    "https://www.nintendo.com/us/store/products/mario-kart-world-switch-2/",
]

async def main():
    async with BrightDataClient() as client:
        # Alle Seiten gleichzeitig scrapen
        results = await client.scrape_url(urls)

        for url, r in zip(urls, results):
            if r.success:
                # Seitentitel