Skyvern-Automatisierung mit Bright Data API-Integration

Am Ende dieses Artikels werden Sie verstehen, wie Sie:

• Verwenden Sie den Bright Data Google KI-Scraper-API-Dienst
• Skyvern für die Automatisierung von Aufgaben nutzen
• Verwenden Sie den Bright Data API-Dienst mit Skyvern, um Webaufgaben zu automatisieren.
• Automatisierung und Datenfeeds kombinieren, um einen E-Commerce-Assistenten zu erstellen.
• Produktdetails aus dem Warenkorb automatisch abrufen

Lassen Sie uns loslegen!

Nutzung des API-Dienstes von Bright Data

Die Grundlage der Browser-Automatisierung ist die Fähigkeit, Herausforderungen wie CAPTCHA, IP-Sperren und dynamisches Laden von Webseiten zu umgehen. Hier kommt Bright Data ins Spiel.

Mit dem Web Scraper von Bright Data, der mehr als 120 Webdomains unterstützt, wird die Browser-Automatisierung effizienter und zuverlässiger. Er bewältigt häufige Herausforderungen beim Web-Scraping wie IP-Sperren, CAPTCHA, Cookies und andere Formen der Bot-Erkennung.

Um loszulegen, melden Sie sich für die Gratis-Testversion an und erhalten Sie Ihren API-Schlüssel und Ihre dataset_id für die Domain, die Sie scrapen möchten. Sobald Sie diese haben, können Sie loslegen.

Im Folgenden finden Sie die Schritte zum Abrufen aktueller Daten von einer beliebigen Domain, wie z. B. BBC News:

1. Erstellen Sie ein Bright Data-Konto, falls Sie dies noch nicht getan haben. Eine kostenlose Testversion ist verfügbar.
2. Gehen Sie zur Seite „Web Scrapers“. Sehen Sie sich unter „Web Scrapers Library“ die verfügbaren Scraper-Vorlagen an.
3. Suchen Sie nach Ihrer Zieldomain, z. B. BBC News, und wählen Sie sie aus.
4. Wählen Sie aus der Liste der BBC News-Scraper „BBC News – collect by URL“ aus. Mit diesem Scraper können Sie Daten abrufen, ohne sich bei der Domain anzumelden.
5. Wählen Sie die Option „Scraper API“. Der No-Code Scraper hilft Ihnen, Datensätze ohne Code abzurufen.
6. Klicken Sie auf „API Request Builder“ und kopieren Sie Ihren API-Schlüssel, die BBC-Datensatz-URL und die dataset_id.
7. Der API-Schlüssel und die dataset_id sind erforderlich, um die Automatisierungsfunktionen in Ihrem Workflow zu aktivieren. Damit können Sie während der Programmierung direkt auf die Funktionen von Bright Data zugreifen.

Was ist Skyvern

Skyvern ist ein KI-Browser-Automatisierungstool, das künstliche Intelligenz nutzt, um Aufgaben in Webbrowsern zu automatisieren. Es kombiniert maschinelles Lernen, natürliche Sprachverarbeitung und Computer Vision, um komplexe Browseraktionen zu verarbeiten.

Skyvern unterscheidet sich von herkömmlichen Automatisierungstools wie Selenium und Playwright in folgenden Punkten:

• Anpassungsfähigkeit an UI-Änderungen: Dank seiner Selbstheilungsfähigkeiten kann sich Skyvern dynamisch an UI-Änderungen anpassen, ohne dass Skripte beschädigt werden.
• Komplexität des Arbeitsablaufs: Kann mehrstufige Arbeitsabläufe mit KI-Logik über eine einzige Eingabeaufforderung verarbeiten.
• Visuelle Erkennung: Nutzt Computer Vision, um UI-Elemente visuell zu verstehen und mit ihnen zu interagieren.

Mit diesen Funktionen können Sie Skyvern verwenden, um sich bei Buchungsseiten anzumelden, Formulare auszufüllen oder Artikel in den Warenkorb zu legen. In Verbindung mit den Web-Scraping-Funktionen von Bright Data bietet Skyvern ein leistungsstarkes Framework für vielfältige Anforderungen im Bereich der Web-Automatisierung.

Automatisierungs-Workflow

Wenn Sie beispielsweise ein Fahrzeugteil in einem Online-Shop kaufen möchten, möchten Sie möglicherweise die verfügbaren Optionen vergleichen und automatisch eines in Ihren Warenkorb legen. Der Workflow würde wie folgt aussehen:

• Die Bright Data KI-Scraper-API ruft die Beschreibung und Produktdetails, wie z. B. die Teilenummer, von dem von Ihnen angegebenen Hersteller ab.
• Sie überprüfen die Ausgabe und treffen Ihre Auswahl. Bright Data bietet eine schnelle und zuverlässige Abfrage von Webdaten.
• Skyvern verwendet die von Bright Data abgerufenen Details, um auf finditparts.com zuzugreifen. Anschließend navigiert es durch die Website, legt die ausgewählten Produkte in den Warenkorb und gibt die Warenkorbdetails und die Warenkorb-URL aus.
• Fahren Sie direkt mit der Kaufabwicklung und Zahlung fort.

Voraussetzungen

• Grundkenntnisse in Python-Programmierung. Laden Sie Python hier herunter
• Ein aktives Bright Data-Konto. Registrieren Sie sich hier und rufen Sie Ihren API-Schlüssel aus der Willkommens-E-Mail ab
• Grundkenntnisse in JSON und REST-APIs

Einrichten des Projekts

Schritt 1: Bright Data einrichten

Rufen Sie Ihren Bright Data-API-Schlüssel, Ihre Datensatz-ID und Ihre Google KI Mode-URL ab, indem Sie die gleichen Schritte ausführen, die unter „Nutzung des robusten API-Dienstes von Bright Data für Ihren Anwendungsfall“ beschrieben sind.

Schritt 2: Registrieren Sie sich bei Skyvern Cloud

1. Gehen Sie zu https://app.skyvern.com/ und melden Sie sich an, um 5 USD Gratisguthaben zu erhalten.
2. Bitten Sie den Skyvern-Agenten, eine Aufgabe auszuführen, um sie in Aktion zu sehen. Beispiel: Navigieren Sie zur Hacker News-Homepage und rufen Sie die drei beliebtesten Beiträge ab.
3. Überprüfen Sie den Verlauf, um den Fortschritt der Aufgabe zu verfolgen. Der Status „Abgeschlossen“ zeigt an, dass die Aufgabe erfolgreich beendet wurde.
4. Klicken Sie nach Abschluss der Aufgabe auf den Eintrag im Verlauf, um die Ausgabe, die Parameter und weitere Details zur Aufgabe anzuzeigen.

Nachdem Skyvern nun eingerichtet ist, können Sie mit dem Schreiben Ihres Code-Skripts beginnen.

Schritt 3: Installieren Sie Skyvern auf Ihrem Computer

3.1 Erstellen Sie eine virtuelle Umgebung

Erstellen Sie in Ihrem gewünschten Projektordner eine virtuelle Umgebung mit Python:

python -m venv .venv

Aktivieren Sie die Umgebung.

.venvScriptsactivate

3.2 Installieren Sie Skyvern auf einem beliebigen Gerät mit

pip install skyvern

Wenn Sie Probleme bei der Installation haben, können Sie das Ubuntu-Terminal unter Windows verwenden. In diesem Beitrag erfahren Sie, wie Sie das Ubuntu-Terminal einrichten.

Nachdem das Terminal gestartet ist, navigieren Sie zum gewünschten Verzeichnis und führen Sie folgenden Befehl aus:

pip install uv

Erstellen Sie eine virtuelle Umgebung mit:

uv venv venv

Installieren Sie dann Skyvern mit:

uv pip install skyvern

3.3 Schnellstart Skyvern

Wenn die Installation abgeschlossen ist, führen Sie Folgendes aus:

skyvern quickstart

• Wenn Sie gefragt werden: „Möchten Sie Skyvern lokal oder in der Cloud ausführen?“, geben Sie „cloud“ ein.
• Wenn Sie zur Eingabe der Skyvern-Basis-URL aufgefordert werden, drücken Sie die Eingabetaste.
• Geben Sie bei jeder Installationsaufforderung „n“ ein, außer bei der MCP-Aufforderung, bei der Sie „y“ eingeben sollten.

Führen Sie nach der Einrichtung Folgendes aus:

skyvern init

Erstellen Sie ein Python-Skript namens app.py.

Schritt 4: Produktdetails mit Bright Data abrufen

4.1 Rufen Sie die Teilenummer mit Bright Data unter Verwendung dieses Codes in app.py ab:

import asyncio
import requests
import time
import json


def trigger_scraping_job(api_key, data):
    """
    Löst einen Bright Data-Datensatz-Auftrag mit einer Liste von Dicts aus, die URL, Prompt und Land enthalten.
    Gibt bei Erfolg die snapshot_id zurück.
    """
    endpoint = "https://api.brightdata.com/datensätze/v3/trigger"
    params = {
        "datensatz_id": "gd_mcswdt6z2elth3zqr2",  # Ihre Datensatz-ID
        "include_errors": "true",
    }
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json",
    }
    response = requests.post(endpoint, headers=headers, params=params, json=data)
    if response.status_code == 200:
        snapshot_id = response.json().get("snapshot_id")
        print(f"Anfrage erfolgreich! Snapshot-ID: {snapshot_id}")
        return snapshot_id
    else:
        print(f"Anfrage fehlgeschlagen! Status: {response.status_code}")
        print(response.text)
        return None

def poll_and_retrieve_snapshot(api_key, snapshot_id, output_file, polling_timeout=20):
    """
    Poll the Bright Data snapshot endpoint until data is ready.
    Save the JSON response to an output file.
    """
    snapshot_url = f"https://api.brightdata.com/Datensätze/v3/snapshot/{snapshot_id}?format=json"
    headers = {
        "Authorization": f"Bearer {api_key}"
    }
    print(f"Abfrage des Snapshots für ID: {snapshot_id}...")
    while True:
        response = requests.get(snapshot_url, headers=headers)
        if response.status_code == 200:
            print("Snapshot ist bereit. Herunterladen...")
            snapshot_data = response.json()
            with open(output_file, "w", encoding="utf-8") as file:
                json.dump(snapshot_data, file, indent=4)
    print(f"Snapshot gespeichert in {output_file}")
    return
    elif response.status_code == 202:
        print(f"Snapshot ist noch nicht bereit. Wiederholung in {polling_timeout} Sekunden...")
            time.sleep(polling_timeout)
        else:
            print(f"Anfrage fehlgeschlagen! Status: {response.status_code}")
            print(response.text)
            break

if __name__ == "__main__":
    BRIGHT_DATA_API_KEY = "YOUR_BRIGHT_DATA_API_KEY"  # Ihr API-Schlüssel

    # Entspricht genau der JSON-Datenstruktur von curl
    data = [
        {
            "url": "https://google.com/aimode",
            "prompt": "Finde die Teilenummer einer Raddichtung von finditparts.com, deren Hersteller SKF ist",
            "country": ""
        }
    ]

    snapshot_id = trigger_scraping_job(BRIGHT_DATA_API_KEY, data)
    if snapshot_id:
        poll_and_retrieve_snapshot(BRIGHT_DATA_API_KEY, snapshot_id, "product.json")

Die Eingabeaufforderung lautet: „Finden Sie die Teilenummer einer Raddichtung von finditparts.com, deren Hersteller SKF ist.“

Dadurch wird eine Datei „product.json“ erstellt, die Produktbeschreibungen und Teilenummern des Herstellers SKF enthält.

           {
                "url": "https://www.finditparts.com/products/16775486/skf-45093xt?srcid=CHL01SCL010-Npla-Dmdt-Gusa-Svbr-Mmuu-K16775486-L22",
                „title”: „www.finditparts.com”,
                „description”: „SKF 45093XT Raddichtung | FinditParts”,
                „icon”: „https://encrypted-tbn0.gstatic.com/faviconV2?url=https://www.finditparts.com&client=AIM&size=128&type=FAVICON&fallback_opts=TYPE,SIZE,URL",
                "domain": "https://www.finditparts.com",
                "cited": true
            },
            {
                "url": "https://www.finditparts.com/products/193780/cr-slash-skf-14115?srcid=CHL01SCL010-Npla-Dmdt-Gusa-Svbr-Mmuu-K193780-L1464",
                „title”: „www.finditparts.com”,
                „description”: „SKF 14115 Raddichtung | FinditParts”,
                „icon”: „https://encrypted-tbn0.gstatic.com/faviconV2?url=https://www.finditparts.com&client=AIM&size=128&type=FAVICON&fallback_opts=TYPE,SIZE,URL",
                "domain": "https://www.finditparts.com",
                "cited": true
            },
            {

Wählen Sie als Nächstes Ihre bevorzugte Teilenummer (zu finden in der Beschreibung) und führen Sie den Bright Data-Code mit dieser Eingabeaufforderung erneut aus: „Finden Sie die Produkt-ID für die SKF-Raddichtung mit der Teilenummer 47691”.

   # Passen Sie die JSON-Datenstruktur von curl genau an.
    data = [
        {
            "url": "https://google.com/aimode",
            "prompt": "Finden Sie die Produkt-ID für die SKF-Raddichtung mit der Teilenummer 47691",
            "country": ""
        }
    ]

Skyvern benötigt die Produkt-ID, um Details zum Warenkorb auf finditparts.com (einer E-Commerce-Website für Fahrzeugteile) hinzuzufügen.

Dieser Vorgang generiert eine Datei „product.json” mit der gewünschten Produkt-ID.

Schritt 5: Skyvern zu seinen Aufgaben auffordern

Navigieren Sie zunächst zu https://app.skyvern.com/tasks/create/finditparts. Diese URL ist eine Verknüpfung zum Erstellen von Aufgaben auf Skyvern.

Klicken Sie unter „Base Content“ auf „Advanced Settings“ (Erweiterte Einstellungen ) und aktualisieren Sie die Produkt-ID und die Aufforderung für Ihren Anwendungsfall.

Die Aufforderung lautet: „Suchen Sie nach der angegebenen Produkt-ID, legen Sie sie in den Warenkorb und navigieren Sie dann zur Warenkorbseite. Ihr Ziel ist ERREICHT, wenn Sie sich auf der Warenkorbseite befinden und das angegebene Produkt im Warenkorb liegt.“

Der Abschnitt „Extraction“ (Extraktion ) unter „Advanced Settings“ (Erweiterte Einstellungen) ist ebenfalls wichtig. Ändern Sie das Ziel der Datenextraktion wie folgt: „Extrahieren Sie die URL der Warenkorbseite und alle Informationen zur Produktmenge von der Warenkorbseite.“

Klicken Sie unten auf der Seite auf „API-Befehl kopieren“, fügen Sie ihn in Ihr Terminal ein und drücken Sie die Eingabetaste.

Dadurch wird eine task_id in Ihrem Terminal und eine Instanz der Aufgabe in Ihrer Skyvern Cloud erstellt. Sie können den Status in „Verlauf“ überprüfen, um zu sehen, ob die Aufgabe in der Warteschlange steht, ausgeführt wird oder abgeschlossen ist.

Der Status „Abgeschlossen“ bedeutet, dass die Aufgabe beendet ist. Sie können nun die Warenkorbdetails und die Produkt-URL anzeigen, die von Skyvern zurückgegeben wurden.

Herzlichen Glückwunsch. Ihr Workflow ist abgeschlossen. Klicken Sie auf die URL, um mit der Zahlung fortzufahren.

Bright Data macht die manuelle Suche nach Produkten im Internet überflüssig, indem es Ihnen die Optionen direkt auf Ihren Computer bringt. So können Sie das beste Produkt auswählen und den Kaufprozess mit Skyvern automatisieren.

Nächste Schritte

Sie können den Workflow erweitern, um mehrere Produkte zum Warenkorb hinzuzufügen und eine Zusammenfassung der gesamten Produkte mit Natural Language Processing (NLP) zu erstellen. Sie können den Workflow auch in der Cloud bereitstellen, um ihn kontinuierlich zu überwachen. Schließlich können Sie ihn in Google Kalender integrieren, um Rabatte zu verfolgen.

Fazit

In diesem Tutorial haben Sie gelernt, wie Sie die Scraper-API von Bright Data mit Skyvern kombinieren können, um den Prozess der Online-Produktsuche und des Online-Kaufs zu automatisieren. Neben der Scraper-API bietet Bright Data weitere Tools, mit denen Sie Ihre KI-Agenten unterstützen können, darunter gebrauchsfertige Datensätze, die speziell auf E-Commerce, soziale Medien und mehr zugeschnitten sind, sowie den Web-MCP-Server für fortschrittliche mehrstufige Automatisierung und Zugriff auf über 40 spezialisierte Tools. Zusammen erleichtern diese Produkte die Erstellung KI-gesteuerter Workflows, mit denen Webdaten effizient erfasst, analysiert und verarbeitet werden können.

Entdecken Sie noch heute die gesamte Suite von Bright Data, um Ihre KI-Automatisierungsprojekte zu verbessern.