Frische Web-Daten in Workato-Rezepte mit Bright Data APIs einbinden

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z

Hier ist gd_l7j1po0921hbu0ri1z die Datensatz-ID für die Glassdoor Reviews Scraper API. Die Anfrage wird an den datasets/v3/scrape-Endpunkt gesendet, der den Scraping-Job ausführt und wartet, bis er abgeschlossen ist, bevor die extrahierten Daten in der Antwort zurückgegeben werden.

Wie Sie sehen, hat der Anfrage-Body die folgende Struktur:

{
  "input": [
    {
      "url": "",
      "days": 
    },
    // weitere URL-Objekte...
  ],
  "limit_per_input": null
}

Das Feld url gibt die zu scrapende Glassdoor-Unternehmensbewertungsseite an, während days die Ergebnisse auf Bewertungen begrenzt, die innerhalb der angegebenen Anzahl von Tagen veröffentlicht wurden.

Sie können den Endpunkt auch direkt über das Bright Data-Kontrollpanel testen, indem Sie oben rechts auf “Manuell ausführen” klicken. Wenn Sie die JSON-Ausgabe eines API-Aufrufs analysieren, sehen Sie:

Beachten Sie, dass jede Bewertung dieselben Informationen enthält, die auf der ursprünglichen Glassdoor-Seite verfügbar sind. Dazu gehören Bewertungstitel, Bewertung, Vor- und Nachteile, Empfehlungen und Bewertungsdatum:

Hervorragend! Es ist Zeit, den Bright Data Scraper API-Aufruf in Ihr Workato-Rezept zu integrieren.

Schritt #3: Den HTTP-Schritt zum Aufrufen der Scraper API einrichten

Kehren Sie zur Workato-Rezept-Editor-Seite zurück. Klicken Sie auf die Schaltfläche “+” und wählen Sie “Aktion in App”, um einen neuen Schritt hinzuzufügen. Suchen Sie im Panel auf der rechten Seite nach “http” und wählen Sie die “HTTP”-App:

Die Workato-‘HTTP’-App ermöglicht das Senden von HTTP-Anfragen an externe Dienste und ist daher die ideale Wahl für den Aufruf der Bright Data Scraper APIs.

Konfigurieren Sie die Verbindung mit den folgenden Einstellungen:

• Verbindungsname: Bright Data Scraper API
• Standort: Ihr Workato-Projekt
• Verbindungstyp: Cloud
• Authentifizierungstyp: Header-Auth (da Bright Data Scraper APIs über den Authorization-Header authentifiziert werden)

Fügen Sie dann als “Basis-URL” die Bright Data Scraper API-Basis-URL ein:

https://api.brightdata.com/datasets/v3/scrape

Lassen Sie die übrigen Optionen unverändert und klicken Sie auf “Verbinden”. Klicken Sie dann unter der Schrittkonfiguration auf die Schaltfläche “Geführte Einrichtung starten”:

Dadurch wird ein Assistent geöffnet, der Sie durch die Konfiguration der HTTP-Anfrage führt.

Wählen Sie “POST” als HTTP-Methode und verwenden Sie die folgende Anfrage-URL für den Glassdoor Scraper API-Endpunkt:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=json

Der Query-Parameter format=json weist die API an, die Ergebnisse als JSON zurückzugeben. Andere Formate, wie CSV und JSONL, werden ebenfalls unterstützt.

Angenommen, Sie möchten Glassdoor-Bewertungen für Nike überwachen. Fügen Sie diesen Anfrage-Body hinzu:

{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}

Beachten Sie, dass days auf 10 gesetzt ist, weil das Workato-Rezept so konfiguriert ist, dass es alle 10 Tage ausgeführt wird. Dies stellt sicher, dass bei jeder Ausführung alle neuen Bewertungen abgerufen werden, die seit dem vorherigen Durchlauf veröffentlicht wurden.

Um die Anfrage über Ihr Bright Data-Konto zu authentifizieren, richten Sie einen Authorization-Header ein, der Folgendes enthält:

Bearer <YOUR_BRIGHT_DATA_API_KEY>

Ersetzen Sie <YOUR_BRIGHT_DATA_API_KEY> durch Ihren eigenen Bright Data API-Schlüssel. Dies ist das erforderliche Muster, das von den Bright Data APIs zur Authentifizierung verwendet wird.

Klicken Sie auf “Anfrage senden”, um die Konfiguration zu testen. Wenn alles korrekt konfiguriert ist, gibt Workato eine 200 OK-Antwort zurück, die die gescrapten Glassdoor-Bewertungen im JSON-Format enthält:

Klicken Sie auf “Konfiguration anwenden”, um die geführte Einrichtung abzuschließen.

Zurück in der Konfiguration des “HTTP”-Schritts können Sie das Antwortschema erkunden, das nach dem API-Aufruftest automatisch generiert wurde. Stellen Sie in den “Setup”-Optionen sicher, dass die Option “Auf Antwort warten” auf “Ja” gesetzt ist:

Auf diese Weise wartet Workato darauf, dass die Bright Data API die gescrapten Daten zurückgibt, bevor der nächste Schritt im Rezept ausgeführt wird.

Denken Sie schließlich daran, dass dieser “HTTP”-Schritt Ihren Bright Data API-Schlüssel enthält. Um zu vermeiden, dass er in Rezept-Logs oder Job-Berichten sichtbar wird, speichern Sie ihn entweder als Secret oder klicken Sie auf das “…”-Menü beim HTTP-Schritt und aktivieren Sie “Daten maskieren”:

Ausgezeichnet! Ihr Workato-Rezept ist jetzt erfolgreich mit der Bright Data Glassdoor Reviews Scraper API verbunden.

Schritt #4: Den OpenAI-Schritt konfigurieren

Das Workato-Rezept kann gescrapte Web-Daten über die Bright Data APIs abrufen. Sie sind bereit, diese Daten zur Analyse an ein OpenAI-Modell zu senden.

Klicken Sie erneut auf “+”, fügen Sie eine neue App hinzu, suchen Sie nach “openai” und wählen Sie die “OpenAI“-App:

Wählen Sie die Aktion “Nachrichten an OpenAI-Modelle senden”, mit der Ihr Rezept Prompts an ein OpenAI-Modell senden und die Antwort empfangen kann:

Fügen Sie beim Erstellen der Verbindung Ihren OpenAI API-Schlüssel in das entsprechende Feld ein und klicken Sie auf “Verbinden”:

Wählen Sie als Nächstes den Modus “Einzelne Nachricht” (da Sie einen einzelnen Prompt an das LLM senden möchten). Wechseln Sie in “Zu sendender Text” in den “Formel”-Modus und fügen Sie den folgenden Prompt ein:

"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.

GLASSDOOR REVIEWS:" + <response_array_text_data>

Ersetzen Sie den Platzhalter <response_array_text_data> durch die Ausgabe “Anfrage senden > Antwort > Array” aus dem vorherigen “HTTP”-Schritt, damit das Modell die gescrapten Bewertungsdaten erhält. Da die Antwort ein Array ist, rufen Sie die Methode join(";") auf, um alle Bewertungsobjekte zu einem einzigen String zu verbinden, bevor dieser an das LLM gesendet wird.

Beachten Sie, wie der Prompt explizit eine HTML-Antwort anfordert. Dies ist beabsichtigt, da der generierte Inhalt später per E-Mail versendet wird, deren Protokoll HTML-formatierten Inhalt unterstützt.

Hinweis: Zum Zeitpunkt der Erstellung verwendet der Workato-“OpenAI”-Schritt standardmäßig GPT-4o.

Super! Ihr Workato-Rezept kann nun aktuelle Web-Daten über OpenAI-Modelle verarbeiten und KI-gestützte HTML-Berichte generieren.

Schritt #5: Die Gmail-Integration hinzufügen

Der letzte Schritt besteht darin, den KI-generierten Bericht per E-Mail zu versenden. Klicken Sie auf “+”, fügen Sie die “Gmail“-App hinzu und wählen Sie die Aktion “E-Mail senden”:

Klicken Sie auf “Bei Google anmelden”, um Ihr Google-Konto mit Workato zu verbinden. Erteilen Sie die angeforderten Berechtigungen, um die Integration zu autorisieren.

Konfigurieren Sie dann den Schritt “E-Mail über Gmail senden” wie folgt:

• An: Die E-Mail-Adresse(n) des Empfängers
• Betreff: Glassdoor-Bewertungsanalysebericht (oder ein ähnlicher Titel)
• E-Mail-Typ: HTML
• Nachricht: Wählen Sie die “Beste Wahl”-Rezeptdatenausgabe aus dem Schritt “Nachrichten an OpenAI-Modelle senden”.

Hinweis: Die “Beste Wahl”-Rezeptdaten enthalten den HTML-Bericht, der vom OpenAI-Modell im vorherigen Schritt generiert wurde.

Großartig! Das Workato-Rezept ist vollständig.

Schritt #6: Das Rezept ausführen

Ihr fertiges Workato-Rezept sollte ungefähr so aussehen:

Öffnen Sie die Registerkarte “TEST” und klicken Sie auf “Rezept testen”, um den Workflow auszuführen. Das erhalten Sie dabei:

Während der Ausführung wird Workato:

1. Den geplanten Workflow auslösen.
2. Die Bright Data Glassdoor Reviews Scraper API aufrufen.
3. Die abgerufenen Bewertungen an OpenAI übergeben, um sie zu analysieren und einen HTML-Bericht zu generieren.
4. Den Bericht über Gmail versenden.

Um zu überprüfen, ob der Workflow Bewertungsdaten von Glassdoor verwendet, überprüfen Sie die “Eingabe” des “OpenAI”-Schritts:

Beachten Sie, wie der Prompt die Glassdoor-Bewertungen enthält, die von der Bright Data Scraper API auf Anfrage abgerufen wurden. Dies versorgt das LLM mit kontextuellen Web-Daten, anstatt sich auf veraltetes Wissen aus den Trainingsdaten zu stützen.

Hinweis: Sie können einen ähnlichen Ansatz verfolgen, um jede andere Bright Data API zu integrieren. Sie können beispielsweise Websuche, Web-Discovery, Crawling oder allgemeine Web-Scraping-Funktionen zu Ihren Workato-Rezepten hinzufügen.

Mission erfüllt! Sie haben Bright Data erfolgreich mit Workato integriert. Durch die Kombination der API-Unterstützung von Workato mit der Web-Daten-Infrastruktur von Bright Data können Sie leistungsstarke Automatisierungs-Workflows erstellen, die frische Web-Daten von praktisch jeder Website sammeln, analysieren und verarbeiten.

Entdecken Sie die vielen Anwendungsfälle, die von Bright Data APIs unterstützt werden, um noch mehr KI-gestützte Automatisierungs-Workflows zu erstellen.

Schritt #7: Die generierte Ausgabe erkunden

Überprüfen Sie abschließend Ihren Posteingang:

Sie sollten eine neue E-Mail mit dem Betreff “Glassdoor-Bewertungsanalysebericht” entdecken. Öffnen Sie sie, um einen strukturierten HTML-Bericht anzuzeigen, der die in den letzten 10 Tagen veröffentlichten Bewertungen zusammenfasst. Der Bericht hebt wiederkehrende positive und negative Themen hervor.

Et voilà! Das Workato-Rezept funktioniert einwandfrei.

Fazit

In diesem Artikel haben Sie gelernt, wie Sie die Scraper API von Bright Data verwenden, um Live-strukturierte Daten von Websites abzurufen und sie mit OpenAI in einem automatisierten Workato-Rezept zu verarbeiten.

Der hier gezeigte KI-Workflow lässt sich leicht auf andere Bright Data APIs erweitern, um programmatisches Web-Scraping, Suche, Quellen-Discovery, Datenfeed-Abruf und mehr zu ermöglichen. Um fortgeschrittenere Pipelines zu erstellen, erkunden Sie das vollständige KI-bereite API-Angebot von Bright Data.

Erstellen Sie noch heute kostenlos ein Bright Data-Konto und beginnen Sie damit, Enterprise-ready Web-Daten-APIs in Ihre KI-Workflows zu integrieren!