Frische Web-Daten in Workato-Rezepte mit Bright Data APIs einspeisen

In diesem Blog-Beitrag erfahren Sie:

• Was Workato ist und was es als Low-Code-Automatisierungsplattform bietet.
• Warum automatisierte Workflows von Zugang zu hochwertigen, strukturierten Web-Daten profitieren.
• Wie man ein Workato-Rezept erstellt, das Web-Daten verarbeitet, die programmatisch über Bright Data APIs abgerufen werden.

Legen wir los!

Was ist Workato?

Workato ist eine cloudbasierte Automatisierungs- und Integrations-Low-Code-Plattform. Sie verbindet Anwendungen, synchronisiert Daten und orchestriert Geschäfts-Workflows mit Low-Code-Tools. Sie hilft Ihnen, Prozesse zu automatisieren und KI-Agenten über Tausende von Anwendungen und Systemen hinweg zu integrieren.

Die wichtigsten von Workato unterstützten Funktionen sind:

• Rezepte: Visuelle Workflows, die automatisierte Prozesse durch Trigger und Aktionen definieren. Sie verbinden Anwendungen, transformieren Daten und führen Geschäftslogik aus, ohne umfangreiche individuelle Entwicklung zu erfordern.
• Konnektoren: Vorgefertigte Integrationen, die Workato mit beliebten SaaS-Anwendungen, Unternehmenssystemen, Datenbanken, APIs und anderen Business-Tools verbinden, um den Datenaustausch zu vereinfachen.
• Low-Code/No-Code-Automatisierung: Eine Drag-and-Drop-Oberfläche, die Teams ermöglicht, Workflows zu erstellen und zu ändern, ohne traditionellen Code zu schreiben, was die Entwicklungszeit und die Abhängigkeit von Engineering-Ressourcen reduziert.
• KI-Agenten-Orchestrierung: Tools zum Entwerfen, Bereitstellen und Steuern von KI-Agenten, die mit Unternehmenssystemen interagieren, Geschäftsregeln befolgen und automatisierte Prozesse ausführen können.
• Unternehmens-Governance und Sicherheit: Bietet Kontrollen wie Zugriffsverwaltung, Audit-Logs, Datenschutz, Monitoring und Richtliniendurchsetzung, um zuverlässige Automatisierung in großem Maßstab zu gewährleisten.

Warum Web-Daten in Workato-Rezepte integrieren

Workato unterstützt Integrationen mit SaaS-Anwendungen und Diensten von Drittanbietern in Ihrem gesamten Unternehmenstechnologie-Stack. Interne Daten allein reichen jedoch im Allgemeinen nicht aus, um vollständige, genaue Erkenntnisse zu gewinnen.

Web-Daten liefern externen Kontext darüber, was gerade auf dem Markt passiert. Diese kontextuellen Echtzeit-Informationen sind entscheidend für die Verbesserung der Entscheidungsfindung, insbesondere in Geschäftsszenarien.

Online-Daten werden noch wichtiger beim Aufbau KI-gesteuerter Automatisierungen. LLMs werden auf statischen Datensätzen trainiert und haben keinen Zugang zu den neuesten Ereignissen, Updates oder Geschäftssignalen. Ohne Live-Daten können ihre Ausgaben veraltetes Wissen enthalten und zu ungenauen Erkenntnissen führen.

Das Problem ist, dass das Sammeln von Web-Daten in großem Maßstab aufgrund von Rate-Limits, Anti-Bot-Systemen, CAPTCHAs und Fingerprint-Analysen eine Herausforderung darstellt. Hier kommt Bright Data ins Spiel!

Bright Data APIs als Lösung

Bright Data ist ein führender Web-Datenanbieter, der APIs zum Sammeln, Extrahieren und Verarbeiten öffentlicher Web-Daten in großem Maßstab bereitstellt. All diese APIs können in Workato-Rezepte integriert werden, um automatisierte Workflows mit strukturierten, verifizierbaren und aktuellen Web-Daten zu betreiben.

Die wichtigsten Bright Data APIs umfassen:

• Web Scraper APIs: Extrahieren strukturierte Datensätze von beliebten Websites, darunter Amazon, LinkedIn und über 40 unterstützte Domains.
• Web Unlocker API: Ruft Webseiteninhalt in HTML oder Markdown ab und behandelt dabei automatisch Anti-Bot-Systeme und Zugriffshindernisse.
• SERP-API: Sammelt strukturierte Suchmaschinenergebnisse von Google, Bing, Yandex und anderen Suchplattformen für Recherche- und Automatisierungs-Workflows.
• Browser API: Führt automatisierte Browser-Sitzungen aus, um mit dynamischen Websites und JavaScript-basierten Anwendungen zu interagieren.

Hinweis: Jedes neue Bright Data-Konto enthält 5.000 kostenlose Anfragen pro Monat über Web Unlocker API, SERP-API und Web Scraper APIs.

Was Bright Data auszeichnet, ist seine unternehmenstaugliche Infrastruktur, die von einem Proxy-Pool mit über 400 Millionen IPs in 195 Ländern betrieben wird. Es unterstützt unbegrenzte Skalierbarkeit und Parallelität bei einer Betriebszeit von 99,99 % und einer Erfolgsrate von 99,95 %.

In Kombination mit Workato ermöglicht Bright Data Unternehmen den Aufbau solider Workflows. Entdecken Sie wie!

So verwenden Sie Bright Data Scraper APIs in einem Workato-Rezept

In diesem Schritt-für-Schritt-Kapitel erfahren Sie, wie Sie ein praxisnahes KI-gesteuertes Workato-Rezept einrichten. Der Workflow wird dabei automatisch:

1. Aktuelle Glassdoor-Bewertungen mit Bright Data abrufen.
2. Diese mit OpenAI analysieren.
3. Einen strukturierten HTML-Bericht direkt in Ihren Posteingang liefern.

Dieses Rezept ist nützlich für Wettbewerbsbeobachtung, Marktforschung und Mitarbeiter-Feedback-Analyse.

Hinweis: Dies ist nur ein Beispiel dafür, was Sie erstellen können. Bright Data APIs unterstützen viele weitere Anwendungsfälle und ermöglichen Ihnen die Erstellung von Workflows für Web-Suche, Lead-Generierung, Bewertungsüberwachung, Datenanreicherung und mehr.

Folgen Sie den nachstehenden Anweisungen!

Voraussetzungen

Stellen Sie sicher, dass Sie Folgendes haben:

• Ein Workato-Konto (eine kostenlose Testversion ist ausreichend).
• Ein Bright Data-Konto mit einem konfigurierten API-Schlüssel. Lesen Sie die offizielle Anleitung zur Einrichtung eines Bright Data API-Schlüssels.
• Einen OpenAI API-Schlüssel.

Obwohl nicht zwingend erforderlich, ist ein grundlegendes Verständnis davon, wie die Bright Data Scraper API funktioniert, ebenfalls hilfreich.

Schritt #1: Ein Workato-Rezept initialisieren

Melden Sie sich bei Ihrem Workato-Konto an und erstellen Sie ein neues Projekt (z. B. “Web Data Workflows”). Öffnen Sie das Projekt und wählen Sie dann “Create > Recipe”, um ein neues Workato-Rezept zu erstellen:

Wenn Sie neu bei Workato sind: Ein Rezept ist ein automatisierter Workflow, der verschiedene Anwendungen durch einen Trigger und eine Reihe von Aktionen verbindet. Der Trigger bestimmt, wann der Workflow startet, während die Aktionen die danach ausgeführten Aufgaben definieren.

Geben Sie Ihrem Rezept einen Namen (z. B. “Glassdoor Review Monitoring and Sentiment Analysis Workflow”) und wählen Sie dann “Run on a schedule” als Ausgangspunkt:

Sie werden zum visuellen Rezept-Editor weitergeleitet:

Beachten Sie, dass das Rezept bereits einen geplanten Trigger enthält. Das bedeutet, dass der Workflow in regelmäßigen Abständen ohne manuellen Eingriff ausgeführt wird.

Um zu konfigurieren, wann der Workflow ausgelöst wird, klicken Sie auf den Schritt “Trigger” und passen Sie die Zeitplaneinstellungen an. Sie können ihn beispielsweise so einstellen, dass er alle 10 Tage um 9:00 Uhr ausgeführt wird:

Gut gemacht! Ihr neues Workato-Rezept wurde initialisiert.

Schritt #2: Mit der Bright Data Glassdoor Reviews Scraper API vertraut machen

Der Bright Data Glassdoor Reviews Scraper ist der ideale Web Scraper API-Endpunkt zum Abrufen von Glassdoor-Bewertungsdaten. Bevor Sie ihn in Ihr Workato-Rezept integrieren, lohnt es sich zu verstehen, wie die API funktioniert, einschließlich ihres Endpunkts, Inputs und Outputs.

Melden Sie sich bei Ihrem Bright Data-Konto an und rufen Sie das Control Panel auf. Navigieren Sie zu “Scrapers > Scrapers Library”, suchen Sie nach “glassdoor” und wählen Sie die Karte “glassdoor.com”:

Sie werden zur Glassdoor-Scraper-Seite weitergeleitet. Wählen Sie dort die Option “Glassdoor companies reviews > Collect by URL” aus dem linken Menü. Dies ist der Endpunkt zum Scrapen von Glassdoor-Bewertungen:

Das Codebeispiel auf der rechten Seite zeigt, dass synchrone Scraping-Anfragen an den folgenden Endpunkt gesendet werden:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z

Hier ist gd_l7j1po0921hbu0ri1z die Datensatz-ID für die Glassdoor Reviews Scraper API. Die Anfrage wird an den datasets/v3/scrape-Endpunkt gesendet, der den Scraping-Job ausführt und wartet, bis er abgeschlossen ist, bevor er die extrahierten Daten in der Antwort zurückgibt.

Wie Sie sehen können, hat der Request-Body folgende Struktur:

{
  "input": [
    {
      "url": "<GLASSDOOR_REVIEW_PAGE_URL>",
      "days": <NUM_DAYS>
    },
    // weitere URL-Objekte...
  ],
  "limit_per_input": null
}

Das Feld url gibt die zu scrapende Glassdoor-Unternehmensbewertungsseite an, während days die Ergebnisse auf Bewertungen beschränkt, die innerhalb der angegebenen Anzahl von Tagen veröffentlicht wurden.

Sie können den Endpunkt auch direkt über das Bright Data Control Panel testen, indem Sie oben rechts auf “Run manually” klicken. Wenn Sie die JSON-Ausgabe eines API-Aufrufs analysieren, sehen Sie:

Beachten Sie, wie jede Bewertung dieselben Informationen enthält, die auf der originalen Glassdoor-Seite verfügbar sind. Dazu gehören Bewertungstitel, Bewertung, Vor- und Nachteile, Empfehlungen und Bewertungsdatum:

Hervorragend! Zeit, den Bright Data Scraper API-Aufruf in Ihr Workato-Rezept zu integrieren.

Schritt #3: Den HTTP-Schritt zum Aufrufen der Scraper API einrichten

Kehren Sie zur Workato-Rezept-Editor-Seite zurück. Klicken Sie auf die Schaltfläche “+” und wählen Sie “Action in app”, um einen neuen Schritt hinzuzufügen. Suchen Sie im Panel auf der rechten Seite nach “http” und wählen Sie die “HTTP”-App:

Die Workato “HTTP”-App ermöglicht es Ihnen, HTTP-Anfragen an externe Dienste zu senden, was sie zur idealen Wahl für den Aufruf der Bright Data Scraper APIs macht.

Konfigurieren Sie die Verbindung mit den folgenden Einstellungen:

• Connection name: Bright Data Scraper API
• Location: Ihr Workato-Projekt
• Connection type: Cloud
• Authentication type: Header auth (da Bright Data Scraper APIs über den Authorization-Header authentifiziert werden)

Fügen Sie dann als “Base URL” die Bright Data Scraper API-Basis-URL ein:

https://api.brightdata.com/datasets/v3/scrape

Lassen Sie die übrigen Optionen unverändert und klicken Sie auf “Connect”. Klicken Sie anschließend unter der Schrittkonfiguration auf die Schaltfläche “Start guided setup”:

Dadurch wird ein Assistenten-Modell geöffnet, das Sie durch die Konfiguration der HTTP-Anfrage führt.

Wählen Sie “POST” als HTTP-Methode und verwenden Sie die folgende Anfrage-URL für den Glassdoor Scraper API-Endpunkt:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=json

Der Query-Parameter format=json weist die API an, die Ergebnisse als JSON zurückzugeben. Andere Formate, wie CSV und JSONL, werden ebenfalls unterstützt.

Angenommen, Sie möchten Glassdoor-Bewertungen für Nike überwachen. Fügen Sie diesen Request-Body hinzu:

{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}

Beachten Sie, dass days auf 10 gesetzt ist, da das Workato-Rezept so konfiguriert ist, dass es alle 10 Tage ausgeführt wird. Dadurch wird sichergestellt, dass jede Ausführung alle neuen Bewertungen abruft, die seit dem vorherigen Durchlauf veröffentlicht wurden.

Um die Anfrage über Ihr Bright Data-Konto zu authentifizieren, richten Sie einen Authorization-Header ein, der Folgendes enthält:

Bearer <YOUR_BRIGHT_DATA_API_KEY>

Ersetzen Sie <YOUR_BRIGHT_DATA_API_KEY> durch Ihren eigenen Bright Data API-Schlüssel. Dies ist das erforderliche Muster, das von den Bright Data APIs zur Authentifizierung verwendet wird.

Klicken Sie auf “Send request”, um die Konfiguration zu testen. Wenn alles korrekt konfiguriert ist, gibt Workato eine 200 OK-Antwort zurück, die die gescrapten Glassdoor-Bewertungen im JSON-Format enthält:

Klicken Sie auf “Apply configuration”, um das geführte Setup abzuschließen.

Zurück in der “HTTP”-Schrittkonfiguration können Sie das Antwortschema erkunden, das nach dem API-Aufruftest automatisch generiert wurde. Stellen Sie in den “Setup”-Optionen sicher, dass die Option “Wait for response” auf “Yes” gesetzt ist:

Auf diese Weise wartet Workato darauf, dass die Bright Data API die gescrapten Daten zurückgibt, bevor der nächste Schritt im Rezept ausgeführt wird.

Denken Sie schließlich daran, dass dieser “HTTP”-Schritt Ihren Bright Data API-Schlüssel enthält. Um zu vermeiden, dass er in Rezept-Logs oder Job-Berichten offengelegt wird, speichern Sie ihn als Secret oder klicken Sie auf das “…”-Menü beim HTTP-Schritt und aktivieren Sie “Mask data”:

Ausgezeichnet! Ihr Workato-Rezept ist nun erfolgreich mit der Bright Data Glassdoor Reviews Scraper API verbunden.

Schritt #4: Den OpenAI-Schritt konfigurieren

Das Workato-Rezept kann gescrapte Web-Daten über die Bright Data APIs abrufen. Sie sind bereit, diese Daten zur Analyse an ein OpenAI-Modell zu senden.

Klicken Sie erneut auf “+”, fügen Sie eine neue App hinzu, suchen Sie nach “openai” und wählen Sie die “OpenAI“-App:

Wählen Sie die Aktion “Send messages to OpenAI models”, die es Ihrem Rezept ermöglicht, Prompts an ein OpenAI-Modell zu senden und die Antwort zu empfangen:

Fügen Sie beim Erstellen der Verbindung Ihren OpenAI API-Schlüssel in das entsprechende Feld ein und klicken Sie auf “Connect”:

Wählen Sie als Nächstes den Modus “Single message” (da Sie einen einzelnen Prompt an das LLM senden möchten). Wechseln Sie in “Text to send” in den “Formula”-Modus und fügen Sie den folgenden Prompt ein:

"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.

GLASSDOOR REVIEWS:" + <response_array_text_data>

Ersetzen Sie den Platzhalter <response_array_text_data> durch die Ausgabe “Send request > Response > Array” aus dem vorherigen “HTTP”-Schritt, damit das Modell die gescrapten Bewertungsdaten erhält. Da die Antwort ein Array ist, rufen Sie die Methode join(";") auf, um alle Bewertungsobjekte zu einem einzigen String zu verketten, bevor Sie ihn an das LLM senden.

Beachten Sie, dass der Prompt ausdrücklich eine HTML-Antwort anfordert. Dies ist beabsichtigt, da der generierte Inhalt später per E-Mail gesendet wird, deren Protokoll HTML-formatierte Inhalte unterstützt.

Hinweis: Zum Zeitpunkt der Erstellung dieses Artikels verwendet der Workato “OpenAI”-Schritt standardmäßig GPT-4o.

Toll! Ihr Workato-Rezept kann nun aktuelle Web-Daten über OpenAI-Modelle verarbeiten und KI-gesteuerte HTML-Berichte generieren.

Schritt #5: Die Gmail-Integration hinzufügen

Der letzte Schritt besteht darin, den KI-generierten Bericht per E-Mail zu versenden. Klicken Sie auf “+”, fügen Sie die “Gmail“-App hinzu und wählen Sie die Aktion “Send email”:

Klicken Sie auf “Log in to Google”, um Ihr Google-Konto mit Workato zu verbinden. Erteilen Sie die angeforderten Berechtigungen, um die Integration zu autorisieren.

Konfigurieren Sie dann den Schritt “Send email via Gmail” wie folgt:

• To: Die E-Mail-Adresse(n) des Empfängers
• Subject: Glassdoor review analysis report (oder ein ähnlicher Titel)
• Email type: HTML
• Message: Wählen Sie die Rezeptdaten-Ausgabe “Best choice” aus dem Schritt “Send messages to OpenAI models”.

Hinweis: Die Rezeptdaten “Best choice” enthalten den HTML-Bericht, der vom OpenAI-Modell im vorherigen Schritt generiert wurde.

Großartig! Das Workato-Rezept ist fertig.

Schritt #6: Das Rezept ausführen

Ihr fertiges Workato-Rezept sollte ähnlich wie dieses aussehen:

Öffnen Sie den Tab “TEST” und klicken Sie auf “Test recipe”, um den Workflow auszuführen. Das erhalten Sie:

Während der Ausführung wird Workato:

1. Den geplanten Workflow auslösen.
2. Die Bright Data Glassdoor Reviews Scraper API aufrufen.
3. Die abgerufenen Bewertungen an OpenAI weitergeben, um sie zu analysieren und einen HTML-Bericht zu erstellen.
4. Den Bericht über Gmail versenden.

Um zu überprüfen, ob der Workflow Bewertungsdaten von Glassdoor verwendet, prüfen Sie den “Input” des “OpenAI”-Schritts:

Beachten Sie, wie der Prompt die Glassdoor-Bewertungen enthält, die von der Bright Data Scraper API auf Abruf abgerufen wurden. Dadurch wird das LLM mit kontextuellen Web-Daten versorgt, anstatt auf veraltetes Wissen aus den Trainingsdaten zurückzugreifen.

Hinweis: Sie können einen ähnlichen Ansatz verfolgen, um jede andere Bright Data API zu integrieren. Sie können beispielsweise Web-Suche, Crawling oder generische Web-Scraping-Funktionen zu Ihren Workato-Rezepten hinzufügen.

Mission erfüllt! Sie haben Bright Data erfolgreich mit Workato integriert. Durch die Kombination der API-Unterstützung von Workato mit der Web-Dateninfrastruktur von Bright Data können Sie leistungsstarke Automatisierungs-Workflows erstellen, die frische Web-Daten von nahezu jeder Website sammeln, analysieren und darauf reagieren.

Erkunden Sie die vielen von Bright Data APIs unterstützten Anwendungsfälle, um noch mehr KI-gesteuerte Automatisierungs-Workflows zu erstellen.

Schritt #7: Die generierte Ausgabe erkunden

Überprüfen Sie abschließend Ihren Posteingang:

Sie sollten eine neue E-Mail mit dem Betreff “Glassdoor review analysis report” entdecken. Öffnen Sie sie, um einen strukturierten HTML-Bericht anzuzeigen, der die in den letzten 10 Tagen veröffentlichten Bewertungen zusammenfasst. Der Bericht hebt wiederkehrende positive und negative Themen hervor.

Et voilà! Das Workato-Rezept funktioniert einwandfrei.

Fazit

In diesem Artikel haben Sie gelernt, wie Sie die Bright Data Scraper API verwenden, um Live-Strukturdaten von Websites abzurufen und sie mit OpenAI in einem automatisierten Workato-Rezept zu verarbeiten.

Der hier demonstrierte KI-Workflow kann leicht auf andere Bright Data APIs ausgeweitet werden, um programmatisches Web-Scraping, Suche, Datenfeed-Abruf und mehr zu ermöglichen. Um fortgeschrittenere Pipelines zu erstellen, erkunden Sie die vollständige Suite KI-fähiger APIs von Bright Data.

Erstellen Sie noch heute kostenlos ein Bright Data-Konto und beginnen Sie damit, unternehmenstaugliche Web-Daten-APIs in Ihre KI-Workflows zu integrieren!