Integration von Bright Data in ToolJet für Live-Monitoring-Web-Apps für Unternehmen

In diesem Artikel erfahren Sie:

• Was ToolJet ist und was es als Low-Code-Full-Stack-Anwendungsentwicklungsplattform bietet.
• Warum die Verbindung mit Bright Data ideal für die Enterprise-Web-App-Entwicklung ist.
• Wie Sie mit ToolJet und Bright Data eine praxisnahe Web-Anwendung für Live-Monitoring aufbauen.
• Weitere Anwendungsfälle, die durch die Integration von ToolJet und Bright Data unterstützt werden.

Los geht’s!

Was ist ToolJet?

ToolJet ist eine KI-gestützte Low-Code-Plattform zum Erstellen von Full-Stack-Unternehmensanwendungen, Dashboards, Workflows und KI-Agenten.

Es hilft Ihnen, Tools wie Admin-Panels, CRMs und Daten-Dashboards schnell bereitzustellen, ohne umfangreiche Frontend- oder Backend-Entwicklung. Es ist besonders nützlich für Unternehmen, die Datenbanken, APIs und SaaS-Tools in sichere interne Apps integrieren möchten, während sie die volle Kontrolle über Infrastruktur und Daten behalten.

ToolJet ist Open-Source und verzeichnet über 38.000 GitHub-Sterne. Neben dem Cloud-Deployment für Enterprise-Flexibilität unterstützt es auch Self-Hosting.

Hauptfunktionen

Die wichtigsten Funktionen von ToolJet sind:

• KI-App-Builder: Full-Stack-Anwendungen aus natürlichsprachigen Prompts erstellen, einschließlich UI, Datenbankschemata und Logik.
• Workflow-Automatisierung: Mehrstufige Workflows mit visueller Logik, Triggern, Bedingungen und geplanten Ereignissen erstellen.
• 80+ Integrationen: Sofort einsatzbereite Verbindungen zu Datenbanken, APIs, Cloud-Speicher und SaaS-Plattformen.
• ToolJet-Datenbank: Integrierte PostgreSQL-basierte Datenbank für schnelle CRUD-Operationen ohne externen Aufwand.
• KI-Agenten: Intelligente Agenten erstellen, die komplexe Multi-System-Workflows automatisieren.
• Code-Erweiterbarkeit: Benutzerdefiniertes JavaScript oder Python für erweiterte Logik und Transformationen hinzufügen.
• Enterprise-Sicherheit: Unterstützt SSO (SAML, OIDC, LDAP), RBAC, Audit-Logs, Verschlüsselung und Compliance-Standards.
• Flexibles Deployment: Betrieb in der ToolJet Cloud oder Self-Hosting auf AWS, GCP, Azure, Kubernetes oder Docker.
• Git-basierte Versionierung: Unterstützt GitSync und CI/CD-Workflows für professionelles Entwicklungslebenszyklusmanagement.

Warum Bright Data APIs in ToolJet verbinden?

Enterprise-Unternehmensanwendungen, Dashboards und Workflows benötigen zweifellos Daten. Doch sich ausschließlich auf interne Datenbanken zu verlassen, reicht nicht mehr aus, um hochwertige Geschäftseinblicke zu gewinnen.

Interne Systeme zeigen, was in Ihrem Unternehmen passiert. Sie können jedoch nicht erklären, was auf dem Markt, bei Wettbewerbern oder im breiteren digitalen Ökosystem geschieht.

Die eigentliche Herausforderung besteht darin, dass externe Webdaten schwer in großem Maßstab zu erfassen und zu nutzen sind. Websites ändern ständig ihre Struktur, viele verwenden Anti-Bot-Schutzmaßnahmen, und die Daten sind oft unstrukturiert, inkonsistent oder unvollständig.

Selbst wenn Web-Scraping möglich ist, wird die Aufrechterhaltung der Zuverlässigkeit über Tausende von Quellen zu einem kontinuierlichen Engineering-Problem. Infolgedessen haben Unternehmen Schwierigkeiten, externe Daten in ihre internen Anwendungen zu integrieren.

Die Lösung besteht darin, interne App-Building-Tools wie ToolJet mit einer dedizierten Webdaten-Infrastrukturschicht zu kombinieren. Hier kommt Bright Data ins Spiel!

Bright Data APIs als Lösung

Durch die Verbindung von ToolJet-Anwendungen mit Bright Data erhalten interne Dashboards und Workflows Zugriff auf Echtzeit-, strukturierte und zuverlässige Daten von praktisch jeder Website. Die Integration in ToolJet wird über Bright Data APIs ermöglicht, die Ihnen Zugriff auf Bright Data Produkte geben:

• SERP-API: Suchmaschinenergebnisse von Google, Bing und anderen Anbietern erfassen, um Marktforschung, SEO-Tracking und Wettbewerbsanalyse zu unterstützen.
• Web Unlocker API: Auf Inhalte von praktisch jeder Website zugreifen, indem CAPTCHAs und Anti-Bot-Systeme umgangen werden, und sauberes HTML oder Markdown zurückgeben.
• Web Scraper APIs: Strukturierte Daten von großen Plattformen wie Amazon, LinkedIn und Instagram extrahieren, ohne eigene Scraper zu entwickeln.
• Crawl API: Gesamte Domains in strukturierte Datensätze umwandeln und so umfassende Datenpipelines und KI-fähige Workflows ermöglichen.

Was Bright Data auszeichnet, ist seine Enterprise-Infrastruktur, die speziell für die groß angelegte Datenerfassung entwickelt wurde. Das Netzwerk umfasst über 400 Millionen IP-Adressen in 195 Ländern mit einer Betriebszeit von 99,99 % und einer Erfolgsrate von 99,95 %.

So erstellen Sie eine Echtzeit-Datenüberwachungs-App in ToolJet mit Bright Data Scraping APIs

In diesem Abschnitt erfahren Sie, wie Sie eine Anwendung zur Überwachung von App-Bewertungsdaten aus dem Apple App Store erstellen. Diese kann verwendet werden, um Änderungen in der Bewertung Ihrer App kontinuierlich zu verfolgen oder Konkurrenz-Apps zu überwachen.

ToolJet wird verwendet, um die vollständige Web-Anwendung zu erstellen, während die Daten von Bright Data bezogen werden. Beachten Sie, dass viele weitere Szenarien und Anwendungsfälle mit demselben Ansatz realisiert werden können.

Folgen Sie den nachstehenden Anweisungen!

Voraussetzungen

Um diesem Tutorial zu folgen, stellen Sie sicher, dass Sie Folgendes haben:

• Ein ToolJet-Konto (der kostenlose Plan reicht aus).
• Ein Bright Data-Konto mit einem API-Schlüssel. Folgen Sie der offiziellen Anleitung zur Generierung Ihres Bright Data API-Schlüssels.

Kenntnisse darüber, wie die Bright Data Scraper APIs funktionieren, sind ebenfalls hilfreich.

Schritt #1: Machen Sie sich mit der Apple App Store Scraper API vertraut

Die ToolJet-Full-Stack-Anwendung, die Sie erstellen werden, basiert auf Daten, die über Bright Data aus dem Apple App Store abgerufen werden. Daher ist es sinnvoll, sich mit Bright Data’s Apple App Store Scraper APIs vertraut zu machen.

Beginnen Sie damit, sich in Ihr Bright Data-Konto einzuloggen. Gehen Sie im Bright Data Control Panel im linken Menü zu ‘Scrapers > Scrapers Library’. Sie gelangen dann zur Seite ‘Scrapers Library’, auf der Sie alle verfügbaren Bright Data Scraper APIs erkunden können.

Suchen Sie nach ‘apps.apple.com’ und klicken Sie auf die entsprechende Scraper-Karte:

Wählen Sie auf der Apple App Store Scraping API-Seite den Endpunkt ‘Apple App Store > Collect by URL’ aus. Dieser scrapt die Apple App Store-Informationen, die uns interessieren.

Im Bright Data Control Panel können Sie die API konfigurieren und testen, um ihre Eingabe- und Ausgabestruktur zu verstehen. Angenommen, Sie möchten Apple App Store-Informationen und Bewertungen für diese Konkurrenz-Apps in der Fitnessbranche überwachen:

• https://apps.apple.com/us/app/planet-fitness/id399857015
• https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718
• https://apps.apple.com/us/app/crunch-fitness/id398210959

Fügen Sie diese im Feld ‘Inputs > url’ hinzu und drücken Sie ‘Run manually’, um den API-Aufruf zu testen:

Beachten Sie, dass der Apple App Store API-Endpunkt durch Senden einer POST-Anfrage an die folgende URL aufgerufen werden kann:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_lsk9ki3u2iishmwrui

Der Body dieser HTTP-Anfrage enthält die Liste der Apple-App-URLs, die gescrapt werden sollen.

Im Tab ‘Snapshots’ können Sie die generierten Ergebnisse herunterladen. Als JSON heruntergeladen sieht es etwa so aus:

Die Ausgabe enthält App Store-Informationen, einschließlich Bewertungen, Anzahl der Bewerter und aktueller Rezensionen. Das bedeutet, dass die Bright Data API in der Lage war, den Anti-Bot-Schutz des Apple App Stores zu umgehen und die gewünschten Daten abzurufen.

Genau das ist die Art frischer Webdaten, die Sie für die Überwachung von Konkurrenz-Apps benötigen. Gut gemacht!

Schritt #2: Ein neues ToolJet-Projekt erstellen

Da Sie nun wissen, wie Sie die Quelldaten für Ihre Full-Stack-Anwendung erhalten, besteht der nächste Schritt darin, eine zu erstellen. Beginnen Sie damit, sich bei ToolJet anzumelden, und klicken Sie auf der Seite ‘Home > Home’ auf die Schaltfläche ‘Create a blank app’:

Dies führt Sie zum ToolJet App Builder, wo Sie Ihre Anwendung durch eine No-Code/Low-Code-Erfahrung definieren können.

Geben Sie Ihrer neuen leeren ToolJet-Anwendung einen Namen (z. B. ‘Apple App Store App Monitoring’) und machen Sie sich mit der Benutzeroberfläche vertraut:

Großartig! Es ist an der Zeit, Ihre Datenquelle über die Bright Data API-Integration zu verbinden und Komponenten hinzuzufügen, um die Web-App zu erstellen.

Schritt #3: Die Bright Data-gestützte REST API-Abfrage konfigurieren

Die Quelldaten für die Apple App Store-Überwachungs-Web-App werden über die Bright Data Scraper API erfasst. Klicken Sie daher auf die Schaltfläche ‘REST API’, um die Datenquelle zu konfigurieren:

Geben Sie Ihrer API einen Namen (z. B. ‘AppleAppStoreScrapingAPI’) und füllen Sie den Tab ‘Setup’ wie folgt aus:

• Method: POST
• URL: https://api.brightdata.com/datasets/v3/scrape (Dies ist der Hauptendpunkt für Bright Data Scraper APIs im Async-Modus.)
• Headers:

– Authorization: Bearer <YOUR_BRIGHT_DATA_API_KEY> (Erforderlich für die Authentifizierung mit Scraper APIs bei Ihrem Bright Data-Konto. Ersetzen Sie <YOUR_BRIGHT_DATA_API_KEY> durch Ihren tatsächlichen Bright Data API-Schlüssel.)

Diese Konfiguration teilt ToolJet mit, welchen API-Endpunkt es aufrufen und wie es sich authentifizieren soll.

Scrollen Sie als Nächstes nach unten und wechseln Sie zum Tab ‘Params’. Fügen Sie die folgenden Query-Parameter hinzu:

• dataset_id: gd_lsk9ki3u2iishmwrui (Dies entspricht der ID des Scraper-Endpunkts ‘Apple App Store, Collect by URL’.)
• format: json (Stellt sicher, dass die API strukturierte JSON-Daten zurückgibt.)

Wechseln Sie nun zum Abschnitt ‘Body’, aktivieren Sie den ‘Raw’-Modus und fügen Sie den zuvor im Bright Data Control Panel generierten Request-Body ein (Schritt #1):

{"input":[{"url":"https://apps.apple.com/us/app/planet-fitness/id399857015"},{"url":"https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718"},{"url":"https://apps.apple.com/us/app/crunch-fitness/id398210959"}]}

Auf diese Weise scrapt die Scraper API die richtigen Apple App Store-Apps.

Drücken Sie oben rechts auf ‘Run’, um zu überprüfen, ob die API funktioniert. Wenn alles korrekt konfiguriert ist, sollten Sie im Abschnitt ‘Preview’ dieselben Ergebnisse sehen wie am Ende von Schritt #1:

Dies bestätigt, dass Ihre ToolJet-Anwendung nun dynamisch strukturierte Apple App Store-Daten auf Anfrage über eine Bright Data Scraper API abrufen kann. Cool!

Schritt #4: Eine Tabelle zur Anzeige der abgerufenen Daten hinzufügen

Jetzt, da Sie die Datenquelle konfiguriert haben, müssen Sie den Frontend-Teil der Web-App erstellen. Beginnen Sie damit, eine Tabelle hinzuzufügen, um die gescrapten Daten anzuzeigen.

Klicken Sie im rechten Bereich der App Builder-Oberfläche auf die Schaltfläche ‘+’ (Components), wählen Sie ‘Table’ und ziehen Sie es auf die Anwendungs-Canvas:

Klicken Sie auf die Tabellenkomponente und öffnen Sie im rechten Panel den Tab ‘Properties’. Setzen Sie die Eingabedaten der Tabelle auf die Ausgabe der zuvor konfigurierten REST API, indem Sie ‘Data source > AppAppStoreScrapingAPI’ auswählen:

Legen Sie als Nächstes die Spalten fest, damit die Tabelle die Eingabedaten korrekt darstellen kann. Aktivieren Sie im Abschnitt ‘Columns’ die Option ‘Use dynamic columns’:

Fügen Sie dann die folgende Konfiguration ein:

{{[
  { name: "URL", key: "url", id: "1" },
  { name: "Title", key: "title", id: "2" },
  { name: "Subtitle", key: "sub_title", id: "3" },
  { name: "Developer Name", key: "developer.developer_name", id: "4" },
  { name: "Developer Link", key: "developer.developer_link", id: "5" },
  { name: "Top Charts", key: "top_charts", id: "6" },
  { name: "Monetization Features", key: "monetization_features", id: "7" },
  { name: "Image", key: "image", id: "8" },
  { name: "Screenshots", key: "screenshots", id: "9" },
  { name: "Description", key: "description", id: "10" },
  { name: "Rating", key: "rating", id: "11" },
  { name: "Number of Raters", key: "number_of_raters", id: "12" },
  { name: "1-Star %", key: "reviews_star_percentage.one_stars", id: "13" },
  { name: "2-Star %", key: "reviews_star_percentage.two_stars", id: "14" },
  { name: "3-Star %", key: "reviews_star_percentage.three_stars", id: "15" },
  { name: "4-Star %", key: "reviews_star_percentage.four_stars", id: "16" },
  { name: "5-Star %", key: "reviews_star_percentage.five_stars", id: "17" },
  { name: "Reviews", key: "reviews", id: "18" },
  { name: "Events", key: "events", id: "19" },
  { name: "Data Linked To You", key: "data_linked_to_you", id: "20" },
  { name: "Seller", key: "seller", id: "21" },
  { name: "Category", key: "category", id: "22" },
  { name: "Languages", key: "languages", id: "23" },
  { name: "Copyright", key: "copyright", id: "24" },
  { name: "Size (MB)", key: "size", id: "25" },
  { name: "Compatibility", key: "compatibility", id: "26" },
  { name: "Age Rating", key: "age_rating", id: "27" },
  { name: "Price", key: "price", id: "28" },
  { name: "In-App Purchases", key: "In_app_purchases", id: "29" },
  { name: "Support", key: "support", id: "30" },
  { name: "More By This Developer", key: "more_by_this_developer", id: "31" },
  { name: "You Might Also Like", key: "you_might_also_like", id: "32" },
  { name: "Privacy Policy", key: "privacy_policy", id: "33" },
  { name: "Developer Website", key: "developer_website", id: "34" },
  { name: "Featured In", key: "featured_in", id: "35" },
  { name: "Country", key: "country", id: "36" },
  { name: "Latest App Version", key: "latest_app_version", id: "37" },
  { name: "App ID", key: "app_id", id: "38" },
  { name: "Provider", key: "provider", id: "39" },
  { name: "Timestamp", key: "timestamp", id: "40" },
  { name: "Input URL", key: "input.url", id: "41" }
]}}

Diese JSON-Darstellung entspricht dem Ausgabedatenschema, das Sie im Bright Data Control Panel sehen können (im Abschnitt ‘Overview > Dictionary’ jeder Scraper API-Seite).

Hinweis: Vergessen Sie nicht, den JSON-Ausdruck mit {{ }} zu umschließen, damit ToolJet die Zeichenkette korrekt als Objekt interpretiert.

Die Tabelle sollte beginnen, die von der Bright Data Apple App Store Scraper API abgerufenen Daten anzuzeigen:

Fantastisch! Ihre Bright Data-gestützte Full-Stack-Web-App für Live-Monitoring nimmt Gestalt an.

Schritt #5: Eine Schaltfläche für den dynamischen Datenabruf hinzufügen

Jetzt, da Sie eine Tabelle mit den gescrapten Daten haben, fügen Sie die Möglichkeit hinzu, diese bei Bedarf zu aktualisieren.

Beginnen Sie damit, eine Button-Komponente hinzuzufügen und sie mit ‘Update data’ zu beschriften. Klicken Sie dann auf ‘New event handler’ und wählen Sie das Ereignis ‘On click’:

Wählen Sie als Aktion ‘Run query’ und wählen Sie ‘AppleAppStoreScrapingAPI’ als auszuführende Abfrage aus:

Diese Konfiguration weist ToolJet an, die konfigurierte Bright Data Scraper API jedes Mal auszuführen, wenn der Benutzer auf die Schaltfläche klickt. Die API ruft die neuesten Apple App Store-Daten in Echtzeit ab. Da die Tabelle bereits an die Abfrage gebunden ist (die der API-Antwort entspricht), werden die aktualisierten Daten automatisch angezeigt, sobald die Abfrage abgeschlossen ist.

Um die Benutzererfahrung zu verbessern, können Sie auch zwei zusätzliche Klick-Ereignisse hinzufügen: eines, um den Ladezustand der Tabelle vor dem API-Aufruf zu aktivieren, und ein weiteres, um ihn nach dem Laden der neuen Daten zu deaktivieren.

Der Abschnitt ‘Events’ Ihrer ‘Update data’-Schaltfläche sollte wie folgt aussehen:

Ausgezeichnet! Das Frontend Ihrer Bright Data-gestützten ToolJet-Anwendung ist nun vollständig. Es bleibt nur noch, den Workflow zu testen.

Schritt #6: Die Full-Stack-Web-App für Apple App Store-Monitoring testen

Um zu überprüfen, ob die Anwendung funktioniert, klicken Sie auf die Schaltfläche ‘Preview’:

Sie können nun mit Ihrer Full-Stack-Anwendung auf einer dedizierten Vorschauseite interagieren. Zunächst zeigt die Tabelle keine Daten an.

Um den Workflow zu testen, klicken Sie auf ‘Update data’. Danach:

1. Die Tabelle wechselt wie erwartet in den Ladezustand.
2. Die ‘AppleAppStoreScrapingAPI’-Abfrage wird ausgelöst und ruft die Bright Data Apple App Store API auf, um die neuesten Daten dynamisch zu scrapen.
3. Die Tabelle verlässt den Ladezustand, sobald die Anfrage abgeschlossen ist.
4. Die abgerufenen Daten werden in der Tabelle angezeigt.

Wie Sie sehen, enthält die Tabelle nun Daten wie Bewertungen, Anzahl der Bewerter und prozentuale Verteilung der Sternebewertungen. Das Ergebnis ist ein Full-Stack App Store-Monitoring-Tool, das jeder nutzen kann, unabhängig von technischen Kenntnissen.

Et voilà! Dies demonstriert die Leistungsfähigkeit von ToolJet und Bright Data APIs für Web-Scraping und Echtzeit-Datenanwendungen.

Weitere ToolJet + Bright Data Anwendungsfälle

Das im vorherigen Kapitel gezeigte Beispiel ist nur einer von vielen Anwendungsfällen, die die Kombination aus ToolJet und Bright Data unterstützt. Lassen Sie uns einige weitere erkunden!

Markt- und Trend-Monitoring-Dashboards

Die Idee ist, Dashboards zu erstellen, die aufkommende Markttrends auf Websites, Foren und digitalen Plattformen in Echtzeit verfolgen. Bright Data erfasst und strukturiert Live-Webdaten, während ToolJet diese in visuelle Einblicke wie Diagramme, Tabellen und KPIs umwandelt. So können Enterprise-Teams Nachfrageverschiebungen, neue Produktkategorien und sich veränderndes Nutzerverhalten schnell identifizieren, ohne manuelle Recherche, was schnellere strategische Entscheidungen ermöglicht.

E-Commerce-Preis- und Lagerüberwachungssysteme

Unternehmen können Bright Data APIs mit ToolJet-Dashboards kombinieren, um Produktpreise, Verfügbarkeit und Variationen auf mehreren E-Commerce-Plattformen zu überwachen. Die Daten werden automatisch erfasst und normalisiert, dann in ToolJet-Apps für Beschaffungs-, Preisstrategie- oder Marktplatz-Optimierungsteams angezeigt. Dies ermöglicht dynamische Preisentscheidungen und schnellere Reaktionen auf Lagerengpässe oder Konkurrenzrabatte.

Markenreputation-Plattformen

Durch die Nutzung von Bright Data zur Erfassung von Bewertungen, Ratings und Nutzerfeedback von Plattformen wie App Stores oder Marktplätzen kann ToolJet dies in ein Live-Sentiment- und Reputationsüberwachungssystem umwandeln. Unternehmen können Bewertungstrends verfolgen, negative Spitzen erkennen und Kundenfeedback in Echtzeit analysieren. Dies hilft Marketing- und Produktteams, schneller auf Stimmungsänderungen der Nutzer zu reagieren.

Lead-Generierungs- und Markt-Mapping-Tools

Bright Data kann strukturierte Unternehmens- und Kontaktdaten aus Verzeichnissen, Suchmaschinen und öffentlichen Quellen sammeln, während ToolJet diese in interne Lead-Management-Tools umwandelt. Teams können Leads visuell filtern, segmentieren und priorisieren, automatisierte Anreicherungs-Workflows erstellen und die Outreach-Performance verfolgen. Dies schafft skalierbare, datengesteuerte Prospecting-Systeme für B2B-Vertriebs- und Wachstumsteams.

Fazit

In diesem Blogbeitrag haben Sie erfahren, was ToolJet ist. Sie haben auch erkannt, warum die Integration mit Bright Data Unternehmen dabei hilft, interne Daten mit aktuellen, frischen und hochwertigen Webdaten zu ergänzen.

Wie gezeigt, erfordert die Integration dank der Bright Data APIs nur wenige Klicks. Diese unterstützen Web-Scraping, Suche, groß angelegtes Crawling und vieles mehr. Das Ergebnis ist eine Reihe von Enterprise-Web-Apps für eine Vielzahl von Anwendungsfällen, von der Marktüberwachung bis zur Markenreputationsanalyse.

Wenn Sie Hilfe bei der Bright Data-Integration in ToolJet benötigen, wenden Sie sich gerne an unser 24/7-Support-Team.

Erstellen Sie noch heute ein Bright Data-Konto und entdecken Sie unsere KI-fähigen Webdaten-Lösungen!