Bright Data in ToolJet integrieren für Live-Monitoring-Web-Apps in Unternehmen

In diesem Artikel erfahren Sie:

• Was ToolJet ist und was es als Low-Code-Full-Stack-Anwendungsentwicklungsplattform bietet.
• Warum die Verbindung mit Bright Data ideal für die Web-App-Entwicklung auf Unternehmensebene ist.
• Wie man mit ToolJet und Bright Data eine praxisnahe Web-Anwendung für Live-Monitoring aufbaut.
• Weitere Anwendungsfälle, die durch die ToolJet + Bright Data Integration unterstützt werden.

Legen wir los!

Was ist ToolJet?

ToolJet ist eine KI-gestützte Low-Code-Plattform zum Erstellen von Full-Stack-Internanwendungen, Dashboards, Workflows und KI-Agenten.

Es hilft Ihnen, Tools wie Admin-Panels, CRMs und Daten-Dashboards schnell bereitzustellen, ohne aufwendige Frontend-/Backend-Entwicklung. Es ist besonders nützlich für Unternehmen, die Datenbanken, APIs und SaaS-Tools in sichere interne Apps integrieren möchten und dabei die volle Kontrolle über Infrastruktur und Daten behalten.

ToolJet ist Open-Source und verfügt über mehr als 38.000 GitHub-Sterne. Neben Cloud-Deployment für unternehmensgerechte Flexibilität unterstützt es auch Self-Hosting.

Hauptfunktionen

Die wichtigsten Funktionen von ToolJet sind:

• KI-App-Builder: Erstellen Sie Full-Stack-Anwendungen aus natürlichsprachlichen Eingaben, einschließlich UI, Datenbankschemata und Logik.
• Workflow-Automatisierung: Erstellen Sie mehrstufige Workflows mit visueller Logik, Triggern, Bedingungen und geplanten Ereignissen.
• 80+ Integrationen: Verbinden Sie sich sofort mit Datenbanken, APIs, Cloud-Speicher und SaaS-Plattformen.
• ToolJet-Datenbank: Integrierte PostgreSQL-basierte Datenbank für schnelle CRUD-Operationen ohne externe Einrichtung.
• KI-Agenten: Erstellen Sie intelligente Agenten, die komplexe Multi-System-Workflows automatisieren.
• Code-Erweiterbarkeit: Fügen Sie benutzerdefiniertes JavaScript oder Python für erweiterte Logik und Transformationen hinzu.
• Unternehmenssicherheit: Unterstützt SSO (SAML, OIDC, LDAP), RBAC, Audit-Logs, Verschlüsselung und Compliance-Standards.
• Flexibles Deployment: Betreiben Sie es in der ToolJet Cloud oder hosten Sie es selbst auf AWS, GCP, Azure, Kubernetes oder Docker.
• Git-basierte Versionierung: Unterstützt GitSync und CI/CD-Workflows für professionelles Lifecycle-Management in der Entwicklung.

Warum Bright Data APIs in ToolJet verbinden

Interne Unternehmensanwendungen, Dashboards und Workflows benötigen zweifellos Daten. Dennoch reicht es nicht mehr aus, sich nur auf interne Datenbanken zu verlassen, um hochwertige Geschäftseinblicke zu gewinnen.

Interne Systeme können Ihnen sagen, was in Ihrem Unternehmen passiert. Sie können jedoch nicht erklären, was auf dem Markt, bei Wettbewerbern oder im breiteren digitalen Ökosystem geschieht.

Die eigentliche Herausforderung besteht darin, dass externe Web-Daten schwierig im großen Maßstab zu sammeln und zu nutzen sind. Websites ändern ständig ihre Struktur, viele nutzen Anti-Bot-Schutzmaßnahmen, und die Daten sind oft unstrukturiert, inkonsistent oder unvollständig.

Selbst wenn Web-Scraping möglich ist, wird die Aufrechterhaltung der Zuverlässigkeit über Tausende von Quellen zu einem kontinuierlichen Engineering-Problem. Infolgedessen haben Unternehmen Schwierigkeiten, externe Daten in ihre internen Anwendungen zu integrieren.

Die Lösung besteht darin, interne App-Building-Tools wie ToolJet mit einer dedizierten Web-Dateninfrastrukturschicht zu kombinieren. Hier kommt Bright Data ins Spiel!

Bright Data APIs als Lösung

Durch die Verbindung von ToolJet-Anwendungen mit Bright Data erhalten interne Dashboards und Workflows Zugriff auf Echtzeit-, strukturierte und zuverlässige Daten von praktisch jeder Website. Die Integration in ToolJet wird über Bright Data APIs ermöglicht, die Ihnen Zugang zu Bright Data Produkten verschaffen:

• SERP-API: Sammeln Sie Suchmaschinenergebnisse von Google, Bing und anderen Anbietern für Marktforschung, SEO-Tracking und Wettbewerbsanalyse.
• Web Unlocker API: Greifen Sie auf Inhalte von praktisch jeder Website zu, indem CAPTCHAs und Anti-Bot-Systeme umgangen werden und sauberes HTML oder Markdown zurückgegeben wird.
• Web Scraper APIs: Extrahieren Sie strukturierte Daten von großen Plattformen wie Amazon, LinkedIn und Instagram, ohne eigene Scraper zu entwickeln.
• Crawl API: Wandeln Sie ganze Domains in strukturierte Datensätze um und ermöglichen Sie so umfassende Datenpipelines und KI-bereite Workflows.
• Discover API: Führen Sie Echtzeit-Web-Discovery durch und rufen Sie priorisierte, absichtsbasierte Ergebnisse mit verifizierbaren Quellen für nachgelagerte Analysen ab.

Was Bright Data auszeichnet, ist seine auf Unternehmensebene ausgelegte Infrastruktur, die speziell für die großangelegte Datenerfassung entwickelt wurde. Sein Netzwerk umfasst über 400 Millionen IP-Adressen in 195 Ländern mit einer Betriebszeit von 99,99 % und einer Erfolgsrate von 99,95 %.

So erstellen Sie eine Echtzeit-Datenüberwachungs-App in ToolJet mit Bright Data Scraping-APIs

In diesem Abschnitt erfahren Sie, wie Sie eine Anwendung zur Überwachung von App-Bewertungsdaten aus dem Apple App Store erstellen. Diese kann verwendet werden, um Änderungen in der Bewertung Ihrer App kontinuierlich zu verfolgen oder Konkurrenz-Apps zu überwachen.

ToolJet wird verwendet, um die vollständige Web-Anwendung zu erstellen, während die Daten von Bright Data bezogen werden. Beachten Sie, dass viele andere Szenarien und Anwendungsfälle mit demselben Ansatz realisiert werden können.

Folgen Sie den nachstehenden Anweisungen!

Voraussetzungen

Um diesem Tutorial folgen zu können, stellen Sie sicher, dass Sie Folgendes haben:

• Ein ToolJet-Konto (der kostenlose Plan reicht aus).
• Ein Bright Data-Konto mit einem API-Schlüssel. Folgen Sie der offiziellen Anleitung zur Generierung Ihres Bright Data API-Schlüssels.

Kenntnisse darüber, wie die Bright Data Scraper APIs funktionieren, sind ebenfalls hilfreich.

Schritt #1: Mit der Apple App Store Scraper API vertraut machen

Die ToolJet Full-Stack-Anwendung, die Sie gleich erstellen werden, basiert auf Daten, die über Bright Data aus dem Apple App Store abgerufen werden. Daher ist es sinnvoll, sich mit den Bright Data Apple App Store Scraper APIs vertraut zu machen.

Beginnen Sie damit, sich in Ihr Bright Data-Konto einzuloggen. Gehen Sie im Bright Data-Kontrollpanel im linken Menü zu “Scraper > Scraper-Bibliothek”. Dies führt Sie zur Seite “Scraper-Bibliothek”, auf der Sie alle verfügbaren Bright Data Scraper APIs erkunden können.

Suchen Sie nach “apps.apple.com” und klicken Sie auf die entsprechende Scraper-Karte:

Wählen Sie auf der Apple App Store Scraping-API-Seite den Endpunkt “Apple App Store > Nach URL sammeln” aus. Dieser scrapt die Apple App Store-Informationen, die uns interessieren.

Im Bright Data-Kontrollpanel können Sie die API konfigurieren und testen, um ihre Eingabe- und Ausgabestruktur zu verstehen. Angenommen, Sie möchten Apple App Store-Informationen und Bewertungspunkte für diese Konkurrenz-Apps in der Fitnessbranche überwachen:

• https://apps.apple.com/us/app/planet-fitness/id399857015
• https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718
• https://apps.apple.com/us/app/crunch-fitness/id398210959

Fügen Sie sie zum Feld “Eingaben > URL” hinzu und drücken Sie “Manuell ausführen”, um den API-Aufruf zu testen:

Beachten Sie, dass der Apple App Store API-Endpunkt durch Senden einer POST-Anfrage an die folgende URL aufgerufen werden kann:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_lsk9ki3u2iishmwrui

Der Body dieser HTTP-Anfrage enthält die Liste der zu scrapenden Apple-App-URLs.

Im Tab “Snapshots” können Sie die generierten Ergebnisse herunterladen. Als JSON heruntergeladen sehen Sie etwas wie folgt:

Die Ausgabe enthält App Store-Informationen, einschließlich Bewertungen, Anzahl der Bewerter und aktuelle Rezensionen. Das bedeutet, dass die Bright Data API in der Lage war, den Anti-Bot-Schutz des Apple App Stores zu umgehen und die gewünschten Daten abzurufen.

Genau das ist die Art von aktuellen Web-Daten, die Sie für die Überwachung von Konkurrenz-Apps benötigen. Gut gemacht!

Schritt #2: Ein neues ToolJet-Projekt erstellen

Nun, da Sie wissen, wie Sie die Quelldaten für Ihre Full-Stack-Anwendung abrufen, ist der nächste Schritt, eine solche zu erstellen. Beginnen Sie damit, sich bei ToolJet anzumelden, und klicken Sie auf der Seite “Home > Home” auf die Schaltfläche “Leere App erstellen”:

Dies führt Sie zum ToolJet App Builder, wo Sie Ihre Anwendung durch eine No-Code/Low-Code-Erfahrung definieren können.

Geben Sie Ihrer neuen leeren ToolJet-Anwendung einen Namen (z. B. “Apple App Store App-Überwachung”) und machen Sie sich mit der Benutzeroberfläche vertraut:

Gut! Es ist Zeit, Ihre Datenquelle über die Bright Data API-Integration zu verbinden und Komponenten hinzuzufügen, um die Web-App zu erstellen.

Schritt #3: Die Bright Data-gestützte REST-API-Abfrage konfigurieren

Die Quelldaten für die Apple App Store-Überwachungs-Web-App werden mithilfe der Bright Data Scraper API gesammelt. Klicken Sie daher auf die Schaltfläche “REST API”, um die Datenquelle zu konfigurieren:

Geben Sie Ihrer API einen Namen (z. B. “AppleAppStoreScrapingAPI”) und füllen Sie den Tab “Setup” wie folgt aus:

• Methode: POST
• URL: https://api.brightdata.com/datasets/v3/scrape (Dies ist der Hauptendpunkt für Bright Data Scraper APIs im Async-Modus.)
• Header:

– Authorization: Bearer <IHR_BRIGHT_DATA_API_SCHLÜSSEL> (Erforderlich für die Authentifizierung mit Scraper APIs bei Ihrem Bright Data-Konto. Ersetzen Sie <IHR_BRIGHT_DATA_API_SCHLÜSSEL> durch Ihren tatsächlichen Bright Data API-Schlüssel.)

Diese Konfiguration teilt ToolJet mit, welchen API-Endpunkt es aufrufen soll und wie es sich authentifizieren soll.

Scrollen Sie anschließend nach unten und gehen Sie zum Tab “Params”. Fügen Sie die folgenden Abfrageparameter hinzu:

• dataset_id: gd_lsk9ki3u2iishmwrui (Dies entspricht der ID des Scraper-Endpunkts “Apple App Store, Nach URL sammeln”.)
• format: json (Stellt sicher, dass die API strukturierte JSON-Daten zurückgibt.)

Gehen Sie nun zum Abschnitt “Body”, aktivieren Sie den “Raw”-Modus und fügen Sie den zuvor im Bright Data-Kontrollpanel generierten Request-Body ein (Schritt #1):

{"input":[{"url":"https://apps.apple.com/us/app/planet-fitness/id399857015"},{"url":"https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718"},{"url":"https://apps.apple.com/us/app/crunch-fitness/id398210959"}]}

Auf diese Weise scrapt die Scraper API die richtigen Apple App Store-Apps.

Drücken Sie oben rechts auf “Ausführen”, um zu überprüfen, ob die API funktioniert. Wenn alles korrekt konfiguriert ist, sollten Sie im Abschnitt “Vorschau” dieselben Ergebnisse sehen wie am Ende von Schritt #1:

Dies bestätigt, dass Ihre ToolJet-Anwendung nun strukturierte Apple App Store-Daten auf Anfrage dynamisch über eine Bright Data Scraper API abrufen kann. Toll!

Schritt #4: Eine Tabelle zur Anzeige der abgerufenen Daten hinzufügen

Nun, da Sie die Datenquelle konfiguriert haben, müssen Sie den Frontend-Teil der Web-App erstellen. Beginnen Sie damit, eine Tabelle zur Anzeige der gescrapten Daten hinzuzufügen.

Klicken Sie im rechten Bereich der App Builder-Oberfläche auf die Schaltfläche “+” (Komponenten), wählen Sie “Tabelle” aus und ziehen Sie sie auf die Anwendungsleinwand:

Klicken Sie auf die Tabellenkomponente und öffnen Sie im rechten Panel den Tab “Eigenschaften”. Setzen Sie die Eingabedaten der Tabelle auf die Ausgabe der zuvor konfigurierten REST API, indem Sie “Datenquelle > AppAppStoreScrapingAPI” auswählen:

Legen Sie anschließend die Spalten fest, damit die Tabelle die Eingabedaten korrekt darstellen kann. Aktivieren Sie im Abschnitt “Spalten” die Option “Dynamische Spalten verwenden”:

Fügen Sie dann die folgende Konfiguration ein:

{{[
  { name: "URL", key: "url", id: "1" },
  { name: "Titel", key: "title", id: "2" },
  { name: "Untertitel", key: "sub_title", id: "3" },
  { name: "Entwicklername", key: "developer.developer_name", id: "4" },
  { name: "Entwickler-Link", key: "developer.developer_link", id: "5" },
  { name: "Top-Charts", key: "top_charts", id: "6" },
  { name: "Monetarisierungsfunktionen", key: "monetization_features", id: "7" },
  { name: "Bild", key: "image", id: "8" },
  { name: "Screenshots", key: "screenshots", id: "9" },
  { name: "Beschreibung", key: "description", id: "10" },
  { name: "Bewertung", key: "rating", id: "11" },
  { name: "Anzahl der Bewerter", key: "number_of_raters", id: "12" },
  { name: "1-Stern %", key: "reviews_star_percentage.one_stars", id: "13" },
  { name: "2-Sterne %", key: "reviews_star_percentage.two_stars", id: "14" },
  { name: "3-Sterne %", key: "reviews_star_percentage.three_stars", id: "15" },
  { name: "4-Sterne %", key: "reviews_star_percentage.four_stars", id: "16" },
  { name: "5-Sterne %", key: "reviews_star_percentage.five_stars", id: "17" },
  { name: "Rezensionen", key: "reviews", id: "18" },
  { name: "Ereignisse", key: "events", id: "19" },
  { name: "Mit Ihnen verknüpfte Daten", key: "data_linked_to_you", id: "20" },
  { name: "Anbieter", key: "seller", id: "21" },
  { name: "Kategorie", key: "category", id: "22" },
  { name: "Sprachen", key: "languages", id: "23" },
  { name: "Urheberrecht", key: "copyright", id: "24" },
  { name: "Größe (MB)", key: "size", id: "25" },
  { name: "Kompatibilität", key: "compatibility", id: "26" },
  { name: "Alterseinstufung", key: "age_rating", id: "27" },
  { name: "Preis", key: "price", id: "28" },
  { name: "In-App-Käufe", key: "In_app_purchases", id: "29" },
  { name: "Support", key: "support", id: "30" },
  { name: "Weitere Apps dieses Entwicklers", key: "more_by_this_developer", id: "31" },
  { name: "Das könnte Ihnen auch gefallen", key: "you_might_also_like", id: "32" },
  { name: "Datenschutzrichtlinie", key: "privacy_policy", id: "33" },
  { name: "Entwickler-Website", key: "developer_website", id: "34" },
  { name: "Vorgestellt in", key: "featured_in", id: "35" },
  { name: "Land", key: "country", id: "36" },
  { name: "Neueste App-Version", key: "latest_app_version", id: "37" },
  { name: "App-ID", key: "app_id", id: "38" },
  { name: "Anbieter", key: "provider", id: "39" },
  { name: "Zeitstempel", key: "timestamp", id: "40" },
  { name: "Eingabe-URL", key: "input.url", id: "41" }
]}}

Diese JSON-Darstellung entspricht dem Ausgabedatenschema, das Sie im Bright Data-Kontrollpanel sehen können (im Abschnitt “Übersicht > Wörterbuch” auf jeder Scraper-API-Seite).

Hinweis: Vergessen Sie nicht, den JSON-Ausdruck mit {{ }} zu umschließen, damit ToolJet den String korrekt als Objekt interpretiert.

Die Tabelle sollte nun beginnen, die von der Bright Data Apple App Store Scraper API abgerufenen Daten anzuzeigen:

Ausgezeichnet! Ihre Bright Data-gestützte Full-Stack-Web-App für Live-Monitoring nimmt Form an.

Schritt #5: Eine Schaltfläche für den dynamischen Datenabruf hinzufügen

Nun, da Sie eine Tabelle mit den gescrapten Daten haben, fügen Sie die Möglichkeit hinzu, diese auf Anfrage zu aktualisieren.

Beginnen Sie damit, eine Schaltflächen-Komponente hinzuzufügen und beschriften Sie sie mit “Daten aktualisieren”. Klicken Sie dann auf “Neuen Event-Handler hinzufügen” und wählen Sie das Ereignis “Bei Klick”:

Wählen Sie als Aktion “Abfrage ausführen” und wählen Sie “AppleAppStoreScrapingAPI” als auszuführende Abfrage:

Diese Konfiguration teilt ToolJet mit, die konfigurierte Bright Data Scraper API jedes Mal auszuführen, wenn der Benutzer auf die Schaltfläche klickt. Die API ruft die neuesten Apple App Store-Daten in Echtzeit ab. Da die Tabelle bereits an die Abfrage gebunden ist (die der API-Antwort entspricht), werden die aktualisierten Daten automatisch angezeigt, sobald die Abfrage abgeschlossen ist.

Um die Benutzererfahrung zu verbessern, können Sie auch zwei zusätzliche Klick-Ereignisse hinzufügen: eines, um den Ladezustand der Tabelle vor dem Start des API-Aufrufs zu aktivieren, und eines, um ihn zu deaktivieren, nachdem die neuen Daten geladen wurden.

Der Abschnitt “Ereignisse” Ihrer Schaltfläche “Daten aktualisieren” sollte wie folgt aussehen:

Hervorragend! Das Frontend Ihrer Bright Data-gestützten ToolJet-Anwendung ist nun vollständig. Jetzt müssen Sie nur noch den Workflow testen.

Schritt #6: Die Full-Stack-Web-App zur Apple App Store-Überwachung testen

Um zu überprüfen, ob die Anwendung funktioniert, klicken Sie auf die Schaltfläche “Vorschau”:

Sie können nun mit Ihrer Full-Stack-Anwendung auf einer dedizierten Vorschauseite interagieren. Anfangs zeigt die Tabelle keine Daten an.

Um den Workflow zu testen, klicken Sie auf “Daten aktualisieren”. Danach:

1. Die Tabelle tritt wie erwartet in einen Ladezustand ein.
2. Die Abfrage “AppleAppStoreScrapingAPI” wird ausgelöst und ruft die Bright Data Apple App Store API auf, um die neuesten Daten dynamisch zu scrapen.
3. Die Tabelle verlässt den Ladezustand, sobald die Anfrage abgeschlossen ist.
4. Die abgerufenen Daten werden in der Tabelle angezeigt.

Wie Sie sehen können, enthält die Tabelle nun Daten wie Bewertungspunkte, Anzahl der Bewerter und prozentuale Verteilung der Sternebewertungen. Das Ergebnis ist ein Full-Stack App Store-Überwachungstool, das jeder nutzen kann, unabhängig von technischen Kenntnissen.

Et voilà! Dies demonstriert die Stärke von ToolJet + Bright Data APIs für Web-Scraping und Echtzeit-Datenanwendungen.

Weitere ToolJet + Bright Data Anwendungsfälle

Das im vorherigen Kapitel gezeigte Beispiel ist nur einer von vielen Anwendungsfällen, die durch die Kombination ToolJet + Bright Data unterstützt werden. Lassen Sie uns einige weitere erkunden!

Markt- und Trend-Monitoring-Dashboards

Die Idee ist, Dashboards zu erstellen, die aufkommende Markttrends auf Websites, Foren und digitalen Plattformen in Echtzeit verfolgen. Bright Data sammelt und strukturiert Live-Web-Daten, während ToolJet sie in visuelle Erkenntnisse wie Diagramme, Tabellen und KPIs umwandelt. Dies ermöglicht es Unternehmensteams, schnell Nachfrageverschiebungen, neue Produktkategorien und sich veränderndes Nutzerverhalten zu identifizieren, ohne manuelle Recherche – was schnellere strategische Entscheidungen ermöglicht.

E-Commerce-Preis- und Lagerüberwachungssysteme

Unternehmen können Bright Data APIs mit ToolJet-Dashboards kombinieren, um Produktpreise, Verfügbarkeit und Variationen über mehrere E-Commerce-Plattformen hinweg zu überwachen. Die Daten werden automatisch gesammelt und normalisiert, dann in ToolJet-Apps für Beschaffungs-, Preisstrategie- oder Marktplatz-Optimierungsteams angezeigt. Dies ermöglicht dynamische Preisentscheidungen und schnellere Reaktionen auf Lagerengpässe oder Konkurrenzrabatte.

Markenreputation-Plattformen

Durch die Verwendung von Bright Data zur Erfassung von Bewertungen, Ratings und Nutzerfeedback von Plattformen wie App Stores oder Marktplätzen kann ToolJet dies in ein Live-Sentiment- und Reputationsüberwachungssystem umwandeln. Unternehmen können Bewertungstrends verfolgen, negative Ausschläge erkennen und Kundenfeedback in Echtzeit analysieren. Dies hilft Marketing- und Produktteams, schneller auf Stimmungsverschiebungen der Nutzer zu reagieren.

Lead-Generierungs- und Marktanalyse-Tools

Bright Data kann strukturierte Geschäfts- und Kontaktdaten aus Verzeichnissen, Suchmaschinen und öffentlichen Quellen sammeln, während ToolJet diese in interne Lead-Management-Tools umwandelt. Teams können Leads visuell filtern, segmentieren und priorisieren, automatisierte Anreicherungs-Workflows erstellen und die Outreach-Leistung verfolgen. Dies schafft skalierbare, datengetriebene Prospektierungssysteme für B2B-Vertriebs- und Wachstumsteams.

Fazit

In diesem Blogbeitrag haben Sie erfahren, was ToolJet ist. Sie haben auch erkannt, warum die Integration mit Bright Data Unternehmen dabei hilft, interne Daten mit aktuellen, frischen und hochwertigen Web-Daten zu ergänzen.

Wie gezeigt, erfordert die Integration dank der Bright Data APIs nur wenige Klicks. Diese unterstützen Web-Scraping, Datenentdeckung, Suche, großangelegtes Crawling und vieles mehr. Das Ergebnis ist eine Reihe von unternehmenstauglichen Web-Apps für eine Vielzahl von Anwendungsfällen, von der Marktüberwachung bis zur Markenreputation-Analyse.

Wenn Sie Hilfe bei der Bright Data-Integration in ToolJet benötigen, wenden Sie sich gerne an unser 24/7-Support-Team.

Erstellen Sie noch heute ein Bright Data-Konto und erkunden Sie unsere KI-bereiten Web-Datenlösungen!