Automatisierte Web-Datenpipelines in Nexla Express mit Bright Data’s Web MCP erstellen

In diesem Artikel erfahren Sie:

• Was Nexla Express ist und was es bietet.
• Warum die Verbindung mit Bright Data’s Web MCP es leistungsstärker macht.
• Wie man Bright Data’s Web MCP in Express integriert, um Web-Datenpipelines zu erstellen.

Legen wir los!

Was ist Nexla Express?

Nexla Express, oder einfach Express, ist eine agentische Enterprise-Datenintegrationsplattform. Sie ermöglicht den Aufbau von Datenpipelines, indem man sie in einfachem Englisch beschreibt, anstatt Code zu schreiben oder Infrastruktur zu verwalten.

Express verbindet sich mit APIs, Datenbanken und Dateien und übernimmt automatisch Ingestion, Transformation und Deployment. Es entfällt der Bedarf an ETL-Skripten, Schema-Mapping und Infrastrukturverwaltung.

Typische Anwendungsfälle umfassen den Aufbau von Analytics-Pipelines, die Synchronisierung von Daten zwischen Systemen und die Vorbereitung von Datensätzen für Berichte. Es ermöglicht schnelleres Liefern, reduziert den Engineering-Aufwand und erlaubt den Fokus auf Produktentwicklung, Erkenntnisse und Geschäftsentscheidungen statt auf Datenpflege.

Warum Express mit Web-MCP-Funktionen erweitern?

Viele Geschäftsprozesse hängen von Informationen ab, die nicht in internen Datenbanken oder Data-Warehouse-Systemen vorhanden sind. Beispiele sind aktuelle Nachrichten, Marktsignale und Wettbewerber-Preisdaten. Diese Daten stammen aus dem öffentlichen Web und spielen eine Schlüsselrolle bei Analysen und Entscheidungen.

Dies schafft zwei wesentliche Herausforderungen:

• Eingeschränkter Zugang zu aktuellen externen Daten: Traditionelle Datenpipelines arbeiten hauptsächlich mit internen Quellen und haben oft keinen direkten Zugriff auf aktuelle Web-Informationen.
• Schwierigkeit bei der Erfassung von Web-Daten im großen Maßstab: Moderne Websites verwenden Anti-Bot-Schutzmaßnahmen, dynamische Inhalte und komplexe Browser-Interaktionen, die eine zuverlässige Web-Datenerfassung erschweren.

Diese Einschränkungen lassen sich durch die Erweiterung von Express um externe Funktionen überwinden. Deshalb unterstützt die Plattform MCP-Integrationen.

Durch die Integration von Bright Data Web MCP erhält Express beispielsweise Zugang zu Live-Websuche, Website-Erkennung, Web-Scraping und Browser-Automatisierungsfunktionen. So können Pipelines Unternehmensdaten mit Echtzeit-Informationen aus dem Web kombinieren.

Web MCP stellt über 70 Tools für Web-Datenerfassung, -erkennung und -automatisierung bereit. Nach der Verbindung mit Nexla Express stehen diese Tools in Konversationen zur Verfügung und können in generierte Pipelines eingebunden werden.

Alle diese Tools laufen auf Bright Data’s globalem Netzwerk von über 400 Millionen Residential-IPs mit Abdeckung in 195 Ländern. Diese Infrastruktur ist für Enterprise-Workloads ausgelegt und erreicht eine Erfolgsrate von 99,95 %, eine Verfügbarkeit von 99,99 % und unbegrenzte Skalierbarkeit.

So verbinden Sie Bright Data Web MCP mit Express für Web-Datenpipelines

In diesem Abschnitt erfahren Sie, wie Bright Data’s Web MCP Express die Möglichkeit gibt, enterprise-fähige, skalierbare Web-Datenpipelines zu erstellen.

Folgen Sie den nachstehenden Anweisungen!

Voraussetzungen

Stellen Sie vor den nächsten Schritten sicher, dass Sie Folgendes haben:

• Ein Nexla Express-Konto (der kostenlose Plan reicht aus).
• Ein Bright Data-Konto mit einem konfigurierten API-Schlüssel. Folgen Sie der offiziellen Anleitung zur Generierung Ihres Bright Data API-Schlüssels.

Obwohl nicht zwingend erforderlich, verbinden wir auch eine Snowflake-Datenbank, um das Beispiel realistischer zu gestalten. Beachten Sie, dass Sie jede andere von Express unterstützte Datenquelle verwenden können.

Im Detail verwenden wir den Datensatz “AI Training Dataset from Wikipedia“, der von Bright Data kostenlos auf Snowflake bereitgestellt wird. Wir behandeln ihn als interne Wissensbasis, die als primäre Quelle in der Web-Datenpipeline dient.

Es ist auch hilfreich, mit der Funktionsweise von MCP und den vom Web-MCP-Server bereitgestellten Tools vertraut zu sein.

Schritt 1: Erste Schritte mit Web MCP

Bevor Sie Ihren Airia-Agenten erstellen, holen Sie sich die Verbindungs-URL, die Airia für den Zugriff auf den Remote-Web-MCP-Server verwendet.

Hinweis: Der Bright Data Web MCP Remote-Server ist für Enterprise-Szenarien konzipiert. Er unterstützt unbegrenzte Skalierbarkeit und gleichzeitige Verbindungen, genau wie alle anderen Bright Data-Dienste.

Machen Sie sich zunächst mit dem Standard-Web-MCP-Remote-Verbindungs-URL-Format vertraut:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

Ersetzen Sie <YOUR_BRIGHT_DATA_API_KEY> durch Ihren tatsächlichen Bright Data API-Schlüssel. Der Parameter token authentifiziert Anfragen und verknüpft sie mit Ihrem Bright Data-Konto. Der Parameter &pro=1 in der URL ist optional:

• Ohne &pro=1: Sie erhalten nur Zugang zu den kostenlosen Tools im Rapid-Modus (bis zu 5.000 Anfragen pro Monat).
• Mit &pro=1: Sie erhalten Zugang zum vollständigen Katalog mit 70+ Tools und erweiterten Funktionen. Es gelten die Standard-Nutzungsgebühren von Bright Data.

Wenn Sie mehr Kontrolle wünschen, z. B. nur bestimmte Tools oder Tool-Gruppen aktivieren möchten, generieren Sie eine benutzerdefinierte MCP-Verbindungs-URL direkt über das Bright Data-Dashboard.

Melden Sie sich bei Ihrem Bright Data-Konto an und rufen Sie die Seite “AI Gateways > MCP” auf. Folgen Sie dem Setup-Assistenten, um Ihren MCP-Server zu konfigurieren und eine benutzerdefinierte Web-MCP-Verbindungs-URL zu generieren:

Kopieren Sie die resultierende “Streamable HTTP”-Verbindungs-URL oder erstellen Sie sie mit dem oben beschriebenen Format. Sie verwenden sie im nächsten Schritt, um Bright Data Web MCP mit Ihrer Express-Pipeline zu verbinden. Gut gemacht!

Schritt 2: Web-MCP-Verbindung in Nexla Express hinzufügen

Melden Sie sich bei Express an und wählen Sie “Explore MCPs” aus dem linken Menü. Klicken Sie auf der Seite “MCP STORE” auf die Schaltfläche “Add Custom MCP”:

Füllen Sie anschließend das Formular “Add MCP Server” aus, indem Sie Ihre Web-MCP-Verbindungs-URL in das Feld “SERVER URL” einfügen:

Klicken Sie auf “Connect”, und Express stellt eine Verbindung zum Bright Data Web MCP-Server her. Großartig!

Schritt 3: Überprüfen, ob die Integration funktioniert

Sie sollten nun sehen, wie Nexla Express eine Verbindung zum Web-MCP-Server herstellt und Zugang zu 70+ Tools erhält (oder einer eingeschränkten Teilmenge im Rapid-Modus, wenn Sie den Parameter pro=1 weggelassen haben):

Um sicherzustellen, dass die Tools tatsächlich für den konversationellen Agenten von Nexla Express verfügbar sind, klicken Sie im linken Menü auf den Eintrag “New Chat”:

Verbinden Sie dann den MCP, indem Sie auf das Symbol “Add MCP” klicken und die Option “mcp.brightdata.com” auswählen:

Führen Sie anschließend einen Prompt wie diesen aus:

Which Bright Data Web MCP tools do you have access to?

Die Antwort listet alle verfügbaren Tools zusammen mit einer Beschreibung ihrer jeweiligen Funktion auf:

Dies bestätigt, dass Express erfolgreich auf die Bright Data Web MCP-Tools zugreifen kann, die vom Remote-MCP-Server bereitgestellt werden. Fantastisch!

Schritt 4: Eine Web-Datenpipeline erstellen

Schreiben Sie im mit Web MCP verbundenen Express-Chat einen Prompt wie folgt:

Connect to my Snowflake instance and retrieve the full record from the Wikipedia table in the AI_TRAINING_DATASET_FROM_WIKIPEDIA database where the "Title" field equals "FIFA World Cup".
Given the retrieved record, scrape the Wikipedia article URL to fetch the latest version of the article in Markdown format.
Then, compare the freshly retrieved content with the version stored in Snowflake and generate a report that:
- Summarizes the key differences between the stored and current versions.
- Highlights any added, removed, or significantly modified sections.
- Identifies major content updates, factual changes, or structural changes.
Present the results in a clear, structured report.

Dies ist ein hervorragendes Beispiel, da es Datenabruf aus einem Enterprise-Data-Warehouse mit Live-Web-Scraping kombiniert. Passen Sie den Prompt in einem realen Szenario an Ihre spezifischen Geschäftsziele an.

Das erwartete Verhalten ist eine End-to-End-Pipeline, die Wikipedia-Inhalte extrahiert, anreichert und auf Unterschiede prüft. Sie verbindet sich mit Snowflake für den statischen Datenabruf und verwendet Bright Data Web MCP-Tools für das Scraping aktueller Wikipedia-Daten.

Führen Sie den Prompt aus, und Nexla Express generiert ein Formular, in das Sie die erforderlichen Snowflake-Verbindungsdetails eingeben können. Füllen Sie das Formular aus und klicken Sie auf “Connect”:

Nexla Express richtet dann eine aktive Datenquelle ein, die den Zugriff auf Ihre Snowflake-Daten ermöglicht.

Es ruft den angeforderten Datensatz aus der Datenbank ab, einschließlich aller Spalten:

Anschließend liest es die Seiten-URL (aus der Spalte url) und scrapt sie mit dem Bright Data-Tool scrape_as_markdown (das auf Bright Data’s Web Unlocker API basiert). Nach der Analyse des Seiteninhalts vergleicht es ihn mit den in Snowflake gespeicherten Daten und erstellt einen detaillierten Vergleichsbericht:

Dies ist nur ein Beispiel, aber derselbe Workflow kann verwendet werden, um in Ihrer Datenbank gespeicherte Daten kontinuierlich mit strukturierten Live-Scraping-Funktionen von Web MCP zu aktualisieren oder sie mit aktuellen Web-Daten anzureichern.

Ohne Zugang zu Bright Data Web MCP-Tools wäre ein reguläres LLM nicht in der Lage, diese Aufgabe zu erfüllen. Mission erfüllt!

Schritt 5: Die Ausgabe erkunden

Das Endergebnis ist eine visuelle Web-Datenpipeline, die den beschriebenen Prozess darstellt. Beachten Sie, dass Sie die Pipeline planen oder manuell ausführen können, um den Bericht zu generieren:

Express verwandelt Ihren konversationellen Chat in eine wiederholbare Web-Datenpipeline, die von Bright Data betrieben wird.

Die Ausgabe dieser Pipeline ist ein detaillierter Bericht, der statische Daten in Ihrem Data Warehouse mit aktuellen Web-Daten vergleicht:

Der nächste Schritt könnte sein, das Gespräch fortzusetzen und Nexla Express zu bitten, die aktualisierten Daten zurück in Snowflake zu schreiben. Sie könnten es auch für Snapshot- oder Anreicherungs-Workflows nutzen. Das Ergebnis dieses neuen Prompts aktualisiert auch die generierte Pipeline.

Et voilà! Dies demonstriert die Web-Zugriffs-, Scraping- und Erkennungsfunktionen, die Web MCP in Nexla Express bietet. Dieses Beispiel ist einfach, aber Nexla Express + Bright Data Web MCP ermöglicht viele weitere Enterprise-Anwendungsfälle.

Fazit

In diesem Blogbeitrag haben Sie erfahren, was Express ist und was es als konversationeller KI-Pipeline-Builder bietet. Insbesondere haben Sie gesehen, wie man es mit Bright Data Web MCP verbindet, um Daten-Workflows mit direktem Web-Zugriff zu erstellen.

Web-MCP-Tools ermöglichen es Express-Pipelines, Web-Daten zuverlässig in großem Maßstab über viele Websites hinweg zu suchen, zu entdecken und zu scrapen. Sie ermöglichen auch die automatische Interaktion mit Webseiten und machen es möglich, vollständige Browser-Automatisierungs-Workflows zu erstellen.

Wenn Sie Probleme mit der Web-MCP-Integration in Express haben, mehr erfahren möchten oder Unterstützung benötigen, wenden Sie sich an Bright Data’s 24/7-Support-Team.

Erstellen Sie noch heute kostenlos ein Bright Data-Konto und beginnen Sie mit der Integration KI-fähiger Web-Datenlösungen!