Databricks Agent Bricks mit Bright Data’s Web MCP erweitern

In diesem Blog-Beitrag erfahren Sie:

• Was Databricks Agent Bricks ist und welchen Mehrwert es für die KI-Agenten-Entwicklung bietet.
• Warum Databricks-KI-Agenten deutlich leistungsfähiger werden, wenn sie interne Geschäftsdaten mit externer Web-Intelligence kombinieren können.
• Wie Sie einen KI-Agenten in Agent Bricks mit diesen Funktionen ausstatten, indem Sie ihn mit Bright Data’s Web MCP verbinden.

Legen wir los!

Was ist Databricks Agent Bricks?

Agent Bricks ist ein Databricks-Dienst zum Erstellen, Bereitstellen und Verwalten produktionsreifer KI-Agenten, die auf den Daten Ihres Unternehmens basieren. Durch die Kombination von Unternehmenskontext, KI-Modellen und externen Tools ermöglicht er Organisationen, zuverlässige, skalierbare und verwaltete KI-Agenten zu erstellen.

Besonders nützlich ist er für Szenarien wie Dokumentenanalyse, Kundensupport, Recherche, Workflow-Automatisierung und Business Intelligence. Die wichtigsten Funktionen sind:

• Unternehmensbewusste KI-Agenten: Nutzt Geschäftsschemata, Definitionen und semantischen Kontext, um genauere und fundiertere Antworten zu generieren.
• Mehrere Agententypen: Unterstützt Wissensassistenten, Informationsextraktions-Pipelines, Supervisor-Agenten für mehrstufige Workflows und vollständig angepasste Python-Agenten.
• Multi-Modell-Unterstützung: Zugriff auf Modelle von OpenAI, Anthropic, Google, Meta und Open-Source-Anbietern über eine einzige Plattform mit Modellwechsel- und Fallback-Logik.
• Externe Integrationen: Verbindet sich mit MCP-Servern, APIs und Unternehmenssystemen, um die Agentenfähigkeiten über interne Daten hinaus zu erweitern.
• Governance und Sicherheit: Integriert sich mit Unity Catalog, um Berechtigungen, Herkunft, Eigentümerschaft und feingranulare Zugriffssteuerung durchzusetzen.
• Evaluierung und Observability: Umfasst automatisiertes Benchmarking, LLM-als-Richter-Evaluierung und MLflow-Tracing für Debugging und Monitoring.

Warum Databricks-KI-Agenten Zugang zum Web benötigen

Unabhängig davon, welche Plattform Sie zum Erstellen verwenden, sind Unternehmens-KI-Agenten nur so leistungsfähig wie die Tools, auf die sie zugreifen können. Das liegt daran, dass alle LLMs zwei grundlegende Einschränkungen teilen:

• Begrenztes Wissen: LLMs werden auf statischen Datensätzen trainiert, die nur eine Momentaufnahme der Vergangenheit darstellen.
• Kein nativer Zugriff auf externe Systeme: Standardmäßig können LLMs nicht mit dem Web oder anderen Diensten in Ihrem Technologie-Stack interagieren.

Diese Lücke wird geschlossen, indem KI-Agenten mit Tools ausgestattet werden, typischerweise über MCP oder benutzerdefinierte Integrationen. Deshalb unterstützt Databricks Agent Bricks MCP.

Um beide Einschränkungen zu beheben, benötigen Sie ein MCP, das KI-Agenten ermöglicht, das Web zu durchsuchen, relevante Informationen zu entdecken und Inhalte von Websites zu extrahieren. Genau das bietet Bright Data’s Web MCP.

Bright Data Web MCP als Lösung

Bright Data Web MCP stellt Tools bereit, die sich mit Bright Data’s APIs verbinden. Es ist eine der offiziell unterstützten Integrationen in Databricks, was bedeutet, dass Sie es direkt im Databricks Marketplace finden können:

Im kostenlosen Rapid-Modus-Tarif (der 5.000 kostenlose Anfragen pro Monat umfasst) beinhalten die verfügbaren Web-MCP-Tools:

[Pro mode](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes) schaltet erweiterte strukturierte Extraktionsfunktionen für Plattformen wie Amazon, LinkedIn, Yahoo Finance, YouTube, Zillow, Google Maps und mehr als 40 weitere Quellen frei. Es enthält auch Tools für die Browser-Automatisierung. Entdecken Sie alle Web-MCP-Tools.

Was Bright Data auszeichnet, ist seine unternehmenstaugliche Infrastruktur, gestützt durch ein Proxy-Netzwerk mit über 400 Millionen Residential-IPs. Dies unterstützt unbegrenzte Skalierbarkeit und Parallelität bei einer Erfolgsrate von 99,95 % und einer SLA-gesicherten Betriebszeit von 99,99 %.

So verbinden Sie Databricks Agent Bricks mit Bright Data’s Web MCP

In diesem schrittweisen Kapitel werden Sie durch den Prozess der Konfiguration von Web MCP in Databricks geführt. Anschließend erfahren Sie, wie Sie es in einen Databricks-KI-Agenten in Agent Bricks integrieren, um Web-Suche, -Entdeckung und -Scraping-Funktionen zu aktivieren.

Hinweis: Wenn Sie wissen möchten, wie Sie auf Bright Data-Datensätze in Databricks zugreifen und diese abfragen können, lesen Sie stattdessen unseren dedizierten Blog-Beitrag.

Folgen Sie den nachstehenden Anweisungen!

Voraussetzungen

Um diesen Tutorial-Abschnitt abzuschließen, stellen Sie sicher, dass Sie Folgendes haben:

• Ein Databricks-Konto (eine kostenlose Testversion über Express-Setup mit konfigurierter Kreditkarte ist erforderlich).
• Ein Bright Data-Konto mit einem konfigurierten API-Schlüssel. Lesen Sie die offizielle Anleitung zum Generieren Ihres Bright Data API-Schlüssels.

Für eine reibungslosere Erfahrung wird empfohlen, dass Sie auch Folgendes haben:

• Grundlegendes Verständnis davon, wie MCP funktioniert.
• Vertrautheit mit den von Bright Data Web MCP bereitgestellten Tools.

Schritt #1: Bright Data Web MCP installieren

Melden Sie sich bei Ihrem Databricks-Konto an. Sie sollten das Startseiten-Workspace-Dashboard sehen:

Denken Sie daran, dass das Bright Data Web MCP eine offiziell unterstützte Integration ist, die im Databricks Marketplace verfügbar ist. Wählen Sie in der linken Seitenleiste die Option ‘Marketplace’ und klicken Sie dann auf ‘View MCP listings’:

Sie werden zum Databricks Marketplace weitergeleitet. Geben Sie in der Suchleiste ‘bright data’ ein und wählen Sie den Eintrag ‘The web MCP’:

Überprüfen Sie auf der Bright Data ‘The web MCP’-Seite die Details und klicken Sie auf ‘Install’, um es Ihrem Workspace hinzuzufügen:

Füllen Sie das Installationsformular mit den folgenden Details aus:

• Connection name: bright-data-web-mcp (oder der von Ihnen bevorzugte Name)
• Host: https://mcp.brightdata.com (Wichtig: Stellen Sie sicher, dass die vorgeschlagene URL mit dieser übereinstimmt)
• Base path: /mcp
• Bearer token: Fügen Sie Ihren Bright Data API-Schlüssel ein
• Credential type: Bearer token
• Port: 433

Klicken Sie abschließend auf ‘Install’, um Bright Data Web MCP über die offizielle Integration zu Ihrem Databricks-Workspace hinzuzufügen. Ausgezeichnet!

Schritt #2: Verbindungen zu Bright Data-Servern zulassen

Nach der Installation werden Sie zur Seite bright-data-web-mcp weitergeleitet. Möglicherweise stellen Sie jedoch fest, dass für den konfigurierten MCP-Server keine Tools erkannt werden:

Dies geschieht, weil Databricks ausgehende Verbindungen zu externen Domains standardmäßig blockiert, einschließlich mcp.brightdata.com (das für den Web-MCP-Server erforderlich ist).

Der zugrunde liegende technische Fehler lautet:

"Failed request to https://mcp.bringthdata.com:443/mcp. Error: Access to mcp.bringthdata.com is denied because of serverless network policy."

Um dies zu beheben, müssen Sie den Zugriff auf mcp.brightdata.com für serverlosen Ausgangs-Traffic in Ihren Databricks-Kontoeinstellungen explizit zulassen. Öffnen Sie zunächst das Workspace-Dropdown in der oberen rechten Ecke und wählen Sie ‘Manage account’:

Wechseln Sie zum Abschnitt ‘Security’, wählen Sie ‘Serverless egress control’ und klicken Sie auf ‘Create new network policy’:

Geben Sie der Richtlinie einen Namen (zum Beispiel bright-data-mcp) und wählen Sie die Option ‘Restricted access to specific destinations’. Fügen Sie dann mcp.brightdata.com als erlaubtes Ziel über die Schaltfläche ‘Add destination’ hinzu:

Aktivieren Sie die Richtlinie für alle serverlosen Databricks-Produkte und klicken Sie auf ‘Create’:

Gehen Sie dann zur Workspaces-Seite, wählen Sie Ihren Workspace und klicken Sie auf das Bearbeitungssymbol im Dropdown-Bereich ‘Networking’. Setzen Sie die Netzwerkrichtlinie auf bright-data-mcp und klicken Sie auf ‘Save’:

Kehren Sie zur Seite bright-data-web-mcp zurück und aktualisieren Sie diese. Sie sollten nun sehen, wie Databricks die Web-MCP-Tools erfolgreich lädt:

Diese Tools entsprechen den Funktionen, die Web MCP im Rapid (kostenlosen) Modus bereitstellt. Gut gemacht!

Schritt #3: Überprüfen, ob die Web-MCP-Verbindung funktioniert

Klicken Sie auf der Seite bright-data-web-mcp auf ‘Try in Playground’. Dadurch öffnet sich eine KI-Chat-Oberfläche mit dem bereits konfigurierten MCP-Server.

Stellen Sie eine einfache Frage, zum Beispiel:

Scrape the https://example.com page as Markwon

Sie sollten sehen, wie die KI autonom das Web-MCP-Tool scrape_as_markdown für die angegebene URL aufruft, um die Aufgabe zu erfüllen:

Das zurückgegebene Markdown (abgerufen über das Tool scrape_as_markdown, das von Bright Data’s Web Unlocker API unterstützt wird) stimmt mit dem auf der Zielseite sichtbaren Inhalt überein:

Dies bestätigt, dass die KI die Web-MCP-Tools korrekt verwendet und die Integration wie erwartet funktioniert. Perfekt!

Schritt #4: Ihren Databricks-KI-Agenten definieren

Um auf den Databricks Agent Bricks-Dienst zuzugreifen, klicken Sie in der linken Seitenleiste auf ‘Agents’. Fügen Sie dann einen neuen KI-Agenten hinzu, indem Sie auf ‘Create Agent’ klicken:

Sie werden aufgefordert, den Agententyp auszuwählen, den Sie erstellen möchten. Wählen Sie für dieses Tutorial ‘Supervisor Agent’:

Ein Supervisor-Agent ist ein Multi-Agenten-Orchestrierungssystem, das KI-Agenten und Tools koordiniert, um komplexere Aufgaben zu lösen.

Um Bright Data Web MCP zu verbinden, klicken Sie unter dem Abschnitt ‘Tools and subagents’ auf ‘Add an External MCP’:

Wählen Sie als Nächstes die zuvor konfigurierte Verbindung bright-data-web-mcp aus:

Ihr Agent hat nun Zugriff auf die Bright Data Web-MCP-Tools. Sie können denselben Vorgang wiederholen, um zusätzliche Tools, MCP-Server, Genie Spaces oder andere Integrationen hinzuzufügen.

In diesem Beispiel wurde der Agent auch mit ‘Bakehouse Sales Starter Space’ verbunden, einem integrierten Genie Space, das mit dem Beispiel-Delta-Datensatz samples.bakehouse verknüpft ist.

Wichtig: Richten Sie in der Produktion den Agenten so ein, dass er benutzerdefinierte Genie Spaces verwendet, die mit Ihren eigenen Databricks-Datensätzen verbunden sind. Sie sollten auch den Agentennamen, die Anweisungen und die Beschreibung anpassen, um sie besser an Ihren spezifischen Anwendungsfall anzupassen.

Großartig! Der einzige verbleibende Schritt besteht darin, Ihren Web-MCP-gestützten Databricks-KI-Agenten zu testen.

Schritt #5: Den Agenten testen

Um zu überprüfen, ob Ihr Databricks-KI-Agent korrekt funktioniert, versuchen Sie eine Aufgabe, die interne Geschäftsdaten mit externer Web-Intelligence kombiniert. Schreiben Sie zum Beispiel:

Retrieve our revenue for May 2024. Then search online for bakery industry revenue data for the same period. Scrape the most relevant sources and produce a report highlighting both internal revenue performance and external market insights, including trends, expectations, and overall industry conditions.

Führen Sie den Prompt aus, und Sie sollten etwas Ähnliches sehen:

Konkret hat der Databricks-KI-Agent:

1. ‘Bakehouse Sales Starter Space’ abgefragt, um Umsatzdaten für den angeforderten Zeitraum abzurufen.
2. Das Tool search_engine von Bright Data Web MCP aufgerufen (unterstützt durch Bright Data’s SERP-API), um relevante Suchergebnisse von Google über die Leistung der Backwarenbranche zu sammeln.
3. Die relevantesten Quellen aus den zurückgegebenen Ergebnissen identifiziert.
4. Inhalte von diesen Seiten mit dem Tool scrape_as_markdown extrahiert.
5. Externe Erkenntnisse mit internen Geschäftsdaten kombiniert, um einen einheitlichen Bericht zu erstellen.

Beachten Sie, dass die endgültige Ausgabe proprietäre Geschäftsinformationen mit aktueller Marktintelligenz verbindet. Ohne Web MCP wäre das nicht möglich, da LLMs keinen nativen Web-Zugang haben.

Web MCP schließt diese Lücke und ermöglicht es Ihrem Databricks-KI-Agenten, das Web zu durchsuchen, relevante Quellen zu entdecken und Informationen von Websites zu extrahieren, einschließlich komplexer oder geschützter Seiten. All dies läuft auf Bright Data’s unternehmenstauglicher Infrastruktur, die für Skalierbarkeit und Parallelität ausgelegt ist.

Et voilà! Dieses Beispiel kratzt nur an der Oberfläche dessen, was Sie aufbauen können. Durch die Kombination von Databricks-KI-Agenten mit Bright Data Web MCP können Sie weitaus fortschrittlichere Workflows erstellen, die interne Analysen mit Echtzeit-Web-Daten für eine Vielzahl von Anwendungsfällen integrieren.

Fazit

In diesem Tutorial haben Sie erfahren, was Databricks Agent Bricks ist und welche Funktionen es unterstützt. Insbesondere haben Sie gesehen, wie Sie einen Databricks-KI-Agenten erstellen und ihn mit Bright Data Web MCP verbinden.

Dank dieser Integration erhalten Databricks-KI-Agenten Zugang zum Web für Recherche, Fundierung, Datenanreicherung und viele andere Aufgaben. Dies hilft Ihnen, interne Databricks-Daten mit unternehmenstauglicher externer Intelligence zu kombinieren und öffnet die Tür zu tieferer und reichhaltigerer Analyse.

Für fortgeschrittene Szenarien erkunden Sie das vollständige Angebot an Bright Data-Lösungen für KI-Ökosysteme.

Erstellen Sie noch heute ein Bright Data-Konto und beginnen Sie mit KI-fähigen Web-Daten-Tools zu entwickeln!