AI

Enterprise-Grade Web-Datenzugang in DeerFlow mit Bright Data

Integrieren Sie Bright Data in DeerFlow für Enterprise-Web-Zugang und ermöglichen Sie KI-Agenten, Web-Daten zuverlässig und skalierbar zu suchen und abzurufen.
13 min lesen
DeerFlow with Bright Data

In diesem Artikel erfahren Sie:

  • Was DeerFlow ist und was es als Harness für langfristige Aufgaben bietet.
  • Warum Bright Data ideal für Web-Such- und Abruffunktionen geeignet ist.
  • Wie Bright Data über den Bright Data MCP in DeerFlow integriert wird.

Legen wir los!

Was ist DeerFlow?

DeerFlow

DeerFlow ist ein Open-Source-KI-Agenten-Harness, das von ByteDance entwickelt wurde. Es orchestriert Sub-Agenten, Speicher, Skills, Tools und Sandboxes, um komplexe Aufgaben mit KI zu bewältigen.

Sie können mit DeerFlow direkt über seine Web-App oder über Messaging-Plattformen wie Telegram und WeChat über sein Messaging-Gateway interagieren.

DeerFlow ist auf langfristige Workloads spezialisiert. Es unterstützt Anwendungsfälle wie Tiefenrecherche, Coding, Datenpipelines, Berichtserstellung und Content-Erstellung. Das Projekt ist vollständig Open-Source und zählt mehr als 79.000 GitHub-Sterne.

Hauptfunktionen

Die von DeerFlow unterstützten Kernfunktionen sind:

  • Skills und Tools: Erweiterbare Funktionen für Recherche, Berichte, Folien, Webseiten, Bildgenerierung und mehr.
  • Sub-Agenten: Erstellt spezialisierte Agenten mit isolierten Kontexten, Tools und Abbruchbedingungen für komplexe Aufgaben.
  • Sandbox-Ausführung: Gibt Agenten isolierte Umgebungen zum Lesen, Schreiben, Bearbeiten und Ausführen von Dateien und Befehlen.
  • Agentischer Browser: Ermöglicht Agenten das Navigieren auf Websites, Klicken, Tippen, Absenden von Formularen und Interagieren mit dynamischen Seiten.
  • Web-Zugang: Bietet Web-Such-, Abruf- und gerenderte Seitenerfassungs-Tools.
  • Langzeitgedächtnis: Speichert Benutzerpräferenzen, Profile und angesammeltes Wissen sitzungsübergreifend.
  • Kontext-Engineering: Fasst abgeschlossene Arbeiten zusammen und lagert Zwischenergebnisse aus, um den Kontext effizient zu verwalten.
  • MCP-Unterstützung: Verbindet externe MCP-Server, um die Tools und Fähigkeiten des Agenten zu erweitern.
  • Geplante Aufgaben: Führt wiederkehrende oder einmalige Aufgaben automatisch mithilfe von Cron-basierten Zeitplänen aus.
  • Messaging-Kanäle: Ermöglicht Benutzern die Interaktion mit Agenten über Telegram, Slack, Discord, Feishu, DingTalk, WeChat und mehr.
  • Observability: Integriert sich mit LangSmith, Langfuse und Monocle, um Agenten-Läufe, Tools und LLM-Aufrufe zu verfolgen.
  • Eingebetteter Client: Bietet einen Python-Client zur direkten Integration von DeerFlow in Anwendungen.

Weitere Informationen finden Sie in der offiziellen Dokumentation.

Bright Data als DeerFlow Web-Such- und Abruf-Engine

Unter den vielen Funktionen von DeerFlow finden Sie integrierte Web-Such- und Abruf-Tools. Diese Tools ermöglichen es dem internen KI-Agenten, nach neuen Online-Quellen zu suchen und auf deren Inhalte für Web-Grounding zuzugreifen.

Das ist essenziell, um den Wissens-Cutoff von LLMs zu überwinden. Es ermöglicht dem KI-Agenten auch, Aufgaben mit aktuellen Web-Daten für genauere Antworten auszuführen. Zur Bereitstellung der Web-Such- und Abruf-Tools integriert sich DeerFlow mit einigen SERP- und Web-Such-API-Lösungen wie Firecrawl, Brave und DuckDuckGo.

Diese Anbieter sind jedoch möglicherweise nicht immer für den Enterprise-Einsatz geeignet. Es kann ihnen an Unterstützung für mehrsprachige Suchen, mehrere Suchmaschinen oder zuverlässigen Zugang zu Websites ohne Blockierung fehlen. Einigen fehlen möglicherweise auch CAPTCHA-Lösungen und ein großes IP-Proxy-Netzwerk.

Genau hier kann Bright Data helfen!

Bright Data hebt sich von DeerFlows integrierten Web-Anbietern durch seine globale Infrastruktur ab, die mehr als 400 Millionen Residential-IPs umfasst. Diese Architektur bietet die Skalierbarkeit, Anti-Bot-Fähigkeiten und Leistung, die für reale Web-Daten-Workflows benötigt werden. Sie unterstützt unbegrenzte Parallelität, bietet 99,99 % Verfügbarkeit und erreicht eine Erfolgsrate von 99,95 %.

Bright Data MCP als Lösung

Der einfachste Weg, DeerFlow mit Bright Datas Web-Tools zu verbinden, ist über den Bright Data MCP.

Der Bright Data MCP bietet mehr als 70 Tools, die alle von Bright Datas API-basierten Produkten unterstützt werden. Selbst im Rapid-Modus (kostenloser Tarif mit 5.000 Anfragen pro Monat) erhalten Sie nützliche Tools für Web-Suche, Web-Scraping und Quellenerkennung:

Tool Beschreibung
search_engine + spezielle Version für parallele Anfragen (search_engine) Ruft Ergebnisse von Suchmaschinen wie Google, Bing, Yandex und mehr ab.
scrape_as_markdown + spezielle Version für parallele Anfragen (scrape_batch) Konvertiert Webseiten in sauberes Markdown und bewältigt dabei Bot-Schutz.
discover Führt KI-gestützte Suchen durch und gibt gerankte, relevante Web-Ergebnisse zurück.

Um auf alle 70+ Tools zuzugreifen, müssen Sie den Pro-Modus aktivieren. Dies schaltet strukturierte Datenextraktions-Tools für Plattformen wie Amazon, LinkedIn, Instagram, YouTube, Zillow und Google Maps sowie 40+ weitere Websites frei. Es enthält auch Browser-Automatisierungs-Tools, die von Bright Datas Browser-API unterstützt werden.

So integrieren Sie den Bright Data MCP in DeerFlow

In diesem Schritt-für-Schritt-Abschnitt erfahren Sie, wie Sie den Bright Data MCP in DeerFlow einrichten.

Die Bright Data-Integration gibt DeerFlow-KI-Agenten die Möglichkeit, das Web zu durchsuchen, neue Quellen zu entdecken, Webseiten zu scrapen und mit Web-Inhalten zu interagieren, ohne sich um Anti-Bot-Blockierungen sorgen zu müssen.

Folgen Sie den nachstehenden Schritten!

Voraussetzungen

Um diesem Tutorial-Abschnitt zu folgen, stellen Sie sicher, dass Sie Folgendes haben:

Obwohl nicht zwingend erforderlich, wird auch empfohlen, Folgendes zu haben:

Schritt #1: DeerFlow installieren

Erstellen Sie einen Ordner für Ihre DeerFlow-Installation, starten Sie darin eine lokale Coding-Agenten-Sitzung und führen Sie den folgenden Prompt aus:

Help me clone DeerFlow if needed, then bootstrap it for local development by following https://raw.githubusercontent.com/bytedance/deer-flow/main/Install.md

Dies ist der einfachste Weg, DeerFlow zu installieren.

Der Coding-KI-Agent lädt die Markdown-Datei mit den Installationsanweisungen aus dem DeerFlow-Repository herunter. Dann folgt er ihnen, um DeerFlow lokal zu installieren und zu konfigurieren.

Wenn Ihnen Voraussetzungen fehlen, stellt der Agent die Befehle bereit, die Sie zur Installation benötigen. Führen Sie diese Befehle in einem anderen Terminalfenster aus und setzen Sie dann das Gespräch mit Ihrem KI-Agenten fort.

Am Ende des Prozesses sollten Sie eine Ausgabe ähnlich dieser sehen:

Die vom KI-Agenten nach der DeerFlow-Installation erzeugte Ausgabe

Ihr Installationsordner sollte nun ein DeerFlow-Projekt mit einer Struktur ähnlich dieser enthalten:

<your_deerflow_installation_folder>
├── backend/
├── contracts/
├── deploy/
├── docker/
├── docs/
├── frontend/
├── logs/
├── plans/
├── pr-build/
├── scripts/
├── skills/
├── temp/
├── tests/
├── AGENTS.md
├── CHANGELOG.md
├── CHANGELOG_zh.md
├── CLAUDE.md
├── CODE_OF_CONDUCT.md
├── CONTRIBUTING.md
├── Install.md
├── LICENSE
├── Makefile
├── README.md
├── README_fr.md
├── README_ja.md
├── README_ru.md
├── README_zh.md
├── RELEASING.md
├── SECURITY.md
├── config.example.yaml
├── deer-flow.code-workspace
└── extensions_config.example.json

Zwei besonders wichtige Dateien sind:

  • extensions_config.example.json: Eine JSON-Beispieldatei zur Konfiguration von DeerFlow-Erweiterungen über MCP-Server oder Skills.
  • config.example.yaml: Eine Beispiel-Konfigurationsdatei zum Einrichten von LLM-Integrationen, Skill-Verzeichnissen und vielen anderen Optionen, mit denen Sie das Verhalten des DeerFlow-KI-Agenten anpassen können.

Gut gemacht! DeerFlow ist jetzt lokal installiert.

Schritt #2: DeerFlow konfigurieren

Führen Sie nun im DeerFlow-Installationsordner den folgenden Befehl aus, um den Harness zu konfigurieren:

make setup
DeerFlow-Setup starten

Dies startet einen interaktiven CLI-Setup-Assistenten, der Sie durch mehrere Konfigurationsschritte führt. Der erste ist die Wahl eines LLM-Anbieters.

Hinweis: DeerFlow empfiehlt dringend die Verwendung von Doubao-Seed-2.0-Code, DeepSeek V3.2 und Kimi 2.5.

Hier sehen Sie jedoch, wie DeerFlow mit OpenAI integriert wird. Beginnen Sie damit, “OpenAI” als Ziel-LLM-Anbieter auszuwählen:

OpenAI-Anbieter auswählen

Fahren Sie fort, indem Sie ein Modell wählen (z. B. gpt-5-mini). Geben Sie dann Ihren OpenAI API-Schlüssel ein. DeerFlow verwendet dann das ausgewählte OpenAI-Modell, um seinen KI-Agenten anzutreiben.

Als Nächstes werden Sie gefragt, ob Sie optional eines der integrierten Web-Such- und Abruf-Tools konfigurieren möchten:

Web-Such- und Abruf-Konfiguration überspringen

Wählen Sie in beiden Fällen die Option “Jetzt überspringen”, da der Bright Data MCP diese Funktionalität bereitstellen wird.

Fahren Sie fort, indem Sie eine Ausführungs- und Sicherheitsrichtlinie auswählen. Sie können auch optional einen IM-Kanal integrieren. Am Ende generiert der Setup-Prozess eine minimale config.yaml-Datei, die zum Starten von DeerFlow erforderlich ist, und speichert Ihre API-Schlüssel in .env.

Wunderbar! Sie sind jetzt bereit, DeerFlow zu starten.

Schritt #3: DeerFlow-Frontend starten

Führen Sie im DeerFlow-Installationsordner den folgenden Befehl aus, um die Frontend- und Backend-Abhängigkeiten zu installieren:

make install

Starten Sie dann einen lokalen Entwicklungsserver mit:

make dev

Sie sollten eine Ausgabe ähnlich dieser erhalten:

Die Ausgabe des Befehls 'make dev'

DeerFlow wird nun lokal ausgeführt mit:

  • Gateway: Das Backend der Anwendung, läuft auf Port 8001
  • Frontend: Läuft auf Port 3000, mit einem Reverse-Proxy, der von Nginx auf Port 2026 verwaltet wird.

Um auf das DeerFlow-Frontend zuzugreifen, öffnen Sie die folgende URL in Ihrem Browser:

http://localhost:2026

Sie sollten Folgendes sehen:

Die Ansicht von 'http://localhost:2026'

Beachten Sie, dass das lokale Frontend dieselbe Benutzeroberfläche verwendet wie die offizielle DeerFlow-Website.

Klicken Sie auf “Get Started with 2.0”, um auf Ihren DeerFlow-Arbeitsbereich zuzugreifen. Beim ersten Zugriff auf den Arbeitsbereich werden Sie aufgefordert, ein Admin-Konto zu erstellen.

Füllen Sie das Anmeldeformular aus, um Ihr lokales Konto zu erstellen:

Das Formular zur Erstellung eines lokalen DeerFlow-Kontos

Melden Sie sich dann an, um den DeerFlow-Arbeitsbereich zu erreichen:

Das DeerFlow-Frontend

Von hier aus können Sie mit dem DeerFlow-Agenten interagieren und die konfigurierten MCP-Server, Skills, IM-Kanäle und andere Einstellungen erkunden. Erstaunlich!

Schritt #4: Den Bright Data MCP kennenlernen

Bevor Sie den Bright Data MCP mit DeerFlow verbinden, überprüfen Sie, ob der MCP-Server auf Ihrem Rechner läuft.

Beginnen Sie damit, das Bright Data MCP-Paket global über das @brightdata/mcp npm-Paket zu installieren:

npm install -g @brightdata/mcp

Überprüfen Sie, ob der MCP-Server korrekt startet, mit:

API_TOKEN="<YOUR_BRIGHT_DATA_API>" npx -y @brightdata/mcp

Ersetzen Sie <YOUR_BRIGHT_DATA_API> durch Ihren Bright Data API-Schlüssel. Dies setzt die erforderliche Umgebungsvariable API_TOKEN und startet den Bright Data MCP-Server lokal. Weitere Details finden Sie in der Bright Data MCP-Dokumentation.

Wenn alles korrekt eingerichtet ist, sollten Sie Startprotokolle ähnlich diesen sehen:

Startprotokolle des Bright Data MCP

Beachten Sie, dass das @brightdata/mcp-Paket beim ersten Ausführen automatisch zwei APIs in Ihrem Bright Data-Konto erstellt:

  • mcp_unlocker: Verbindet sich mit der Bright Data Web Unlocker API (und SERP-API).
  • mcp_browser: Verbindet sich mit der Bright Data Browser-API.

Diese APIs unterstützen die 70+ Tools, die über den Bright Data MCP verfügbar sind. Sie können auch benutzerdefinierte APIs konfigurieren, wie im offiziellen Repository beschrieben.

Um zu bestätigen, dass die Standard-APIs erfolgreich erstellt wurden, öffnen Sie “Web Access > Web Access API” im Bright Data-Kontrollpanel. Beide APIs sollten in der Tabelle “My APIs” erscheinen:

Beachten Sie die beim Start vom Bright Data MCP erstellten APIs 'mcp_unlocker' und 'mcp_browser'

Standardmäßig startet der Bright Data MCP im Rapid-Modus (kostenloser Tarif), der Zugang zu einer begrenzten Auswahl an Tools bietet. Um alle 70+ Tools zu aktivieren, wechseln Sie in den Pro-Modus, indem Sie die Umgebungsvariable PRO_MODE=true setzen:

API_TOKEN="<YOUR_BRIGHT_DATA_API>" PRO_MODE="true" npx -y @brightdata/mcp

Hinweis: Der Pro-Modus [verursacht zusätzliche Kosten](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes).

Ausgezeichnet! Sie wissen jetzt, dass der Bright Data MCP lokal funktioniert. Als Nächstes verbinden Sie ihn mit DeerFlow.

Schritt #5: Den Bright Data MCP in DeerFlow konfigurieren

Sie können eine MCP-Server-Verbindung in DeerFlow über die Datei extensions_config.json konfigurieren.

Erstellen Sie zunächst eine Kopie der in Ihrer Installation enthaltenen Beispiel-Konfigurationsdatei:

cp extensions_config.example.json extensions_config.json

Die Beispieldatei enthält Konfigurationen für die GitHub- und PostgreSQL-MCP-Server. Entfernen Sie diese und stellen Sie sicher, dass der Abschnitt mcpServers Folgendes enthält:

{
  // ...
  "mcpServers": {
    "bright-data-web-mcp": {
      "enabled": true,
      "command": "npx",
      "args": [
        "@brightdata/mcp"
      ],
      "env": {
        "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>",
        "PRO_MODE": "true"
      }
    }
  },
  // ...
}

Dies teilt DeerFlow mit, wie es sich mit einer lokalen Bright Data MCP-Server-Instanz (genannt bright-data-web-mcp) verbinden soll. Im Detail weist es an, den Befehl npx -y @brightdata/mcp zusammen mit diesen zwei Umgebungsvariablen zu verwenden:

  • API_TOKEN (erforderlich): Setzen Sie dies auf Ihren Bright Data API-Schlüssel.
  • PRO_MODE (optional): Setzen Sie es auf true, um den Pro-Modus zu aktivieren. Setzen Sie es auf false oder entfernen Sie PRO_MODE=true, um eine Bright Data MCP-Verbindung im Rapid-Modus einzurichten.

Beachten Sie die Einstellung "enabled": true, um die MCP-Server-Verbindung zu aktivieren.

Speichern Sie extensions_config.json. DeerFlow hat jetzt alles, was es braucht, um den Bright Data MCP-Server lokal zu starten und sich damit zu verbinden. Toll!

Schritt #6: Überprüfen, ob die Verbindung funktioniert

Beenden Sie den aktuellen DeerFlow-Prozess und starten Sie ihn neu mit:

make dev

Klicken Sie in der Workspace-Web-App auf “Settings and more” in der unteren linken Ecke und wählen Sie “Settings”:

Auswahl der Option 'Settings and More > Settings'”/></figure>
<p class=Das Modal “Settings” wird angezeigt. Gehen Sie zum Abschnitt “Tools”, wo Sie den konfigurierten bright-data-web-mcp-Server sehen:

Beachten Sie den MCP-Server 'bright-data-web-mcp'

Wie konfiguriert, ist die Bright Data MCP-Verbindung bereits aktiviert.

DeerFlow bietet derzeit keine Möglichkeit, die von einem MCP-Server verfügbaren Tools anzuzeigen. Starten Sie daher einen neuen Chat und geben Sie einen Prompt wie diesen ein:

Which Bright Data MCP tools do you have access to? 

Wenn Sie den Bright Data MCP im Pro-Modus konfiguriert haben, erhalten Sie eine Antwort ähnlich dieser:

Beachten Sie die verfügbaren Bright Data MCP-Tools

Beachten Sie, wie alle 70+ Tools aufgelistet werden, die vom Bright Data MCP bereitgestellt werden. Wenn Sie den Rapid-Modus verwenden, gibt der KI-Agent stattdessen nur die in diesem Modus verfügbaren Tools zurück.

Fantastisch! Dies bestätigt, dass der DeerFlow-KI-Agent auf die Bright Data MCP-Tools zugreifen kann.

Schritt #7: Die Integration testen

Zeit zu überprüfen, ob die von Bright Data über seinen MCP bereitgestellten Funktionen korrekt integriert und in DeerFlow zugänglich sind. Dazu müssen Sie dem KI-Agenten eine Aufgabe geben, die Web-Erkennung und Web-Scraping erfordert.

Nehmen Sie zum Beispiel an, Sie möchten einige Paper zu einem bestimmten Thema (in diesem Fall MCP selbst) entdecken und den DeerFlow-KI-Agenten diese analysieren lassen.

Vergessen Sie nicht, dass DeerFlow mit einem integrierten academic-paper-review-Skill für die wissenschaftliche Paper-Analyse ausgeliefert wird:

Beachten Sie den Skill 'academic-paper-review'

Mal sehen, ob der KI-Agent Bright Data MCP-Tools verwenden kann, um Paper aus dem Web zu beziehen und darauf zuzugreifen.

Um das zu überprüfen, bitten Sie den Agenten, eine Aufgabe wie diese auszuführen:

Search the web for the most recent papers (last 12 months) on arXiv related to MCP (Model Context Protocol). Select the 5 most relevant papers and scrape their Markdown content from their HTML pages. Review and summarize the papers using the /academic-paper-review skill, then produce a final report highlighting the most interesting insights, findings, and criticisms.

Folgendes sollte passieren:

Prompt-Ausführung

Zunächst zeigte der KI-Agent ein Formular an, in dem Sie Folgendes angeben können:

  • Das zu suchende Schlüsselwort (empfohlen: “MCP” und “Model Context Protocol”).
  • Den Zeitraum (empfohlen: “12 Monate”).
  • Die Quellen, aus denen Paper bezogen werden sollen (empfohlen: “arXiv”).
  • Die Anzahl der Paper (empfohlen: “5”).

Sobald Sie das Formular ausfüllen und die Daten absenden, startet der KI-Agent die Aufgabe. Fantastisch!

Schritt #8: Den Agenten-Lauf und die Ausgabe analysieren

Um besser zu verstehen, was der DeerFlow-KI-Agent getan hat, erweitern Sie das Schritte-Dropdown:

Die vom DeerFlow-KI-Agenten zur Aufgabenerledigung durchgeführten Schritte

Während des Laufs hat der KI-Agent:

  1. Den academic-paper-review-Skill geladen.
  2. Das Bright Data MCP discover-Tool verwendet, um nach Papern zu “MCP” und “Model Context Protocol” zu suchen.
  3. Die HTML-Seiten-URL für jedes arXiv-Paper abgerufen.
  4. Die fünf Paper mit dem scrape_as_markdown-Tool über Bright Datas Web Unlocker API gescrapt.
  5. Die Paper mit dem geladenen Skill überprüft und die Analyse in einem abschließenden Markdown-Bericht konsolidiert.

Scrollen Sie durch den erstellten Bericht und Sie werden sehen:

Der vom DeerFlow-KI-Agenten erstellte Bericht

Beachten Sie, wie der DeerFlow-KI-Agent für jedes Paper eine Zusammenfassung, Hauptbeiträge, Stärken, Schwächen, Methodenbewertung, Fragen an die Autoren und Empfehlungen erstellt hat. Der Bericht wird auch durch direkte Links zu den Papern unterstützt und enthält eine gründliche Analyse mit Bewertungen, die aus DeerFlows academic-paper-review-Skill abgeleitet wurden.

Et voilà! Dies beweist, dass Bright Data korrekt in DeerFlow integriert ist und als Quelle für Web-Suche, Entdeckung, Web-Scraping und viele andere webbasierte Funktionen dienen kann.

Fazit

In diesem Blogbeitrag haben Sie gelernt, was DeerFlow ist und wie es KI-Agenten ermöglicht, langfristige Aufgaben zu bewältigen. Insbesondere haben Sie erkundet, wie es mit dem Bright Data MCP als Quelle für Enterprise-Grade-Tools für den Web-Zugang verbunden wird.

Wie hier demonstriert, kann die Bright Data-Integration die integrierten Web-Such- und Abrufoptionen von DeerFlow vollständig ersetzen. Dies bietet produktionsreife, skalierbare und hochzuverlässige Tools für den Zugriff auf Webseiten und die Interaktion mit ihnen, ohne blockiert zu werden.

Registrieren Sie sich noch heute kostenlos für ein Bright Data-Konto und erkunden Sie unsere KI-fähigen Web-Produkte!