Erweitern Sie Ihren Code mit Bright Data MCP für Echtzeit-Webzugriff

In diesem Leitfaden erfahren Sie:

• Was das Model Context Protocol (MCP) ist und warum es für KI-Agenten wichtig ist
• Wie Sie den MCP-Server von Bright Data mit Augment Code konfigurieren
• Wie Sie Websuche, Markdown-Scraping und SERP-API-Tools verwenden
• Wie Sie mit dem Scraping-Browser durch dynamische Websites navigieren
• Wie Sie KI-Codierung mit Live-Webdaten für praktische Workflows kombinieren

Bevor Sie sich mit der Einrichtung befassen, ist es hilfreich, die beiden Technologien zu verstehen, die Sie miteinander verbinden werden.

Was ist das Model Context Protocol (MCP)?

MCP ist eine standardisierte Methode für KI-Modelle, um sich mit externen Tools und Datenquellen zu verbinden. Stellen Sie sich MCP als USB-C-Anschluss für LLMs vor. So wie Sie mit USB-C jedes Peripheriegerät mit einem einzigen Standard an jedes Gerät anschließen können, ermöglicht MCP KI-Modellen die Verbindung mit jeder Datenquelle oder jedem Tool über ein einheitliches Protokoll.

Vor MCP bedeutete die Verbindung eines LLM mit externen Tools, dass für jede Kombination individuelle Integrationen erstellt werden mussten. Möchten Sie, dass Ihr Claude-basierter Agent das Internet durchsucht? Erstellen Sie eine Integration. Wechseln Sie zu GPT? Erstellen Sie eine neue Integration. Fügen Sie eine neue Datenquelle hinzu? Mehr individueller Code.

MCP beseitigt diese Komplexität. Es definiert eine Standardmethode für KI-Modelle, um externe Tools zu finden, aufzurufen und Ergebnisse von ihnen zu empfangen. Erstellen Sie einmal einen MCP-Server, und jeder MCP-kompatible Client kann ihn verwenden.

Weitere technische Details finden Sie in unserem Leitfaden zu MCP-Servern für Web-Scraping.

Nachdem Sie nun verstanden haben, wie MCP die Verbindungen zwischen Tools standardisiert, werfen wir einen Blick auf den KI-Codierungsassistenten, den Sie mit Webzugriff verbessern werden.

Was ist Augment Code?

Augment Code ist ein KI-Codierungsassistent, der für große, komplexe Codebasen entwickelt wurde. Im Gegensatz zu Tools, die sich auf die zeilenweise Autovervollständigung konzentrieren, indexiert Augment Code Ihr gesamtes Projekt und versteht dateiübergreifende Abhängigkeiten.

Das entscheidende Unterscheidungsmerkmal ist die sogenannte Context Engine. Anstatt nur ein großes Kontextfenster (über 200.000 Tokens) anzubieten, indexiert sie aktiv Ihre Codebasis und behält den Überblick über die Architektur Ihres Projekts. Bitten Sie sie, eine Funktion zu refaktorisieren, und sie identifiziert, welche anderen Dateien diese Funktion importieren und aktualisiert werden müssen.

Wichtige Funktionen

• Vollständige Indizierung der Codebasis. Augment indiziert Ihr gesamtes Projekt, einschließlich Abhängigkeiten über mehrere Repositorys hinweg. Fragen ziehen relevanten Kontext aus beliebigen Stellen Ihrer Codebasis.
• Agent-Modus. Über Chat und Autovervollständigung hinaus kann Augment selbstständig mehrstufige Aufgaben ausführen. Sie können Augment anweisen, allen API-Aufrufen eine Fehlerbehandlung hinzuzufügen, und Augment wendet diese dann Datei für Datei auf Ihre Codebasis an.
• IDE-Flexibilität. Funktioniert mit VS Code, allen JetBrains-IDEs (IntelliJ, PyCharm, WebStorm), Vim/Neovim und bietet ein CLI-Tool namens Auggie für Terminal-Workflows.
• Sicherheitszertifizierungen. SOC 2 Typ II-zertifiziert und ISO/IEC 42001-konform.

Augment Code ist hervorragend darin, Ihre Codebasis zu verstehen, hat jedoch eine wesentliche Einschränkung: Es kann nicht sehen, was im Live-Web geschieht. Hier kommt Bright Data ins Spiel.

Warum Bright Data MCP mit Augment Code kombinieren?

Das Kontextfenster und die Agent-Funktionen von Augment Code machen es effektiv bei komplexen, mehrstufigen Aufgaben. Aber es kann nicht selbstständig auf das Live-Web zugreifen. Es kann nicht überprüfen, ob sich ein API-Endpunkt letzte Woche geändert hat, aktuelle Bibliotheksversionen verifizieren oder eine Wettbewerbsanalyse durchführen.

Der MCP-Server von Bright Data schließt diese Lücke. Der MCP-Server bietet über 60 Tools für den Webzugriff. Laut der Dokumentation von Bright Data umfasst dies den Zugriff auf über 150 Millionen Residential-IPs in 195 Ländern.

Wenn Sie diese verbinden, erhalten Sie:

Die Scraping-Browser-Tools verdienen Beachtung. Im Gegensatz zu einfachen Fetch-Anfragen steuern diese Tools einen echten Browser, der JavaScript-Rendering, Anmeldeabläufe, unendliches Scrollen und mehrstufige Navigation verarbeitet. Dies ist wichtig für agentenbasierte Systeme, die mit modernen Webanwendungen interagieren müssen.

Als ich diese Konfiguration zum ersten Mal testete, bat ich Augment zu überprüfen, ob die OpenAI-API kürzlich Änderungen an ihrer Ratenbegrenzung vorgenommen hatte. Innerhalb von etwa acht Sekunden rief es die aktuelle Dokumentation ab, verglich sie mit meiner lokalen Cache-Datei und meldete, dass sich die Token-pro-Minute-Begrenzung für den GPT-4-Turbo-Endpunkt geändert hatte. Diese einzige Abfrage bewahrte mich davor, Code zu implementieren, der in der Produktion an die Ratenbegrenzung gestoßen wäre.

Nachdem die Vorteile nun klar sind, wollen wir uns den eigentlichen Einrichtungsprozess ansehen.

Bright Data mit Augment Code verbinden

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

• Node.js 18+ installiert
• Augment Code-Erweiterung in VS Code (oder Ihrer bevorzugten IDE) installiert
• Ein Bright Data-Konto (Einrichtung wird weiter unten beschrieben)

Machen Sie sich keine Sorgen, wenn Sie noch keinen Bright Data API-Token haben. Im nächsten Abschnitt zeigen wir Ihnen, wie Sie einen erstellen können.

Schritt 1: Erstellen Sie Ihr Bright Data-Konto und erhalten Sie einen API-Token

Um loszulegen, benötigen Sie ein Bright Data-Konto und einen API-Token für die Authentifizierung beim MCP-Server. Dies dauert etwa zwei Minuten.

1. Gehen Sie zu brightdata.com und klicken Sie auf „Gratis testen“, um Ihr Konto zu erstellen.
2. Sobald Sie sich im Dashboard angemeldet haben, navigieren Sie zu „Einstellungen“ (das Zahnrad-Symbol) in der linken Seitenleiste und klicken Sie dann auf „API-Token“.
3. Klicken Sie auf „Token erstellen“ und geben Sie ihm einen aussagekräftigen Namen, z. B. „Augment Code MCP“.
4. Kopieren Sie Ihren neuen Token und bewahren Sie ihn sicher auf. Sie benötigen ihn für den nächsten Schritt.

Schritt 2: Konfigurieren Sie Bright Data MCP in Augment Code

In diesem Tutorial wird die Augment Code-Erweiterung für Visual Studio Code verwendet.

Augment unterstützt drei Methoden zum Hinzufügen von MCP-Servern: Easy MCP (Ein-Klick-Einrichtung), die GUI des Einstellungsfensters und den JSON-Import. Wir verwenden den JSON-Import, da er die vollständige Kontrolle über die Konfigurationsoptionen bietet.

1. Öffnen Sie VS Code und klicken Sie auf das Augment Code-Symbol in Ihrer Aktivitätsleiste (linke Seitenleiste).
   
2. Klicken Sie im Augment-Fenster auf das Zahnrad-Symbol (Einstellungen) in der oberen rechten Ecke. Dadurch wird die Einstellungsseite von Augment in einem neuen Tab geöffnet.
3. Klicken Sie auf den Abschnitt „MCP-Server“.
4. Klicken Sie auf „Import from JSON“ (Aus JSON importieren).
   
   Jetzt können Sie Ihre Konfiguration einfügen. Kopieren Sie die folgende JSON-Datei und ersetzen Sie <YOUR_API_TOKEN> durch den Bright Data-Token, den Sie in Schritt 1 erstellt haben:

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": ""
      }
    }
  }
}

Starten Sie VS Code neu, um sicherzustellen, dass der MCP-Server ordnungsgemäß initialisiert wird. Anschließend hat Ihr Augment vollen Zugriff auf die Web-Scraping-Infrastruktur von Bright Data.

Alternative: Remote-Server-Konfiguration

Wenn Sie nichts lokal ausführen möchten, können Sie sich über SSE (Server-Sent Events) direkt mit dem gehosteten Server von Bright Data verbinden:

{
  "mcpServers": {
    "Bright Data": {
      "url": "https://mcp.brightdata.com/sse?token=&pro=1",
      "type": "sse"
    }
  }
}

Dieser Remote-Ansatz erfordert keinerlei lokale Einrichtung. Der MCP-Server läuft vollständig auf der Infrastruktur von Bright Data, was nützlich sein kann, wenn Sie auf einem Rechner arbeiten, auf dem Sie keine npm-Pakete installieren können oder lokale Abhängigkeiten minimieren möchten.

Schritt 3: Überprüfen Sie die Verbindung

Um die Verbindung zu überprüfen, lassen Sie uns zunächst sicherstellen, dass alles funktioniert, bevor wir uns mit den erweiterten Funktionen befassen.

1. Öffnen Sie das Augment Code-Fenster in VS Code, indem Sie auf das Augment-Symbol in der Aktivitätsleiste klicken.
2. Starten Sie einen neuen Chat und geben Sie eine einfache Anfrage ein, die einen Webzugriff erfordert, z. B.:

„Suche im Internet nach ‚Python 3.13 neue Funktionen‘ und fasse die wichtigsten Ergebnisse zusammen.“

4. Beobachten Sie, wie Augment Code das Tool „search_engine“ aufruft und die aktuellen Suchergebnisse zurückgibt.
   

Wenn Sie Suchergebnisse aus dem Live-Web sehen, herzlichen Glückwunsch! Ihre Bright Data MCP-Verbindung funktioniert.

Wenn Sie Augment Code auffordern, das Internet zu durchsuchen, läuft dies wie folgt ab:

1. Augment Code analysiert Ihre Anfrage und stellt fest, dass Webdaten benötigt werden.
2. Der MCP-Client (in Augment integriert) fragt den Bright Data MCP-Server nach verfügbaren Tools ab
3. Der MCP-Server gibt die Tool-Liste zurück, einschließlich search_engine
4. Augment Code ruft search_engine mit Ihrer Anfrage auf
5. Bright Data führt die Suche mithilfe seiner SERP-API durch und übernimmt dabei automatisch das Geo-Targeting und die Anti-Bot-Maßnahmen
6. Die Ergebnisse werden über MCP an Augment Code zurückgesendet, der sie für Sie formatiert

Dieser gesamte Vorgang dauert nur wenige Sekunden. Sie müssen Ihre IDE nicht verlassen.

Nachdem die Verbindung überprüft wurde, können Sie nun erkunden, was diese Tools tatsächlich leisten können.

Verwendung der klassischen Bright Data MCP-Tools

Nachdem die Verbindung hergestellt ist, wollen wir uns nun die grundlegenden Tools ansehen, die sowohl im Rapid-Modus (kostenlos) als auch im Pro-Modus funktionieren.

Websuche mit search_engine

Das Tool search_engine fragt Google, Bing oder Yandex ab und gibt strukturierte Ergebnisse zurück. Es eignet sich perfekt für:

• Recherche der aktuellen API-Dokumentation, wenn Sie die neuesten Endpunkte benötigen
• Suche nach aktuellen Tutorials oder Stack Overflow-Antworten für unbekannte Bibliotheken
• Überprüfen der aktuellen Versionen von Paketen, bevor Sie Abhängigkeiten hinzufügen
• Sammeln von Wettbewerbsanalysen zu ähnlichen Produkten oder Dienstleistungen

Wenn Sie Augment beispielsweise anweisen:

Suche nach den neuesten bahnbrechenden Änderungen in Next.js 15 und liste sie auf

Augment Code ruft search_engine auf, verarbeitet die Ergebnisse und gibt Ihnen eine Zusammenfassung der wesentlichen Änderungen mit Quellenangaben. Ein Wechseln zwischen Registerkarten ist nicht erforderlich.

Für Batch-Suchen (bis zu 10 Abfragen gleichzeitig) schaltet der Pro-Modus search_engine_batch frei.

Page Scraping mit scrape_as_markdown

Wenn Sie den vollständigen Inhalt einer bestimmten Seite benötigen, ruft scrape_as_markdown diesen ab und konvertiert den HTML-Code in sauberes Markdown. Dieses Tool verwendet die Web Unlocker- Technologie, um CAPTCHAs und Anti-Bot-Maßnahmen automatisch zu umgehen.

Beispielaufforderung:

Scrape die Stripe-API-Dokumentation unter https://stripe.com/docs/api und erkläre deren Authentifizierungsmethoden

Das Tool gibt den Seiteninhalt als Markdown zurück, den Augment Code analysiert und zusammenfasst. Sie erhalten die benötigten Informationen, ohne die umfangreiche Dokumentation manuell durchlesen zu müssen.

Strukturierte Daten mit Webdaten-APIs

Bei beliebten Plattformen ist das manuelle Parsing von HTML nicht erforderlich. Der Pro-Modus enthält vorgefertigte Extraktoren, die sauberes, strukturiertes JSON zurückgeben.

Beispielaufforderung:

Rufen Sie die Produktdetails für dieses Amazon-Angebot ab: https://www.amazon.com/dp/B0CHX3QBCH

Das Tool „web_data_amazon_product“ gibt strukturierte Daten wie Titel, Preis, Bewertungen, Rezensionen und Spezifikationen zurück. Es ist kein Parsing-Code erforderlich.

Die verfügbaren Extraktoren decken mehr als 60 Plattformen ab, darunter:

• E-Commerce: Amazon, Walmart, eBay, Etsy, Best Buy, Google Shopping
• Soziale Medien: LinkedIn, Instagram, Facebook, TikTok, X/Twitter, YouTube, Reddit
• Wirtschaft: Crunchbase, ZoomInfo, Zillow, Google Maps
• Finanzen: Yahoo Finance, Reuters

Die vollständige Liste finden Sie in der Dokumentation zu den MCP-Tools.

Da mehrere Tools zur Verfügung stehen, können Sie effizienter arbeiten, wenn Sie wissen, welches Tool Sie in verschiedenen Situationen einsetzen sollten.

Das richtige Tool auswählen

Unterschiedliche Tools eignen sich für unterschiedliche Situationen. Verwenden Sie diese Tabelle, um das richtige Tool auszuwählen:

Faustregel: Beginnen Sie mit dem einfachsten Tool, das funktionieren könnte. Wechseln Sie nur dann zur Browser-Automatisierung, wenn einfachere Methoden fehlschlagen.

Selbst wenn Sie das richtige Tool ausgewählt haben, können gelegentlich Probleme auftreten. Hier erfahren Sie, wie Sie die häufigsten Probleme diagnostizieren und beheben können.

Fehlerbehebung bei häufigen Problemen

Haben Sie Probleme? Hier finden Sie Lösungen für die häufigsten Probleme:

Fehler „Tool nicht gefunden”

Wenn Augment Code die Bright Data-Tools nicht finden kann, überprüfen Sie zunächst, ob Ihr API-Token korrekt ist und nicht abgelaufen ist. Überprüfen Sie als Nächstes, ob die MCP-Konfiguration ordnungsgemäß gespeichert wurde, und starten Sie Augment Code vollständig neu, anstatt es nur neu zu laden. Wenn das Problem weiterhin besteht, überprüfen Sie die Augment-Protokolle auf Verbindungsfehler.

Langsame Antworten

Die Browser-Automatisierung dauert naturgemäß länger als einfaches Scraping. Wenn die Antworten also langsam erscheinen, gibt es einige Dinge zu beachten. Das Rendern von JavaScript dauert seine Zeit, da der Scraping-Browser Seiten vollständig rendern muss, bevor er mit ihnen interagieren kann. Komplexe Seiten mit vielen interaktiven Elementen erfordern größere Snapshots, was ebenfalls die Verarbeitungszeit erhöht.

Für einfachere Seiten, die keine Interaktion erfordern, sollten Sie scrape_as_markdown als schnellere Alternative in Betracht ziehen.

Ratenbegrenzung

Wenn Sie Ratenbeschränkungen erreichen, überprüfen Sie zunächst Ihre Nutzung im Bright Data-Dashboard. Sie können auch die Umgebungsvariable RATE_LIMIT in Ihrer Konfiguration anpassen, um die Anforderungshäufigkeit besser zu verwalten. Für anspruchsvolle Projekte, die höhere Limits erfordern, sollten Sie ein Upgrade Ihres Plans in Betracht ziehen.

Über technische Probleme hinaus gibt es bei der Verbindung von KI-Agenten mit dem Internet Sicherheitsaspekte zu beachten.

Bewährte Sicherheitsverfahren

Bei der Verbindung von KI-Agenten mit dem Internet ist Sicherheit ein wichtiger Faktor. Beachten Sie die folgenden Grundsätze:

• Behandeln Sie gescrapte Inhalte als nicht vertrauenswürdig. Führen Sie niemals Code von gescrapte Seiten aus und übergeben Sie keine Rohdaten an eval().
• Verwenden Sie strukturierte Extraktion, wenn verfügbar. Die web_data_*-Tools geben validiertes JSON zurück, wodurch das Risiko von Injektionen im Vergleich zum Parsing von Roh-HTML reduziert wird.
• Speichern Sie API-Token sicher. Verwenden Sie Umgebungsvariablen und keine fest codierten Werte in Ihrem Code.
• Überprüfen Sie die Aktionen des Agenten. Überwachen Sie die Aktivitäten Ihres Agenten, insbesondere in Produktionsumgebungen.

Mit diesen Vorgehensweisen sind Sie bereit, mit der Entwicklung zu beginnen.

Fazit

Der MCP-Server von Bright Data verwandelt Augment Code von einem codeorientierten Assistenten in einen webbasierten Agenten, der in der Lage ist, Echtzeitinformationen zu sammeln. Mit über 60 Tools für Suche, Scraping, Browser-Automatisierung und strukturierte Extraktion (unterstützt durch über 150 Millionen Residential-IPs und eine Erfolgsquote von 99,95 %) kann Ihr KI-Coding-Assistent nun:

• Aktuelle Dokumentationen und Live-APIs recherchieren
• automatisch Wettbewerbsanalyse durchführen
• Komplexe Datenerfassungs-Workflows automatisieren
• Navigieren Sie mit mehrstufigen Interaktionen durch dynamische Websites

Die Scraping-Browser-Tools sind besonders leistungsstark für agentenbasierte Systeme. Mithilfe von ARIA-Snapshots und stabilen Elementreferenzen verarbeitet Ihr Agent Anmeldeabläufe, mehrstufige Formulare und dynamische Inhalte, die einfachere Scraping-Ansätze überfordern würden.

Sind Sie bereit, Ihrem KI-Coding-Assistenten Echtzeit-Webzugriff zu gewähren?

Weitere fortgeschrittene Techniken finden Sie in unseren Anleitungen zum Erstellen von KI-Agenten mit LlamaIndex und zur Integration von MCP in CrewAI.