Das größte Hindernis für das agenturgestützte Web ist immer noch das “alte Web” – dynamisch, JS-lastig, CAPTCHAs, Paywalls, Popups, Drosselung und unübersichtliches HTML, das Agenten nicht zuverlässig analysieren können. Aus diesem Grund haben wir den Web MCP entwickelt: damit Agenten auf das alte Web zugreifen und mit ihm interagieren können. Das ist auch der Grund, warum wir uns entschieden haben, den zusätzlichen Schritt zu machen und die Kernfunktionen kostenlos zur Verfügung zu stellen.
Als leitender Entwickler und Betreuer des Web-MCP von Bright Data wussten wir schon früh, dass es sich nicht um einen “normalen” MCP handelt. Die meisten MCP-Server umschließen eine einzelne SaaS/API (wie Gmail, HubSpot, GitHub), was ein ordentliches, strukturiertes Problem darstellt: ein Schema und ein Authentifizierungsmodell, vorhersehbare Eingaben und Ausgaben sowie wiederholbare Aktionen mit dokumentierten Fehlern.
Aber der Web MCP umschließt das gesamte Internet.
Es integriert sich in das offene Web, in dem jede Website ihre eigene “API” ist, Seiten clientseitig gerendert werden, unendliche Bildläufe auftreten und CAPTCHAs oder Drosselungen das Verhalten von Minute zu Minute ändern können. Web MCP absorbiert dieses Chaos mit belastbarer Navigation und Abrufen, verwalteten Sitzungen und Regionskontrolle sowie einer Extraktion, die unordentliches HTML in brauchbares JSON/Markdown umwandelt.
Was ist der Web MCP?
Mit Web MCP kann Ihr Agent das echte Web durchsuchen. Es verarbeitet JS-gerenderte Seiten und CAPTCHAs und gibt dann sauberen Text zurück, den Ihr Modell verwenden kann. Betrachten Sie es als “Internetzugang für Agenten”, verpackt in MCP-Tools.
Warum kostenlos? Der kostenlose Plan bietet Ihnen genau das, was Sie brauchen, um mit der Entwicklung und dem Testen zu beginnen, ohne dass Kosten anfallen (plus genug für Ihre tägliche Nutzung). Es umfasst 5.000 Anfragen/Monat für den Rapid-Modus, der die beiden alltäglichen Tools bereitstellt: Suchergebnisse und “Scrape as Markdown”. Das ist perfekt für die meisten Agenten, um Seiten zu finden und sie zuverlässig zu lesen.
Sie können später auf Pro upgraden, wenn Sie bereit sind für Klicks, Scrolling, Screenshots und strukturierte JSON-Extraktion (setzen Sie PRO_MODE in der lokalen Version oder fügen Sie &pro=1 in der Remote-Version hinzu).
Schnellstart & Dokumente
Geführte Tutorials
- Web Scraping mit MCP-Servern (Anleitung)
- Gemini CLI + Web MCP-Walkthrough
- OpenAI Codex CLI + Web MCP
Entwicklung eines webbasierten MCP-Servers
Während “normale” MCPs deterministische Werkzeuge über feste APIs anbieten, bietet die Web-MCP fehlertolerante Werkzeuge über ein chaotisches Internet, so dass Agenten immer noch zuverlässig handeln können. Dies richtig zu machen, bringt sowohl große technische Herausforderungen als auch echte Verantwortung mit sich.
Die Lieferung eines MCP für das gesamte Internet bedeutete, dass wir drei strenge Normen erfüllen mussten:
- Leichtgewichtig und intelligent sein – damit Sie keine Token verbrauchen, nur weil Sie sich verbinden
- Skalierbar und leistungsfähig sein, so dass es unter Produktionslast funktioniert, nicht nur für Demos
- Sicherheit und Konformität – damit Teams mit Zuversicht arbeiten können
1) Leichtgewichtig und intelligent sein (Token-Effizienz, ohne es zu vereinfachen)
Ursprünglich wurde das MCP mit mehr als 60 Tools ausgeliefert, aber die ersten Nutzer brachten uns eine wertvolle Erkenntnis: ~90 % der Agentenaufrufe verwendeten nur zwei Suchfunktionen und Scrape-as-markdown.
Typische MCPs zählen jedoch Dutzende von Werkzeugen auf. Bei MCP ist der erste Schritt /list/tools. Bei über 60 Werkzeugen kostete allein dieser Handschlag ~17.000 Token 🤯, bevor die eigentliche Arbeit erledigt war. Außerdem verwirrte es die Modelle und führte zu einer schlechten Auswahl der Werkzeuge, was die Arbeit langsamer und weniger konsistent machte.
Wir lernten, dass die Token-Kosten während des Handshakes die Benutzer weit mehr abschreckten als die Laufzeitlatenz, und dass die CAPTCHA-Behandlung ein wichtiger Faktor war: Ohne sie scheiterten einfach zu viele Seiten in der realen Welt.
Unsere Antwort: zwei Modi.
Schnellmodus (Standard)
Genau zwei Werkzeuge:
search_engine→ liefert SERP-Ergebnissescrape_as_markdown→ holt jede URL als sauberes, LLM-freundliches Markdown
Fast kein Handshake: minimale Tool-Metadaten, minimale Verwirrung
Deckt die große Mehrheit der Such- und Extraktionsaufgaben ab
Schnell und geeignet für Echtzeitanwendungen
Warum scrape_as_markdown wichtig ist
Die meisten “Web”-Integrationen enden an dieser Stelle aufgrund von CAPTCHAs und Blöcken, die im modernen Web nicht funktionieren.scrape_as_markdown:
- Funktioniert auf JS-lastigen Websites (vollständiges Rendering)
- Löst CAPTCHAs automatisch auf
- Gibt sauberes Markdown zurück, das LLMs viel besser verdauen als rohes HTML
Wenn Sie strukturiertes JSON benötigen (z. B. Produktdaten), wechseln Sie zu Pro und verwenden Sie die vertikalen Scraper.
Pro-Modus (opt-in)
- Die gesamte ~60-Tool-Oberfläche (E-Commerce, soziale Netzwerke, Nachrichten, Immobilien, Finanzen, LinkedIn/HR und mehr)
- Verwendet die Web Scraper-API von Bright Data, um strukturiertes JSON zurückzugeben, wenn der Arbeitsablauf dies erfordert
- Sie entscheiden sich dafür, wenn die vertikale Struktur die Token-Kosten rechtfertigt.
Das Ergebnis: schnellere Starts, weniger Token und zufriedenere Mitarbeiter, die das richtige Werkzeug wählen.
Wie man Pro aktiviert
- Remote/hosted: Fügen Sie
&pro=1an Ihre Verbindungs-URL an. - STDIO/self-hosted:
PRO_MODE = truesetzen
2) Skalierbar und leistungsfähig sein (für realen Datenverkehr ausgelegt)
Wir haben die Orchestrierung aus dem Hot Path herausgehalten, so dass die Anfragezeit von der Zielsite und nicht von Web MCP kommt.
Überblick über die Architektur:
- Einzelner MCP-Endpunkt mit einer zweimodalen Werkzeugoberfläche
- Headless Browser Orchestration für JS-lastige Seiten oder wenn eine Interaktion mit der Zielsite erforderlich ist
- Automatische Auflösung von CAPTCHAs und robustes Sitzungsmanagement
- Abstimmbare Gleichzeitigkeit und kontobezogene Isolierung
In der Praxis:
- Geringer Handshake-Overhead (Rapid-Modus) → minimale Startzeit
- Robustes Scraping auf realen, JS-reichen Websites
- Betrieblicher Spielraum für Batch-Aufträge und Agenten mit hoher QPS
3) Sicher und konform sein (basierend auf dem GDPR-Programm von Bright Data)
Web MCP ist ein Thin Wrapper über die APIs von Bright Data, sodass Sie die Datenschutz-, Sicherheits- und Governance-Strukturen der Plattform (GDPR/CCPA) übernehmen, anstatt die Kontrollen in Ihrem Agenten neu zu implementieren. Lesen Sie mehr in unserem Trust Center.
Sie arbeiten mit der geprüften Infrastruktur und den Richtlinien von Bright Data – dieselbe Einrichtung, die auch von Produktionskunden verwendet wird – während die MCP-Schicht minimal bleibt. Die Plattform hat sich rechtlich bewährt: Siege in Gerichtsverfahren mit Meta und X Corp. unterstützen den verantwortungsvollen Zugang zu öffentlichen Webdaten.
Was (absichtlich) nicht in Web MCP enthalten ist
Web MCP fügt keine eigenen Isolierungs-, Residenz-, PII-Redaktions- oder Ratenbegrenzungsschichten hinzu; diese Leitplanken werden von den APIs/Richtlinien von Bright Data gehandhabt und/oder sollten in Ihrem Agenten/Ihrer Anwendung entsprechend Ihrer Risikoposition implementiert werden.
Einfacher Schnellstart
from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent
client = MultiServerMCPClient({
"brightdata": {
"url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>", # add &pro=1 to opt into Pro
"transport": "sse",
}
})
tools = await client.get_tools() # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)
# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})Frei bedeutet “keine Ausreden”.
Wenn Ihr Agent nicht mit dem Live-Web verbunden ist, wird er sich bei zeitkritischen Aufgaben sicher irren. Mit der kostenlosen Version von Web MCP können Sie das noch heute beheben.
