Such-APIs geben Ihrem Agenten schnellen Zugriff auf Web-Daten. Doch für Produktions-Workloads reicht schneller Zugriff nicht aus, wenn die zugrundeliegenden Daten veraltet oder unvollständig sind. Ihr Agent berichtet auf Basis dessen, was er erhält.
Angenommen, ein Wettbewerber ändert seine Preisseite über Nacht. Ihr Agent erkennt die Seite, gibt aber eine gecachte Zusammenfassung von vor Stunden zurück. Er kann den eigentlichen Seiteninhalt nicht lesen, nicht mit der Preishistorie vergleichen und nicht die nicht offensichtlichen Quellen finden, die die Strategie hinter der Änderung zeigen.
TL;DR:
Such-APIs funktionieren für Prototypen. Produktions-KI-Agenten stoßen an 5 strukturelle Grenzen: Aktualität, Trefferquote, vollständige Inhalte, Durchsatz und historische Baselines. Eine Wissens-Lieferkette löst diese Probleme.
- Such-APIs liefern gecachte Snippets. Produktionsagenten benötigen absichtsrangierte Ergebnisse mit vollständigen Seiteninhalten.
- Google schränkt den SERP-basierten Datenzugriff ein. Ein einzelner SERP-Pfad ist ein einzelner Ausfallpunkt.
- Bright Data SERP-API, Web Unlocker und Datensätze bilden eine 3-schichtige Wissens-Lieferkette.
- Beide Architekturen werden mit ausführbarem Code und echten Ausgaben verglichen. Entscheidungsrahmen und Referenztabelle am Ende.
Such-API vs. Wissens-Lieferkette: wichtige Definitionen
Die Kategorie der Such-APIs existiert, weil Trainingsdatensätze nicht ausreichten. Chatbots und Agenten brauchten Live-Zugriff auf Web-Daten. Live-Daten zu erhalten ist nur das erste Problem. Das schwierigere Problem ist, sie mit ausreichender Tiefe, Aktualität und Überprüfbarkeit zu erhalten, um Entscheidungen zu unterstützen – nicht um Fragen zu beantworten.
Zwei Begriffe definieren die Infrastrukturentscheidung. Hier ist, was jeder in der Praxis bedeutet.
Such-API:
Eine Such-API ist ein Endpunkt, der eine Anfrage akzeptiert und eine rangierte Liste von URLs und/oder Seitenzusammenfassungen aus einem bestehenden Suchindex zurückgibt. Sie ist auf niedrige Latenz und einfache Integration optimiert. Die Ausgabe ist ein Schnappschuss dessen, was aktuell indexiert ist, der den Live-Zustand des Webs zum Anfragezeitpunkt widerspiegeln kann oder nicht.
Wissens-Lieferkette:
Eine Wissens-Lieferkette ist die End-to-End-Infrastruktur, die ein KI-Agent nutzt, um Web-Daten kontinuierlich zu erfassen, zu verifizieren und mit Kontext anzureichern. Sie kombiniert Live-Entdeckung, vollständige Seiteninhalt-Extraktion, produktionsskaligen Durchsatz und historische Datensätze. Jede Schicht löst ein anderes Problem: Aktualität, Abdeckung, Überprüfbarkeit, Parallelität und Auswertung. Kein einzelner API-Aufruf. Eine Architektur.
Die beiden Ansätze unterscheiden sich in drei Dimensionen:
| Such-API | Wissens-Lieferkette | |
|---|---|---|
| Modell | Einzelaufruf, Schnappschuss-basiert | Mehrschichtig, Pipeline-basiert |
| Optimiert für | Geschwindigkeit | Beweisqualität |
| Ausgabe | Rangierte Links + Zusammenfassungen | Verifizierte Inhalte + Kontext + Historie |
Die Unterscheidung ist wichtig, weil, wie TinyFish-CEO Sudheesh Nair es formulierte: “Suche ist eine Abkürzung, die um menschliche Einschränkungen herum gebaut wurde”. Menschen brauchen 10 blaue Links, weil sie nur eine begrenzte Anzahl von Ergebnissen verarbeiten können. Agenten brauchen das Internet nicht auf eine Top-10-Liste komprimiert. Sie brauchen die Inhalte hinter diesen Links, verifiziert und in Kontext gesetzt.
Eine weitere Definition: Marktbewusste Agenten. Das sind Agenten, die Entscheidungen treffen, die Umsatz, Risiko oder Betrieb betreffen: Preisintelligenz, Wettbewerbsreaktion, regulatorisches Monitoring, Lieferkettenüberwachung. Sie benötigen überprüfbare Grundwahrheiten, keine plausiblen Zusammenfassungen.
Nur 11 % der Organisationen haben derzeit produktive Deployments autonomer KI-Agenten (Deloitte Tech Trends 2026). Dennoch sind bereits 97 % der Organisationen, die KI mit öffentlichen Web-Daten aufbauen, auf Echtzeit-Web-Infrastruktur angewiesen (Data for AI 2026). Diese Lücke ist das Problem. Die Infrastrukturentscheidungen, die jetzt getroffen werden, bestimmen, welche Agenten erfolgreich sind und welche selbstsicher klingende Antworten liefern, die niemand prüfen kann.
Wenn der schlimmste Fall einer falschen Antwort ist, dass ein Nutzer die Anfrage wiederholt, ist eine Such-API in Ordnung. Wenn der schlimmste Fall ist, dass Ihr Team auf Basis falscher Informationen handelt, brauchen Sie eine Wissens-Lieferkette.
Wo Such-APIs glänzen (und warum das wichtig ist)
Such-APIs wie Tavily liefern in bestimmten Kontexten echten Mehrwert:
Latenz unter einer Sekunde. Wenn Reaktionszeit ein UX-KPI ist (interaktiver Chat, agentenseitige Tool-Aufrufe, bei denen der Nutzer wartet), sind Such-APIs genau dafür gemacht. Der Proxyway Search API Report 2026 bestätigte, dass indexbasierte Anbieter mediane Antwortzeiten unter 0,4 Sekunden erreichen. Für viele Anwendungsfälle hat Geschwindigkeit Priorität.
Minimale Integrationsreibung. Native LangChain-Unterstützung, gut dokumentierte Endpunkte. Für einen Entwickler, der Web-Suche in einem Prototyp benötigt, dauert die Integration nur Minuten.
Stark für Prototypen und einfache Q&A. Such-APIs eignen sich gut für RAG-Demos, interne Chatbots und risikoarme Anreicherungs-Workflows. Tavily bietet speziell zitierfähige Ausgaben und Quellenglaubwürdigkeits-Scoring – nützlich, wenn Sie Quellenangaben in Ihrer Agentenausgabe benötigen.
Niedrige Kosten bei geringem Umfang. Bei $0,008 pro Credit (Tavily-Preisgestaltung) ist die Hürde zum Experimentieren nahezu null.
Wenn Sie einen Prototyp, einen Chatbot oder einen einfachen Q&A-Workflow erstellen, ist eine Such-API das richtige Werkzeug. Die Einschränkungen zeigen sich, wenn die Anforderungen höher werden.
Die Grenzen: Fünf Lücken, auf die Such-APIs im Produktionsmaßstab stoßen
Die folgenden Lücken sind strukturelle Einschränkungen, keine Kritik an Such-APIs. KI-Agenten brauchen nicht die vollständige SERP. Anzeigen, Widgets und mobile Layouts tragen nichts zu einer Wissensabfrage bei.
Der Proxyway SERP-API-Report bestätigte, dass Fast-APIs die SERP liefern, aber nicht die dahinterliegenden Seiten, während Index-APIs Seiten aus einem vorab erstellten Korpus zurückgeben, der hinter dem Live-Web zurückbleiben kann. Keine Architektur allein löst das Problem.
Lücke 1: Aktualität – gecachte Indizes liefern veraltete Grundwahrheiten
Such-APIs erreichen ihre Latenz-Ziele durch Caching und Vor-Indexierung. Sie erben eine Architektur, die die a16z-Analyse “Search Wars” als “primär für Menschen optimiert” beschrieb – nicht für die Agenten-Workflows, die jetzt davon abhängen.
Diese Benchmarks dokumentierten die resultierende Drei-Stufen-Aufteilung: Full-APIs scrapen in Echtzeit (P95 über 5 Sekunden). Fast-APIs geben SERP-Kernelemente schnell zurück (medianer Wert 0,6–0,7 Sekunden). Index-APIs bedienen aus einem vorab gescrapten Korpus (P50 unter 0,4 Sekunden), bei dem “der Datenkopus veraltet oder unvollständig sein kann”.
Für Preisintelligenz, Richtlinienüberwachung oder aktuelle Nachrichten sind gecachte Ergebnisse falsche Ergebnisse. Beim Bright Data Web Discovery Summit 2026 beschrieben Referenten das Problem in Bezug auf die Datenhalbwertszeit: Social-Media-Daten verlieren innerhalb von Minuten oder Stunden an Relevanz. Nicht-soziale Web-Daten (Preisseiten, Stellenangebote, Produktkataloge) verfallen innerhalb von Tagen. Ein Suchindex, der gestern aktualisiert wurde, liefert möglicherweise bereits Daten jenseits seiner nützlichen Halbwertszeit.
Die Preisseite änderte sich über Nacht, aber der Suchindex wird sie erst beim nächsten Crawl widerspiegeln. Ihr Agent berichtet selbstsicher auf Basis veralteter Daten. Und das Problem wird schlimmer.
Google verschlechtert aktiv den SERP-basierten Datenzugriff. KI-Agenten “interessieren sich nicht fürs Anschauen, und sie interessieren sich sicherlich nicht fürs Anzeigenkaufen” (SERP-API-Report, 2026). Das ist eine direkte Bedrohung für das Anzeigenmodell.
Derselbe Report dokumentierte, dass SearchGuard die Scraping-Kosten um etwa das 10-Fache erhöhte. Der Parameter &num=100 wurde vollständig entfernt. Im Dezember 2025 klagte Google einen SERP-API-Anbieter nach dem DMCA an und forderte $200–$2.500 pro Umgehungsakt (Proxyway SERP-API-Report, 2026). Die Aktualitätslücke wird schlimmer, da Google den Zugang einschränkt.
Wenn Ihr einziger Datenpfad von einem Suchindex abhängt, haben Sie ein Zuverlässigkeitsproblem. Bright Data ruft den aktuellen Zustand des Webs zum Anfragezeitpunkt über mehrere Erfassungsmethoden ab – nicht nur durch Scraping von Suchergebnissen. Es steht kein einzelner Index zwischen Ihrem Agenten und der Grundwahrheit.
Lücke 2: Trefferquote – Snippets aus einem Suchindex reichen nicht aus
Such-APIs geben Snippets aus einem Suchindex zurück. Die Ergebnisse werden nach dem eigenen Algorithmus des Index gerankt, optimiert für Schlüsselwortanfragen – nicht für die spezifische Absicht hinter der Recherche-Aufgabe eines Agenten. Für einen Chatbot funktioniert das. Für einen Wettbewerbsanalyse-Agenten treten zwei Probleme auf.
Erstens entsprechen schlüsselwortrangierte Ergebnisse möglicherweise nicht dem, was ein Recherche-Agent tatsächlich benötigt. Auf demselben Summit beschrieben Diskussionsteilnehmer, wie ein produktiver Deep-Research-Aufruf basierend auf frühen Ranking-Signalen 10.000 URLs berücksichtigen kann. Der Agent liest 5–30 % davon und zitiert schließlich 1–5 % in der endgültigen Antwort.
Eine Such-API gibt zurück, was der Index für Ihre Schlüsselwörter am höchsten gerankt hat. Sie filtert nicht nach der spezifischen Absicht hinter der Aufgabe Ihres Agenten.
Zweitens sind die zugrundeliegenden Daten zunehmend unzugänglich. Eine Web-Scraping-Branchenumfrage 2026 ergab, dass der Datenzugang bei Top-Sites branchenübergreifend stark zurückging: eCommerce fiel von 9 von 10 zugänglichen Sites im Jahr 2020 auf 4 von 10.
Social-Media-Zugang fiel von 4 von 5 auf 0 von 5. Immobilien von 10 von 10 auf 3 von 10. Ganze Kategorien des Webs werden über standardmäßigen Datacenter-Zugang unerreichbar.
Bright Datas SERP-API adressiert die erste Hälfte: Sie scrapt Google, Bing, Yandex, Baidu, DuckDuckGo, Yahoo und Naver in Echtzeit aus einem von 195 Ländern, sodass Ihr Agent nie von der Lesart eines einzelnen Index einer einzelnen Anfrage abhängig ist. Die zweite Hälfte ist überhaupt kein Ranking-Problem. Ranking kann eine Quelle nur an die Oberfläche bringen; sie zu erreichen ist separate Arbeit, und genau dort beißen die obigen Zugangszahlen. Web Unlocker ruft die Seite ab, ob sie über standardmäßigen Datacenter-Zugang erreichbar ist oder nicht.
Die wichtigsten Signale in der Wettbewerbsanalyse sind selten auf Seite eins. Sie befinden sich im Long Tail: eine Stellenausschreibung, die einen neuen Markteintritt zeigt, eine Händlerliste mit einer nicht angekündigten SKU, ein Forum-Thread, in dem ein Support-Mitarbeiter eine Roadmap bestätigte. Diese erscheinen selten in einer Top-10-SERP-Antwort.
Lücke 3: Ihr Agent sieht Zusammenfassungen, nicht den Quellinhalt
Such-APIs sind von Natur aus zusammenfassungsorientiert. Sie geben standardmäßig extrahierte Snippets und Beschreibungen zurück – nützlich als Überblick. Aber Zusammenfassungen sind kein überprüfbarer Beweis.
Perfektes Denkvermögen plus schlechte Suche produziert dennoch Halluzinationen. Ein KI-Suche-Evaluierungs-Framework zeigte, dass die LLM-Denkkapazität bereits das übertrifft, was die meisten Suchsysteme zurückgeben. Der Engpass sind die Daten, nicht das Modell.
Für marktbewusste Agenten ist der Preis keine falsche Chatbot-Antwort. Es ist eine falsche Geschäftsentscheidung.
Ein Agent, der eine wichtige Entscheidung trifft, benötigt den tatsächlichen Quelltext, nicht eine Paraphrase davon. Auf demselben Event bemerkte ein Enterprise-Käufer, der Agenten entwickelt, dass die reichhaltigsten Inhalte, die seine Kunden wollen (LinkedIn-Posts, Twitter-Threads), nicht das sind, was SERP-Ergebnisse zurückgeben. Stattdessen sind die Top-Ergebnisse Blog-Posts, die auf diese Inhalte verweisen. Vollständige Extraktion aus Primärquellen ist wichtiger als die Qualität des Such-Rankings.
Vollständige Inhalte sind aus einem weiteren Grund wichtig: Das Web wird zunehmend synthetisch. Auf einer Web-Data-Branchenkonferenz 2025 demonstrierte Forscher Domagoj Maric, dass 10.000 gefälschte Bot-Kommentare für $2 generiert werden können. Ohne vollständige Inhaltsverifizierung kann Ihr Agent echte Bewertungen nicht von fabrizierten Inhalten unterscheiden. In einer Web-Scraping-Branchenumfrage 2026 nannten Fachleute, die KI-Tools verwenden, Halluzinationen als Top-Anliegen.
Wenn jemand fragt, wie Ihr Agent zu einer Schlussfolgerung gelangt ist, benötigen Sie den tatsächlichen Inhalt mit einem Zeitstempel. Ein Snippet reicht für eine Prüfung nicht aus.
Bright Data Web Unlocker gibt bereinigten vollständigen Seiteninhalt in Markdown zurück. Im Live-Test unten gab er 26.758 Zeichen von der eigenen Preisseite des Anbieters in 2,2 Sekunden zurück: den tatsächlichen Quelltext, nicht eine Paraphrase davon.
Lücke 4: Durchsatz – RPM-Obergrenzen schaffen versteckte Architekturschulden
Such-APIs erzwingen Rate-Limits. Tavily begrenzt beispielsweise auf 1.000 RPM (Anfragen pro Minute) in seinem Produktionsplan. Für einen einzelnen Agenten, der eine einzelne Recherche-Aufgabe ausführt, ist das in Ordnung. Aber betrachten Sie eine Flotte gleichzeitiger Agenten, die Tausende von Recherche-Aufgaben parallel ausführen: Wettbewerbsmonitoring für Hunderte von Konkurrenten, Preisüberwachung über Dutzende von Märkten, regulatorische Prüfungen in mehreren Jurisdiktionen. Bei 1.000 RPM sind Sie gezwungen, Paginierungslogik, Wiederholungs-Handler, exponentielle Backoff-Strategien und Queue-Management zu erstellen.
Das Ergebnis ist reiner Klebe-Code – Integrationslogik, die Systeme verbindet, aber keinen Geschäftswert hinzufügt. Er funktioniert in der Staging-Umgebung, versagt in der Produktion, und niemand budgetiert Zeit für seine Wartung.
Das Parallelitätsproblem verstärkt sich. Die Such-API-Benchmarks stellten fest, dass vollständige SERP-APIs aufgrund von Latenz und Kosten im Volumen “begrenzte Eignung für KI”-Workloads haben. Auf dem Summit berechnete ein Finanzdatenunternehmen, dass das Monitoring von 150.000 Unternehmen auf 150 wesentliche Ereignistypen täglich allein in SERP-API-Gebühren etwa $3,4 Millionen pro Monat kosten würde.
Vergleichen Sie das mit der Produktionsrealität. Auf einer Web-Data-Branchenkonferenz 2025 enthüllte CentricSoftware, dass es 5.000 Scraper betreibt, die täglich 130 Millionen Anfragen allein für Produktintelligenz stellen. Nicht 1.000 RPM.
Die Bright Data SERP-API hat keine feste Grenze für gleichzeitige Anfragen. Der Durchsatz skaliert mit Ihrem Workload.
Lücke 5: Keine historische Baseline – Sie können nicht bewerten, was Sie nicht vergleichen können
Lücke 5 zeigt sich, wenn Sie versuchen, die Ausgabequalität eines Agenten zu verbessern.
Wenn Ihr Agent echte Anomalien erkennt oder Muster halluziniert, wie unterscheiden Sie das? Sie brauchen eine Baseline. Sie brauchen auch reproduzierbare historische Daten, um die Ausgabequalität im Zeitverlauf zu benchmarken. Und wenn Sie einen neuen Agenten mit der Wettbewerbspreishistorie befüllen möchten, ohne sie von Grund auf neu zu sammeln, brauchen Sie Datensätze.
Such-APIs sind von Natur aus nur auf Live-Daten ausgerichtet. Wie Boaz Grinvald (GM, Bright Insights) anmerkte, erfordert das Einordnen von Echtzeit-Intelligenz in einen Kontext tiefere Zusammenhänge. Zu wissen, dass ein Wettbewerber heute die Preise gesenkt hat, ist nutzlos, ohne zu wissen, dass die Gesamtkategoriepreise gestiegen sind – was bedeutet, dass die Senkung möglicherweise keine Reaktion erfordert.
Diese Kontextschicht existiert nur mit historischen Daten. Fragen Sie eine Such-API nach den Preisdaten des letzten Quartals, erhalten Sie die heutigen Suchergebnisse über das letzte Quartal – was eine ganz andere Sache ist.
Der Aufbau von Baselines ist erschwinglicher als die meisten Teams erwarten. Forscher Andrew Chan demonstrierte, dass 1 Milliarde Web-Seiten in 25,5 Stunden für $462 gecrawlt werden können. Bright Data pflegt über 200 Milliarden archivierte HTML-Seiten, die monatlich um 15 Milliarden wachsen.
B2B-Daten verfallen mit etwa 2,1 % pro Monat, was sich auf über 22 % jährlich summiert (MarketingSherpa). Ohne historischen Kontext kann ein Agent keine echte Preisanomalie von normaler saisonaler Variation unterscheiden.
Auf diesem Summit beschrieb ein Datenfirmengründer, wie man erkennt, wenn ein Kunde eine neue Technologie adoptiert, indem man über die Zeit einen plötzlichen Anstieg verwandter Stellenangebote und LinkedIn-Skill-Ergänzungen beobachtet. Dieses zeitliche Signal, das nur durch longitudinales Crawling sichtbar ist, half ihnen vorherzusagen, wann der Kunde einen ihrer größten Deals unterzeichnete. Eine Such-API, die das Web so zurückgibt, wie es jetzt existiert, kann solche Signale nicht erkennen. Bright Data Datensätze bieten themenstrukturierte historische Daten für Backfill, Baselines und reproduzierbare Auswertung, verfügbar in JSON, CSV oder Parquet.
Such-API vs. Wissens-Lieferkette: 7 Schlüsseldimensionen
Dieselbe Kostenanalyse ergab, dass indexbasierte APIs bei ungefähr $5 pro 1.000 Anfragen konvergieren. Wie es heißt: “Echtzeit-APIs sind fast immer günstiger. Sie erfordern jedoch mehr Arbeit, um die gleichen Ergebnisse wie ein Index zu erzielen”. Bright Data SERP-API beginnt bei $1,50 pro 1.000 auf Pay-as-you-go-Basis. Diese “mehr Arbeit” ist das, was eine Wissens-Lieferkette automatisiert.
Ein typischer Wissens-Lieferketten-Workflow (ein Discover-Aufruf, einige Web-Unlocker-Seitenabrufe und eine Dataset-Abfrage) läuft im einstelligen Dollar-Bereich pro Recherche-Aufgabe. Ein Analyst, der dieselbe Arbeit manuell ausführt, würde etwa 30–60 Minuten benötigen.
So vergleichen sich die beiden Architekturen in 7 Dimensionen:
| # | Dimension | Bright Data | Such-APIs (Kategorie) | Tavily (Beispiel) |
|---|---|---|---|---|
| 1 | Aktualität | Live-Entdeckung und -Extraktion | Kann Caching/Indexierung für Geschwindigkeit nutzen | Kann gecachte/indexierte Ergebnisse zurückgeben – keine Aktualitätsgarantie |
| 2 | Trefferquote pro Anfrage | Rangierte Quellen aus 7 Suchmaschinen, jede auf vollständigen Seiteninhalt erweiterbar (SERP-API + Web Unlocker) | Optimiert für Top-K | Begrenzt auf 20 Snippet-Ergebnisse pro Aufruf |
| 3 | Überprüfbarer Kontext | Optionaler bereinigter vollständiger Seiteninhalt inline (Markdown) | Oft zusammenfassungsorientiert | Standardmäßig zusammenfassungsorientiert |
| 4 | Durchsatz | Produktionsmaßstab, für parallele Workloads gebaut | Oft durch RPM eingeschränkt | 1.000 RPM Produktionslimit |
| 5 | Latenzprofil | Zuverlässige Produktionsentdeckung + Niedriglatenz-Option (Fast SERP) | Auf niedrige Latenz optimiert, oft durch Caching | Sehr schnell, priorisiert Latenz |
| 6 | PAYG-Preis / 1.000 Anfragen | Ab $1,50 (SERP PAYG) | Variiert | $8 (1 Credit) – $16 (2 Credits) pro 1.000 |
| 7 | Historische Datensätze | Themenstrukturierte Datensätze für Backfill und Baselines | Nicht kernig für die Kategorie | Kein Datensatz-Produkt |
Die Kosten- und Latenz-Kompromisse hängen von Ihrem Anwendungsfall ab.
Die Demo: derselbe Agent, zwei Infrastrukturen
Derselbe Wettbewerbsanalyse-Agent wird zweimal gebaut: identische Aufgabe, identisches LLM, identischer System-Prompt. Nur die zugrundeliegende Dateninfrastruktur ändert sich.
Beide Agenten verwenden Bright Data-Endpunkte. Das ist beabsichtigt: Es eliminiert Anbieterunterschiede aus der Gleichung. Die einzige Variable ist die Architektur: ein Tool versus drei.
Das Szenario
Wir haben eine Aufgabe zur Wettbewerbspreisintelligenz gewählt, weil sie Entdeckung, vollständige Seitenextraktion und historischen Kontext erfordert.
Wettbewerbspreisintelligenz-Agent
Aufgabe: Überwachen Sie die SaaS-Preisseite eines Wettbewerbers, erkennen Sie Änderungen, kontextualisieren Sie sie anhand historischer Preistrends und beurteilen Sie, ob es sich um eine strukturelle Strategieverschiebung oder eine vorübergehende Aktion handelt.
Diese Aufgabe ist mit einer Such-API allein nicht gut zu bewältigen. a16z identifizierte Deep Research als “die dominante und am stärksten monetarisierbare Form der agentischen Suche” (“Search Wars: Episode 2”, 2025). Die Aufgabe erfordert Aktualität, Trefferquote, vollständige Inhalte und Historie.
Framework: Beide Agenten sind LangGraph-Wettbewerbsanalyse-Agenten, die mit LangChain und den Bright Data REST-APIs erstellt wurden (langchain-brightdata ist auch für SERP- und Web-Unlocker-Tools verfügbar). Der Code verwendet GPT-4o. Wir haben die Ausgaben mit Cohere Command-A getestet, um zu bestätigen, dass die Architektur LLM-unabhängig ist. Gleicher System-Prompt. Unterschiedliche Tools.
Agent 1: das Such-API-Muster
Agent 1 umhüllt einen einzelnen SERP-Endpunkt. Ein Tool, eine Datenquelle:
# Agent 1: Search API pattern
# Single SERP endpoint, snippet-level output
import os
import requests
from langgraph.prebuilt import create_react_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
@tool
def search_web(query: str) -> str:
"""Search the web and return top results."""
response = requests.post(
"https://api.brightdata.com/request",
headers={
"Authorization": f"Bearer {os.environ['BRIGHT_DATA_API_KEY']}",
"Content-Type": "application/json"
},
json={
"zone": os.environ["SERP_ZONE"],
"url": f"https://www.google.com/search?q={query}&num=10&brd_json=1",
"format": "raw"
}
)
# Response contains: organic[] with title, link, description per result
results = response.json()
organic = results.get("organic", [])[:10]
return "\n".join([
f"- {r.get('title')}: {r.get('description', '')[:200]}"
for r in organic
])
llm = ChatOpenAI(model="gpt-4o")
search_api_agent = create_react_agent(
llm,
tools=[search_web],
state_modifier="""You are a competitive intelligence analyst.
Use web search to analyze competitor pricing changes.
Provide a structured assessment with your findings."""
)
result_1 = search_api_agent.invoke({
"messages": [{
"role": "user",
"content": "Analyze recent pricing changes for [Competitor]. "
"Has their pricing strategy shifted? "
"What does this mean for our positioning?"
}]
})
Wir haben dies live gegen die Notion-Preisseite getestet.
AGENT 1 OUTPUT (Search API):
Sources consulted: 10 Google results (snippets only)
Content depth: Titles + 200-char descriptions
Finding: Notion's pricing strategy in 2026 appears to be
tiered, with four main plans: Free, Plus, Business, and
Enterprise. The Plus plan is priced at $10 per user per month
and is designed for small teams. The Business plan is priced
at $18-$20 per user per month and includes additional features
such as AI integration.
Confidence: Confident (based on snippets alone).
Der Agent produzierte eine vernünftige Analyse aus Snippets. Er identifizierte die 4 Stufen und ungefähre Preise. Aber er konnte die eigentliche Preisseite nicht lesen, fand keine Reddit- oder Forum-Diskussionen über aktuelle Preisänderungen und hatte keinen historischen Kontext, um zu bestimmen, ob die aktuellen Preise eine Verschiebung darstellen.
Agent 2: das Wissens-Lieferketten-Muster
Nun dieselbe Aufgabe, mit der Bright Data SERP-API, Web Unlocker und Datensätzen, die Live-Entdeckung, vollständige Inhaltsextraktion und historische Baselines bereitstellen:
# Agent 2: Knowledge Supply Chain
# Live discovery + full content + historical baseline
import os
import json
import requests
from langgraph.prebuilt import create_react_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
HEADERS = {
"Authorization": f"Bearer {os.environ['BRIGHT_DATA_API_KEY']}",
"Content-Type": "application/json"
}
# Tool 1: Live discovery across real search engines via SERP API
@tool
def discover_sources(query: str) -> str:
"""Search the live web with Bright Data's SERP API.
Returns ranked sources with titles, URLs and snippets."""
response = requests.post(
"https://api.brightdata.com/request",
headers=HEADERS,
json={
"zone": os.environ["SERP_ZONE"],
"url": (f"https://www.google.com/search?q={query}"
"&gl=us&hl=en&num=20&brd_json=1"),
"format": "raw"
}
)
# Response contains: organic[] with title, link, description
organic = response.json().get("organic", [])
return f"Discovered {len(organic)} sources:\n" + "\n".join(
f"- {r.get('title')} ({r.get('link')})\n"
f" {r.get('description', '')[:200]}"
for r in organic
)
# Tool 2: Targeted page extraction.
# Discovery finds candidates; Web Unlocker reads the page that matters.
@tool
def fetch_full_content(url: str) -> str:
"""Fetch the full cleaned content of a specific webpage
in Markdown format via Web Unlocker."""
response = requests.post(
"https://api.brightdata.com/request",
headers=HEADERS,
json={
"zone": os.environ["UNLOCKER_ZONE"],
"url": url,
"format": "raw",
"data_format": "markdown"
}
)
# Returns full page content as cleaned Markdown text
return response.text[:8000]
# Tool 3: Historical dataset baseline
@tool
def get_historical_pricing_data(competitor_domain: str) -> str:
"""Retrieve historical pricing snapshots from Bright Data
Datasets for baseline comparison."""
response = requests.post(
"https://api.brightdata.com/datasets/v3/trigger",
params={"dataset_id": os.environ["PRICING_DATASET_ID"]},
headers=HEADERS,
json=[{"url": f"https://{competitor_domain}/pricing"}]
)
# Returns: {"snapshot_id": "sd_xxxxx"} for async data retrieval
snapshot_id = response.json()["snapshot_id"]
return json.dumps({
"snapshot_id": snapshot_id,
"status": "Historical data retrieved"
})
llm = ChatOpenAI(model="gpt-4o")
knowledge_supply_chain_agent = create_react_agent(
llm,
tools=[discover_sources, fetch_full_content,
get_historical_pricing_data],
state_modifier="""You are a competitive intelligence analyst
with access to live web discovery, full page content,
and historical pricing datasets.
For pricing analysis:
1. Discover broadly to map the landscape
2. Fetch the actual pricing page - do not rely on snippets
3. Compare against historical baseline data
4. Identify whether this is a structural shift or temporary
5. Provide a structured assessment with source citations."""
)
result_2 = knowledge_supply_chain_agent.invoke({
"messages": [{
"role": "user",
"content": "Analyze recent pricing changes for [Competitor]. "
"Has their pricing strategy shifted? "
"What does this mean for our positioning?"
}]
})
Gleiche Anfrage. Gleiches LLM. Andere Dateninfrastruktur. Hinweis: Wir haben keinen historischen Datensatz für diesen Test konfiguriert, daher wurde Tool 3 (historische Baseline) nicht verwendet. Bei einem produktiven Deployment würde der historische Vergleich eine dritte Beweisebene hinzufügen.
AGENT 2 OUTPUT (Knowledge Supply Chain):
Sources discovered: 7 (SERP API, 4.1 seconds)
Pages extracted: 3 (Web Unlocker)
Evidence budget: 86,298 characters - 118x Agent 1
Tool calls: 6
Finding: Structural shift, not a promotion. Notion is moving
agent functionality off the seat price and onto a consumption
meter, while leaving the seat prices themselves untouched.
Seat pricing unchanged: Free $0, Plus $10/member/month,
Business $20/member/month, Enterprise custom.
The change is a second, parallel meter:
- "Custom Agents ... Free to try, then $10 per 1,000 monthly
Notion credits." (notion.com/pricing, verbatim)
- The plan comparison table lists "Custom Agents - Requires
Notion credits" under every tier, Enterprise included.
Paying the top seat price does not exempt you.
- "Workers (Beta) ... Free to try now. Starts using credits
on October 15." A second product is already scheduled onto
the same meter, with a date.
Corroboration (eesel.ai): credits run "on top of your seats",
and "'Getting AI in Notion' isn't a single number anymore."
Why structural rather than promotional: a promotion is
time-boxed and reversible. This has the opposite signature - a
dated forward commitment, application at every tier including
Enterprise, and a second product migrating onto the same meter.
Positioning implication: any per-seat comparison now understates
Notion's real cost for AI-heavy teams.
Confidence: High for mechanism and tier scope - quoted from the
vendor's own live page. Medium for magnitude, which depends on
per-team credit burn that is not published.
Der Unterschied liegt nicht in der Intelligenz, sondern in den Beweisen
Beide Agenten führten dieselbe Anfrage mit demselben LLM aus. Agent 1 identifizierte korrekt alle vier Planstufen und ihre Hauptpreise. Agent 2 las die Preisseite selbst und beantwortete die eigentlich gestellte Frage: ob die Änderung strukturell ist.
Beide Agenten sind gleich leistungsfähige Denker. Was sich änderte, waren die Beweise. Agent 1 hatte 732 Zeichen Snippet-Text über sieben Ergebnisse. Agent 2 hatte dieselben sieben Ergebnisse plus 86.298 Zeichen extrahierten Seiteninhalts – 118-mal mehr Beweise für fünf zusätzliche Tool-Aufrufe.
Agent 1 war nicht blind, und es lohnt sich, das präzise zu formulieren. Das Snippet von der eigenen Seite des Anbieters enthüllte die Hauptzahl, “$10 pro 1.000 monatliche Notion-Credits”. Was ein Snippet nicht zeigen konnte, war die Struktur dahinter: dass Credits auf jeder Stufe einschließlich Enterprise gelten, dass sie zusätzlich zur Sitzplatzpreisgestaltung und nicht als Ersatz dafür stehen, und dass ein zweites Produkt bereits mit einem Datum auf demselben Zähler eingeplant ist. Snippets zeigen Zahlen. Sie zeigen keine Verpflichtungen.
Agent 2 braucht länger (Entdeckung + Extraktion vs. ein einzelner SERP-Aufruf). Wie ein Diskussionsteilnehmer auf dem Summit es ausdrückte: Für Agenten gilt die Einsekundenlatenz-Einschränkung nicht mehr. Es sind entweder 100 Millisekunden oder 100 Sekunden, je nachdem, ob der Agent eine Chat-Antwort liefert oder nächtliche Recherche betreibt.
Sechs Tool-Aufrufe in diesem Test: zwei Entdeckungsanfragen und vier Extraktionen. Sieben in einem produktiven Deployment (Datensätze für historische Baselines hinzufügen). Das ist die Wissens-Lieferkette in der Praxis.
Suche deckt Breite ab. Extraktion handhabt Tiefe. Datensätze fügen den historischen Kontext hinzu, um beides zu bewerten.
Selbst ausprobieren. Beide Agenten sind mit einem Bright Data API-Schlüssel und einem beliebigen LangChain-kompatiblen LLM voll funktionsfähig. Klonen Sie das Muster, richten Sie es auf einen echten Wettbewerber und vergleichen Sie die Ausgaben. Eine vollständige Anleitung finden Sie unter Wie man ein agentisches RAG-System baut.
Such-API oder Wissens-Lieferkette? Ein Entscheidungsrahmen
Nicht jeder Agent braucht eine Wissens-Lieferkette. Wenn Sie nach einer Tavily-Alternative für Enterprise-Workloads suchen, hängt die richtige Antwort vom Einsatz ab, nicht von der Technologie.
| Situation | Richtiges Tool |
|---|---|
| Interaktive Chat-UX, bei der Latenz ein KPI ist | Such-API (Tavily oder Bright Data Fast SERP) |
| RAG-Prototyp, interne Demo, Hackathon | Such-API – schnell, günstig, geringe Reibung |
| Produktionsagent: Wettbewerbsanalyse, Preise, Risiko | Bright Data SERP-API + Web Unlocker + Datensätze |
| Agent benötigt rangierte Ergebnisse mit vollständigem Seiteninhalt | Bright Data SERP-API + Web Unlocker (rangierte Quellen, dann vollständiger Seiteninhalt auf Anfrage) |
| Aktuellen Zustand einer bestimmten Seite verifizieren | Bright Data Web Unlocker / SERP-API mit vollständigem Inhalt |
| Historische Baseline oder Evaluierungsdatensatz benötigt | Bright Data Datensätze |
| 1.000+ gleichzeitige Recherche-Aufgaben ausführen | Bright Data – Durchsatz skaliert mit dem Workload, nicht durch Rate-Limit-Schranken |
a16z stellte fest, dass die meisten Such-API-Anbieter ähnliche Kernfunktionalität bieten (was sie als “begrenzte frühe Produktdifferenzierung” bezeichneten) und hauptsächlich über Geschwindigkeit und Preisgestaltung konkurrieren (“Search Wars: Episode 2”, 2025). Bright Data umfasst sowohl Echtzeit-SERP als auch Sub-Sekunden-Fast-SERP-Zugriff. Indexbasierte Such-APIs bieten die schnellstmögliche Antwort, schöpfen aber aus einem vorab erstellten Korpus.
Produktionsagenten brauchen zunehmend sowohl Live-Zugriff als auch Geschwindigkeit – nicht das eine oder das andere. In der Praxis routen viele Teams nach Absicht innerhalb eines einzelnen Agenten: Fast SERP für Niedriglatenz-Tool-Aufrufe, SERP-API plus Web Unlocker, wenn der Agent in eine Deep-Research-Schleife eintritt.
Wählen Sie die Infrastruktur, die zu dem passt, was Ihr Agent entscheidet.
Der Wissens-Lieferketten-Stack: Referenz
Für Teams, die bereit sind, über Such-APIs hinaus zu gehen, hier sind die Bausteine (siehe auch den vollständigen KI-Agenten-Tech-Stack-Leitfaden):
| Baustein | Am besten für | Schlüsselfähigkeit |
|---|---|---|
| Fast SERP / SERP-API | Monitoring, Chat-UX, Niedriglatenz-Workflows | Sub-Sekunden-strukturierte SERP-Ausgabe, Geo- und Sprach-Targeting |
| Web Unlocker | Abrufen spezifischer Seiten hinter Anti-Bot-Schutz | 99,95 % Erfolgsrate, integrierte CAPTCHA-Lösung, Markdown-Ausgabe |
| Datensätze | Backfill, Baselines, reproduzierbare Auswertung | Themenstrukturierte historische Daten, JSON/CSV/Parquet |
Das sind keine konkurrierenden Produkte. Das sind Schichten. Entdeckung findet die Quellen. Extraktion liest sie. Datensätze liefern die Historie, um zu bewerten, was sich geändert hat.
Was das für KI-Agenten-Teams bedeutet
Das Web wird schwieriger zu lesen, nicht einfacher. Cloudflare blockierte in fünf Monaten 416 Milliarden KI-Bot-Anfragen (WIRED, 2025). Die meisten Web-Scraping-Fachleute berichten jährlich über zunehmende Anti-Bot-Schutzmaßnahmen.
Dennoch flossen in weniger als einem Jahr über $323 Millionen an offengelegter Finanzierung in agentische Such-Startups (berechnet aus den in diesem Report aufgeführten Finanzierungsrunden). Die Lücke zwischen “Such-API” und produktionsreifer Web-Dateninfrastruktur für KI-Agenten schließt sich nicht.
Der Bright Data-Stack für marktbewusste Agenten:
- Discover für absichtsrangierte Entdeckung und optionalen vollständigen Inhalt
- Fast SERP für Niedriglatenz-Monitoring und interaktive Erlebnisse
- Datensätze für Backfill, Baselines und schnellere Erfassung
Probieren Sie die interaktive Demo aus, lesen Sie die Agenten-Docs oder beginnen Sie mit dem Aufbau mit einem kostenlosen Tier oder einer kostenlosen Testversion für jedes Produkt.
FAQs
Was ist eine Such-API für KI-Agenten?
Es ist eine API, die Ihr Agent aufruft, um Suchergebnisse zu erhalten: rangierte URLs, Snippets, manchmal Seitenzusammenfassungen. Tavily ist ein bekanntes Beispiel. Diese funktionieren gut für Chatbots, RAG-Demos und Prototypen, bei denen Geschwindigkeit wichtiger ist als Tiefe. Aber die Ergebnisse stammen aus einem gecachten Index, nicht aus dem Live-Web.
Warum brauchen KI-Agenten mehr als eine Such-API?
Such-APIs geben Snippets aus einem gecachten Index zurück. Agenten, die Geschäftsentscheidungen treffen, benötigen den tatsächlichen Seiteninhalt, nicht eine Zusammenfassung davon. Sie brauchen auch historische Daten, um zu erkennen, ob sich etwas geändert hat, und genug Durchsatz, um Tausende paralleler Recherche-Aufgaben auszuführen, ohne Rate-Limits zu erreichen.
Wie nutzen KI-Agenten Web-Daten?
Agenten suchen nicht einmal und hören dann auf. Sie entscheiden während der Aufgabe, was sie suchen, wie viele Seiten sie lesen und ob sie basierend auf dem Gefundenen erneut suchen. Ein Preisagent könnte suchen, die eigentliche Seite abrufen, mit dem letzten Monat vergleichen und dann nach verwandten Nachrichten suchen. Das Web ist eines von mehreren Tools.
Wie viel kostet Bright Data im Vergleich zu Tavily?
Bright Data SERP-API beginnt bei $1,50 pro 1.000 Anfragen auf Pay-as-you-go-Basis. Web Unlocker und Datensätze werden separat nach Nutzung berechnet. Tavily beginnt bei $0,008 pro Credit ($8 pro 1.000 Einzelkredit-Anfragen). Jedes Bright Data-Produkt umfasst ein kostenloses Tier oder eine kostenlose Testversion ohne Mindestbindung.
Ist Bright Data eine gute Tavily-Alternative?
Das hängt vom Workload ab. Für Produktionsagenten, die vollständigen Seiteninhalt, absichtsrangierte Ergebnisse und historische Baselines benötigen, deckt Bright Data ab, was Tavily nicht bietet. Für Prototypen und Chat-UX, bei denen Latenz Priorität hat, bleibt Tavily eine starke Option. Beide sind gute Tools für unterschiedliche Probleme.