AI

Verwendung der Composio-Verbindung von Bright Data für leistungsfähigere KI-Agenten

Erfahren Sie, wie Sie leistungsstarke KI-Agenten erstellen können, indem Sie die Web-Scraping-Tools von Bright Data mit Composio verbinden und so Echtzeit-Datenzugriff und automatisierte Web-Interaktionen ermöglichen.
7 min lesen
Bright Data with Composio

In diesem Tutorial erfahren Sie:

  • Was Composio ist und welche einzigartigen Funktionen es für die Erstellung von KI-Agenten bietet.
  • Warum Sie KI-Agenten über Composio mit Bright Data verbinden sollten.
  • Die Liste der in Composio verfügbaren Tools von Bright Data.
  • Wie Sie einen KI-Agenten mit Bright Data unter Verwendung von Composio und OpenAI Agents betreiben können.

Lassen Sie uns loslegen!

Was ist Composio?

Composio
Composio ist eine All-in-One-Plattform, die es KI-Agenten und LLMs ermöglicht, mit Tools aus der realen Welt zu interagieren. Im Detail bietet sie Plug-and-Play-Integrationen mit über 870 Toolkits und übernimmt für Sie die Authentifizierung, Trigger und API-Zuordnung.

Composio wird von einer Cloud-Infrastruktur unterstützt. Es wird außerdem von Open-Source-SDKs für Python und TypeScript unterstützt, die in einem GitHub-Repository mit 26,4k Sternen verfügbar sind. Dies zeigt die Beliebtheit und Akzeptanz dieses neuen Ansatzes zum Aufbau von KI-Agenten innerhalb der Entwickler-Community.

Composio ist mit Agenten aus verschiedenen Frameworks kompatibel und gewährleistet präzise Tool-Aufrufe und Echtzeit-Beobachtbarkeit. Zu den relevanten Funktionen gehören Multi-Agent-Unterstützung, sich weiterentwickelnde Fähigkeiten, die sich mit der Nutzung durch die Agenten verbessern, ein verwaltetes MCP-Gateway für die Skalierung und SOC 2-konforme Sicherheit.

Warum einen KI-Agenten über Composio mit Bright Data verbinden?

Der Sinn einer Lösung wie Composio ist einfach: LLMs sind von Natur aus begrenzt. Schließlich können sie nicht direkt mit der Außenwelt interagieren, es sei denn, es werden bestimmte Tools bereitgestellt. Hier kommt Composio ins Spiel!

Composio vereinfacht die Suche, Einführung und Nutzung von Tools von Hunderten von Anbietern für KI-Agenten erheblich. Die größten Nachteile von LLMs sind:

  1. Sie können nur auf der Grundlage ihrer Trainingsdaten arbeiten, die jedoch schnell veralten, sobald das Modell veröffentlicht wird.
  2. Sie können nicht direkt mit dem Internet interagieren, wo heute die meisten Informationen und Werte generiert werden.

Diese beiden Probleme können gelöst werden, indem ein KI-Agent mit Bright Data ausgestattet wird, einem der offiziell in Composio verfügbaren Toolkits.

Bright Data-Lösungen geben KI-Agenten die Möglichkeit, das Web zu durchsuchen, aktuelle Informationen abzurufen und mit ihnen zu interagieren. Dies wird durch Lösungen wie die folgenden ermöglicht:

  • SERP-API: Rufen Sie Web-Suchergebnisse von Google, Bing, Yandex und anderen Suchmaschinen in großem Umfang und ohne Blockierung ab.
  • Web Unlocker API: Greifen Sie auf jede Website zu und erhalten Sie sauberes HTML oder Markdown, mit automatischer Verarbeitung von Proxys, IP-Rotation, Fingerabdrücken und CAPTCHAs.
  • Web-Scraping-APIs: Rufen Sie strukturierte Daten von beliebten Plattformen wie Amazon, LinkedIn, Yahoo Finance, Instagram und über 100 weiteren ab.
  • Und weitere Lösungen…

Diese Dienste sind als Composio-spezifische Tools verpackt, die Sie mit jeder unterstützten KI-Agent-Technologie ganz einfach mit Ihrem KI-Agenten verbinden können.

Composio–Bright Data-Verbindung: Tool-Liste

Die in Composio verfügbaren Bright Data-Tools sind:

Tool Kennung Beschreibung
Website-Crawl auslösen BRIGHTDATA_CRAWL_API Tool zum Auslösen eines Website-Crawl-Jobs, um Inhalte über mehrere Seiten oder ganze Domains hinweg zu extrahieren. Verwenden Sie dieses Tool, wenn Sie einen Crawl für einen bestimmten Datensatz und eine Liste von URLs starten möchten.
Verfügbare Scraper durchsuchen BRIGHTDATA_DATASET_LIST Tool zum Auflisten aller verfügbaren vorgefertigten Scraper (Datensätze) aus dem Marktplatz von Bright Data. Verwenden Sie dieses Tool, wenn Sie verfügbare Datenquellen für strukturiertes Scraping durchsuchen möchten.
Datensatz filtern BRIGHTDATA_FILTER_DATASET Tool zum Anwenden benutzerdefinierter Filterkriterien auf einen Datensatz aus dem Marktplatz (BETA). Verwenden Sie es nach der Auswahl eines Datensatzes, um einen gefilterten Snapshot zu erstellen.
Verfügbare Städte abrufen BRIGHTDATA_GET_LIST_OF_AVAILABLE_CITIES Tool zum Abrufen der verfügbaren Städte mit statischem Netzwerk für ein bestimmtes Land. Verwenden Sie es, wenn Sie nach Auswahl eines Landes statische Proxy-Endpunkte konfigurieren müssen.
Verfügbare Länder abrufen BRIGHTDATA_GET_LIST_OF_AVAILABLE_COUNTRIES Tool zum Auflisten verfügbarer Länder und ihrer ISO 3166-1 Alpha-2-Codes. Verwenden Sie dieses Tool, wenn Sie vor der Bereitstellung von Proxys Zonen mit gültigen Ländercodes konfigurieren müssen.
Abgerufene Daten herunterladen BRIGHTDATA_GET_SNAPSHOT_RESULTS Tool zum Abrufen der gescrapten Daten aus einem abgeschlossenen Crawling-Auftrag anhand der Snapshot-ID. Verwenden Sie es nach dem Auslösen eines Crawlings oder dem Filtern von Datensätzen, um die gesammelten Daten herunterzuladen.
Crawl-Status überprüfen BRIGHTDATA_GET_SNAPSHOT_STATUS Tool zum Überprüfen des Verarbeitungsstatus eines Crawling-Auftrags anhand der Snapshot-ID. Rufen Sie dieses Tool auf, bevor Sie versuchen, Ergebnisse herunterzuladen, um sicherzustellen, dass die Datenerfassung abgeschlossen ist.
Unlocker-Zonen auflisten BRIGHTDATA_LIST_WEB_UNLOCKER_ZONES Tool zum Auflisten Ihrer konfigurierten Web Unlocker-Zonen und Proxy-Endpunkte. Verwenden Sie es, um verfügbare Zonen für Web-Scraping und die Umgehung von Bot-Schutzmaßnahmen anzuzeigen.
SERP-Suche BRIGHTDATA_SERP_SEARCH Tool zum Durchführen von SERP-Suchen (Search Engine Results Page) über verschiedene Suchmaschinen hinweg unter Verwendung der SERP-API von Bright Data. Verwenden Sie es, wenn Sie Suchergebnisse, Trendthemen oder Wettbewerbsanalysedaten abrufen möchten. Diese Aktion sendet eine asynchrone Anfrage und gibt eine Antwort-ID zur Nachverfolgung zurück.
Web Unlocker BRIGHTDATA_WEB_UNLOCKER Tool zum Umgehen von Bot-Erkennung, Captcha und anderen Anti-Scraping-Maßnahmen, um Inhalte von Websites zu extrahieren. Verwenden Sie es, wenn Sie Websites scrapen müssen, die den automatisierten Zugriff blockieren oder JavaScript-Rendering erfordern.

So erstellen Sie einen Bright Data-basierten KI-Agenten in Composio

In diesem Schritt-für-Schritt-Abschnitt erfahren Sie, wie Sie Bright Data mithilfe von Composio in einen KI-Agenten integrieren können. Insbesondere erfahren Sie, wie Sie einen KI-Agenten in Python mit OpenAI Agents betreiben und ihn über das Composio SDK mit Bright Data verbinden können.

Befolgen Sie die nachstehenden Anweisungen!

Voraussetzungen

Um diesem Tutorial folgen zu können, stellen Sie sicher, dass Sie über Folgendes verfügen:

Weitere Informationen zum Einrichten eines Bright Data-Kontos und zum Generieren eines API-Schlüssels finden Sie in der offiziellen Bright Data-Dokumentation.

Schritt 1: Erste Schritte mit Composio unter Verwendung von OpenAI-Agenten

Registrieren Sie sich bei Composio, wenn Sie noch kein Konto haben, oder melden Sie sich einfach an. Sie gelangen auf die Seite „Übersicht“:
The Composio “Overview” page
Diese Seite enthält Anweisungen zum Einrichten eines einfachen KI-Agenten, der mit Composio unter Verwendung von OpenAI-Agenten integriert ist. Das Web-Dashboard bietet auch Beispiele für die Verwendung von Claude Agents, LangChain, Vercel AI und mehreren anderen Frameworks.

In dieser Anleitung erstellen wir einen KI-Agenten, der über Composio im OpenAI Agents SDK mit Bright Data verbunden ist. Sie können das folgende Beispiel jedoch problemlos an jedes andere unterstützte KI-Agenten-Framework anpassen.

Hinweis: Informieren Sie sich auch darüber, wie Sie Bright Data direkt in das OpenAI Agents SDK integrieren können.

Erstellen Sie zunächst einen Ordner für Ihr Projekt und wechseln Sie in diesen:

mkdir composio-bright-data-ai-agent
cd composio-bright-data-ai-agent

Initialisieren Sie als Nächstes eine virtuelle Umgebung:

python -m venv .venv

Fügen Sie eine neue Datei namens agent.py im Projektstammverzeichnis hinzu. Ihre Verzeichnisstruktur sollte nun wie folgt aussehen:

composio-bright-data-KI-agent/
├── .venv/
└── agent.py

Die Datei agent.py enthält die Definitionslogik des KI-Agenten.

Laden Sie den Projektordner in Ihre bevorzugte Python-IDE, z. B. PyCharm Community Edition oder Visual Studio Code mit der Python-Erweiterung.

Aktivieren Sie nun die soeben erstellte virtuelle Umgebung. Unter Linux oder macOS führen Sie folgenden Befehl aus:

source .venv/bin/activate

Unter Windows führen Sie stattdessen folgenden Befehl aus:

.venv/Scripts/activate

Nachdem die virtuelle Umgebung aktiviert ist, installieren Sie die erforderlichen PyPI-Pakete, die auf der Seite „Übersicht“ aufgeführt sind:

pip install composio composio-openai-agents openai-agents

Die Abhängigkeiten für diese Anwendung sind:

  • composio: Python SDK für die Interaktion mit der Composio-Plattform, das die Ausführung von Tools, die Authentifizierungsabwicklung und die Integration von KI-Frameworks ermöglicht.
  • composio-openai-agents: Integrationsschicht, die Composio-Tools mit dem OpenAI Agents-Framework verbindet, um nahtlose agentenbasierte Workflows zu ermöglichen.
  • openai-agents: Leichtgewichtiges, providerunabhängiges Framework zum Aufbau von Multi-Agent-Workflows über OpenAI-APIs und mehr als 100 LLM-Anbieter hinweg.

Gut gemacht! Sie haben nun ein Composio OpenAI Agents-Projekt eingerichtet.

Schritt 2: Konfigurieren Sie das Laden von API-Schlüsseln mit Umgebungsvariablen

Ihr KI-Agent wird sich mit Drittanbieterdiensten verbinden, darunter Composio und OpenAI. Um zu vermeiden, dass Anmeldedaten direkt in Ihrem Skript fest codiert werden, konfigurieren Sie den Agenten so, dass er API-Schlüssel aus einer .env-Datei liest.

Beginnen Sie mit der Installation von python-dotenv in Ihrer aktivierten virtuellen Umgebung:

pip install python-dotenv

Fügen Sie in agent.py den folgenden Import am Anfang der Datei hinzu:

from dotenv import load_dotenv

Erstellen Sie als Nächstes eine .env -Datei im Stammverzeichnis Ihres Projekts:

composio-bright-data-KI-agent/
├─── .venv/
├─── agent.py
└─── .env    # <-----

Füllen Sie die .env -Datei mit Ihren Composio- und OpenAI-API-Schlüsseln:

COMPOSIO_API_KEY="<IHR_COMPOSIO_API_SCHLÜSSEL>"
OPENAI_API_KEY="<IHR_OPENAI_API_SCHLÜSSEL>"

Ersetzen Sie die Platzhalter durch Ihre tatsächlichen API-Schlüssel. Wenn Sie nicht sicher sind, wo Sie Ihren Composio-API-Schlüssel finden, suchen Sie ihn im Abschnitt „Einstellungen” Ihres Kontos:
The Composio API key

Laden Sie schließlich die Umgebungsvariablen in agent.py, indem Sie folgenden Befehl aufrufen:

load_dotenv()

Das war’s schon! Ihr Skript kann nun die erforderlichen Geheimnisse sicher aus der .env-Datei lesen, ohne sie im Code offenzulegen.

Schritt 3: Konfigurieren Sie das Bright Data-Toolkit in Composio

Um das Bright Data-Toolkit in Composio zu konfigurieren, müssen Sie einige Schritte im Composio-Dashboard ausführen.

Klicken Sie zunächst auf den Abschnitt „Browser-Toolkits“ auf der Registerkarte „Übersicht“:
Selecting the “Browser Toolkits” section

Sie werden zur Seite „Composio Toolkits” weitergeleitet:
The “All Toolkits” page in Composio

Hier können Sie alle von Composio unterstützten Integrationen durchsuchen. Verwenden Sie die Suchleiste, um nach „bright data“ zu suchen, und klicken Sie dann auf die entsprechende Karte:
Selecting the “Bright Data” toolkit card

Sie werden zur Composio Bright Data-Toolkit-Seite weitergeleitet:
Pressing the “Add to Project” page
Auf dieser Seite können Sie die verfügbaren Tools erkunden, die Dokumentation lesen und Details zur Verwendung einsehen. Um fortzufahren, klicken Sie auf die Schaltfläche „Zum Projekt hinzufügen“.

Wenn Sie aufgefordert werden, die Authentifizierungsdetails zu konfigurieren:

Wenn Sie bereit sind, klicken Sie auf „Bright Data Auth Config erstellen“, um fortzufahren:
Clicking the “Create Bright Data Auth Config” button

Hinweis: Eine Composio-Auth-Konfiguration ist eine wiederverwendbare Konfiguration, in der Anmeldedaten, Authentifizierungsmethoden und Berechtigungen für externe Dienste sicher gespeichert werden. Ihr KI-Agent verwendet diese Auth-Konfiguration über das Composio SDK, um sich programmgesteuert mit den Bright Data-Tools zu verbinden.

Großartig! Jetzt ist es an der Zeit, die Bright Data-Integration in Composio zu authentifizieren.

Schritt 4: Authentifizieren Sie die Bright Data-Integration

Nachdem Sie das Bright Data-Toolkit in Composio hinzugefügt haben, müssen Sie Ihr Bright Data-Konto verbinden, damit die Integration ordnungsgemäß funktioniert. Dadurch kann Composio auf die Web-Scraping- und Datendienste von Bright Data zugreifen und diese über das Composio SDK Ihren KI-Agenten zur Verfügung stellen.

Um Ihr Bright Data-Konto zu verbinden, klicken Sie auf der entsprechenden Seite „Auth Configs“ auf die Schaltfläche „Connect Account“:
Pressing the “Connect Account” button

Ihnen wird eine externe Benutzer-ID angezeigt:
The Composio External User ID

Kopieren Sie diesen Wert und fügen Sie ihn als Python-Variable in Ihre agent.py -Datei ein:

COMPOSIO_EXTERNAL_USER_ID = "<YOUR_COMPOSIO_EXTERNAL_USER_ID>"

In Composio bestimmt eine Benutzer-ID, auf welche verbundenen Konten und Daten zugegriffen wird. Jede Tool-Ausführung, Autorisierungsanfrage und Kontooperation erfordert eine Benutzer-ID, um den richtigen Kontext zu identifizieren. Grundsätzlich fungieren Benutzer-IDs als Container, die verbundene Konten über Toolkits hinweg gruppieren. Sie können einen einzelnen Benutzer, ein Team oder sogar eine ganze Organisation repräsentieren.

Klicken Sie anschließend auf „Konto verbinden“, um fortzufahren. Sie werden aufgefordert, Ihren Bright Data API-Schlüssel einzugeben:
Authenticating the connection to your Bright Data account

Fügen Sie Ihren Bright Data API-Schlüssel ein und schließen Sie die Verbindung ab, indem Sie auf die Schaltfläche „Konto verbinden“ klicken. Nach Abschluss des Vorgangs sollte das verbundene Konto mit dem Status „AKTIV“ auf der Registerkarte „Verbundene Konten“ angezeigt werden:
The Bright Data account connection

Dies bestätigt, dass Composio die Authentifizierung über Ihren Bright Data-API-Schlüssel erfolgreich durchgeführt hat. Das Bright Data-Toolkit steht nun in Ihrem KI-Agenten zur Verfügung!

Sie können die Integration sogar direkt in der Composio-Webanwendung über die Funktion „Playground“ testen:
The “Playground” feature
Fantastisch! Bright Data ist nun vollständig authentifiziert und in Composio integriert.

Schritt 5: Initialisieren Sie eine Composio-Sitzung

Sie haben nun alles vorbereitet, um Ihren OpenAI Agents-basierten KI-Agenten über das Composio SDK mit Bright Data zu verbinden.

Beginnen Sie mit der Initialisierung von Composio mit dem OpenAI Agents-Anbieter:

from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider

# Initialisieren Sie Composio mit dem OpenAI Agents-Anbieter.
composio = Composio(provider=OpenAIAgentsProvider())

Hinweis: Der Composio-Konstruktor sucht automatisch nach der Umgebungsvariablen COMPOSIO_API_KEY (die Sie bereits festgelegt haben) und verwendet sie für die Authentifizierung. Alternativ können Sie den API-Schlüssel explizit über das Argument api_key übergeben.

Erstellen Sie als Nächstes eine Tool-Router -Sitzung, die auf die Bright Data-Integration beschränkt ist:

# Erstellen Sie eine Tool-Router-Sitzung
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Ersetzen Sie dies durch Ihre Auth-Konfigurations-ID für das Bright Data-Toolkit.
)

Tool Router ist die neueste und mittlerweile standardmäßige Methode von Composio, um Tools in KI-Agenten zu betreiben. Es handelt sich um eine einheitliche Schnittstelle, über die ein Agent verfügbare Tools erkennen, die zu verwendenden Tools planen, die Authentifizierung durchführen und Aktionen über Tausende von Composio-Integrationen hinweg ausführen kann. Sie stellt eine Reihe von Meta-Tools bereit, die diese Aufgaben im Hintergrund verwalten, ohne den Kontext des Agenten zu überlasten.

Die Methode composio.create() initialisiert eine Tool Router-Sitzung, die den Kontext definiert, in dem der Agent arbeitet. Standardmäßig hat ein Agent Zugriff auf alle Composio-Toolkits und wird zur Laufzeit aufgefordert, die Tools zu authentifizieren, die er verwenden möchte.

In diesem Fall haben Sie jedoch Bright Data bereits im Composio-Dashboard konfiguriert, sodass Sie im Code eine explizite Verbindung herstellen möchten. Dazu gehen Sie wie folgt vor:

  • Geben Sie „brightdata” im Toolkit -Argument an (das ist der offizielle Slug für das Composio Bright Data-Toolkit).
  • Ordnen Sie „brightdata” seiner Auth-Konfigurations-ID in auth_configs zu.

Wenn Sie sich fragen, wo Sie diese Informationen (Slug + Auth Config ID) finden können, finden Sie sie auf der Seite „Auth Configs” für das Bright Data-Toolkit im Composio-Dashboard:
The Auth Config ID and toolkit slug

Hinweis: In Composio beginnen Auth Config IDs mit dem Präfix „ac”. Beachten Sie außerdem, dass Toolkit-Slugs nicht zwischen Groß- und Kleinschreibung unterscheiden, sodass „BRIGHTDATA” gleichbedeutend mit „brightdata” ist.

Jetzt können Sie überprüfen, ob Bright Data korrekt verbunden ist, mit:

toolkits = session.toolkits()
for toolkit in toolkits.items:
    print(toolkit.name)
    print(toolkit.connection)

Das Ergebnis sollte lauten:

Bright Data
ToolkitConnection(is_active=True, auth_config=ToolkitConnectionAuthConfig(id='ac_XXXXXXXXX', mode='API_KEY', is_composio_managed=False), connected_account=ToolkitConnectedAccount(id='ca_YYYYYYYY', status='ACTIVE'))

Dies bestätigt, dass:

  • Die Toolkit-Verbindung ist aktiv.
  • Der Status des verbundenen Kontos ist AKTIV.

Das bedeutet, dass das Composio SDK erfolgreich mit Ihrer Bright Data-Integration verbunden wurde und das Toolkit nun von Ihrem KI-Agenten verwendet werden kann. Großartig!

Schritt 6: Definieren Sie den KI-Agenten

Angesichts der Composio Tool Router-Sitzung rufen Sie die verfügbaren Tools mit folgendem Befehl ab:

tools = session.tools()

Übergeben Sie diese Tools wie folgt an einen OpenAI Agents KI-Agenten:

from agents import Agent

agent = Agent(
    name="Web Data Assistant",
    instructions=(
        "Sie sind ein hilfreicher Assistent mit Zugriff auf das Toolkit von Bright Data "
        "für Web-Scraping, Datenzugriff und Web-Unlocking."
    ),
    model="gpt-5-mini",
    tools=tools,
)

Dadurch wird ein Webdaten-Assistent erstellt, der auf dem GPT-5-Mini-Modell basiert und dessen Integration mit den Bright Data-Tools vollständig berücksichtigt.

Hinweis: Die Authentifizierung für Ihr OpenAI-Konto erfolgt automatisch, da das OpenAI Agents SDK nach der Umgebungsvariablen OPENAI_API_KEY (die Sie zuvor festgelegt haben) sucht.

Mission abgeschlossen! Sie verfügen nun über einen OpenAI-basierten KI-Agenten, der über Composio auf einfache Weise in Bright Data integriert ist. Jetzt müssen Sie ihn nur noch in einem realistischen Szenario testen.

Schritt 7: Den Agenten ausführen

Um zu überprüfen, ob der KI-Agent funktioniert, müssen Sie ihm eine Aufgabe zuweisen, die den Zugriff auf Webdaten erfordert. Sie könnten ihn beispielsweise bitten, ein gängiges Marketing-Szenario zu bearbeiten, wie z. B. die Durchführung einer Stimmungsanalyse zu einem bestimmten Produkt anhand seiner Bewertungen.

In diesem Fall konzentrieren wir uns auf G2-Bewertungen für das Composio-Produkt selbst. Geben Sie die Aufgabe wie folgt an:

task = """"
1. Rufen Sie die Bewertungen von der folgenden G2-URL mit dem am besten geeigneten Scraper/Datensatz ab:
'https://www.g2.com/products/composio/reviews'
2. Warten Sie und fragen Sie ab, bis der Snapshot fertig ist.
3. Rufen Sie den Snapshot mit allen gesammelten Daten ab.
4. Analysieren Sie die Bewertungen und die abgerufenen Informationen.
5. Erstellen Sie einen strukturierten Markdown-Bericht, der Folgendes enthält:
   - Einen Abschnitt zur Sentimentanalyse mit direkten Zitaten aus den Bewertungen
   - Umsetzbare Erkenntnisse und Verbesserungsvorschläge
"""

Dies ist etwas, was ein Vanilla-LLM nicht leisten kann, da es keinen Zugriff auf Live-G2-Bewertungen hat. Außerdem ist G2 aufgrund seiner aggressiven Anti-Bot-Maßnahmen bekanntermaßen schwer zu scrapen.

Stattdessen wird vom KI-Agenten erwartet, dass er:

  1. Die Tools von Bright Data aufzurufen, um den für dieses Szenario am besten geeigneten Scraper auszuwählen (z. B. den Bright Data G2 Scraper).
  2. Den Scraper auf der Ziel-G2-URL ausführt.
  3. Mit dem speziellen Tool auf den resultierenden Snapshot mit den gescrapten Bewertungen zu warten und diesen abzufragen.
  4. Den Snapshot analysiert und den endgültigen strukturierten Bericht erstellt.

Führen Sie den Agenten mit folgendem Befehl aus:

import asyncio
from agents import Runner

# KI-Agent ausführen
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # Um Blockierungen zu vermeiden, da der Snapshot mehr als 10 (Standardwert für max_turns) Tool-Aufrufe überprüft.
    )

    # Das Ergebnis des Agenten im Terminal streamen
    async for event in result.stream_events():
        # Modellausgabetext während des Streamings ausgeben
        if event.type == "raw_response_event":
            # Prüfen, ob das Ereignis Ausgabetextdaten enthält (response.output_text.delta)
            if event.data.type == "response.output_text.delta":
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

Perfekt! Ihr Composio + Bright Data KI-Agent ist nun fertiggestellt.

Schritt 8: Alles zusammenfügen

Ihre Datei agent.py sollte nun Folgendes enthalten:

import asyncio
from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider
from agents import Agent, Runner
from dotenv import load_dotenv

# Lade Umgebungsvariablen aus der .env-Datei
load_dotenv()

# Die externe Benutzer-ID von Composio
COMPOSIO_EXTERNAL_USER_ID = "pg-YYYYYYYYYYYYYYYYYYYYYYYYYYYYY" # Ersetzen Sie diese durch Ihre Composio-Benutzer-ID

# Initialisieren Sie Composio mit dem OpenAI Agents-Anbieter
composio = Composio(provider=OpenAIAgentsProvider())

# Erstellen Sie eine Tool-Router-Sitzung.
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Ersetzen Sie dies durch Ihre Auth-Konfigurations-ID für das Bright Data-Toolkit.
)

# Zugriff auf die Composio-Tools
tools = session.tools()

# Erstellen eines KI-Agenten mit Tools unter Verwendung des OpenAI Agents SDK
agent = Agent(
    name="Web Data Assistant",
    instructions=(
        "Sie sind ein hilfreicher Assistent mit Zugriff auf das Bright Data-Toolkit "
        "für Web-Scraping, Datenzugriff und Web-Unlocking."
    ),
    model="gpt-5-mini",
    tools=tools,)


# Beschreiben Sie die Sentimentanalyse-Aufgabe mit aktuellen Webdaten von G2
task = """"
1. Rufen Sie die Bewertungen von der folgenden G2-URL mit dem am besten geeigneten Scraper/Datensatz ab:
'https://www.g2.com/products/composio/reviews'
2. Warten und abfragen, bis der Snapshot bereit ist.
3. Den Snapshot mit allen gesammelten Daten abrufen.
4. Die Bewertungen und die abgerufenen Informationen analysieren.
5. Einen strukturierten Markdown-Bericht erstellen, der Folgendes enthält:
   - Einen Abschnitt zur Sentimentanalyse mit direkten Zitaten aus den Bewertungen
   - Umsetzbare Erkenntnisse und Empfehlungen für Verbesserungen
"""

# Den KI-Agenten ausführen
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # Um Blockierungen zu vermeiden, da der Snapshot mehr als 10 (Standardwert für max_turns) Tool-Aufrufe überprüft.
    )

    # Das Ergebnis des Agenten im Terminal streamen.
    async for event in result.stream_events():
        # Modellausgabetext während des Streamings ausgeben
        if event.type == "raw_response_event":
            # Prüfen, ob das Ereignis Ausgabetextdaten enthält (response.output_text.delta)
            if event.data.type == "response.output_text.delta":
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

Starten Sie es in Ihrer aktivierten virtuellen Umgebung mit:

python agent.py 

Der Agent benötigt einige Zeit, um die erforderlichen Daten über Bright Data-Dienste autonom abzurufen. Nach Abschluss des Vorgangs wird ein Markdown-Bericht direkt im Terminal gestreamt:
A portion of the Markdown report result produced by the agent

Kopieren Sie diese Ausgabe und fügen Sie sie in einen Markdown-Viewer ein. Sie sollten dann etwa Folgendes sehen:
Exploring the Markdown report

Beachten Sie, dass der Bericht lang und genau ist und durch Zitate aus echten G2-Bewertungen untermauert wird:
The G2 reviews from the target page

Um besser zu verstehen, was hinter den Kulissen passiert ist, überprüfen Sie die Registerkarte „Logs” in Ihrem Composio-Konto:

Sie werden sehen, dass der Agent Folgendes aufgerufen hat:

  1. Das Composio Bright Data-Tool „Browse Available Scrapers” (BRIGHTDATA_DATASET_LIST), um eine Liste aller verfügbaren Scraping-APIs und Datensätze abzurufen.
  2. Das Composio Bright Data-Tool „Trigger Site Crawl” (BRIGHTDATA_CRAWL_API ), um den G2-Scraper für die angegebene URL auszulösen und eine asynchrone Web-Scraping-Aufgabe in der Bright Data-Cloud zu starten.
  3. Das Composio Bright Data-Tool „Download Scraped Data” (BRIGHTDATA_GET_SNAPSHOT_RESULTS ), das so lange abgefragt hat, bis der Snapshot mit den gesammelten Daten fertig war.

Dies ist genau das erwartete Verhalten und bestätigt, dass der KI-Agent erfolgreich in Bright Data integriert wurde.

Et voilà! Mit nur etwa 65 Zeilen Code haben Sie gerade einen KI-Agenten erstellt, der vollständig in alle in Composio verfügbaren Bright Data-Lösungen integriert ist.

Die Sentimentanalyse von G2-Bewertungen ist nur einer von vielen Anwendungsfällen, die von den Webdaten-Tools von Bright Data unterstützt werden. Passen Sie Ihre Eingabeaufforderungen an, um andere Szenarien zu testen, und entdecken Sie in der Composio-Dokumentation weitere erweiterte Funktionen, mit denen Sie Ihren Agenten produktionsreif machen können!

Fazit

In diesem Blogbeitrag haben Sie gesehen, wie Sie Bright Data-Funktionen in einem mit dem OpenAI Agents SDK erstellten KI-Agenten aktivieren können, was dank Composio vereinfacht wurde.

Mit dieser Integration war der KI-Agent in der Lage

  1. Automatisch den richtigen Scraper unter den vielen von Bright Data angebotenen zu finden.
  2. Das Tool für die Abfrage von Webdaten ausführen.
  3. strukturierte Daten aus dem Web abrufen
  4. Diese zu verarbeiten, um einen kontextreichen Bericht zu erstellen, der auf echten, aktuellen Informationen basiert.

Dies war nur ein Beispiel. Dank der umfassenden Palette an Bright Data-Diensten für KI können Sie KI-Agenten in die Lage versetzen, komplexe Web-Interaktionen zu automatisieren!

Erstellen Sie noch heute kostenlos ein Bright Data-Konto und beginnen Sie mit unseren KI-fähigen Webdaten-Tools zu arbeiten!