Aufbau von AI-Agenten mit Scraping-Fähigkeiten in xpander.ai

In diesem Artikel werden Sie sehen:

• Was die xpander.ai-Plattform ist und was sie für den Aufbau von KI-Agenten bietet.
• Warum KI-Agenten Zugang zum Internet brauchen, um wirklich effektiv zu sein.
• Wie man die integrierten Bright Data-Tools in einen xpander.ai-Agenten integriert, um ihm Web-Scraping-Funktionen zu geben.

Lasst uns eintauchen!

Was ist xpander.ai?

Xpander.ai ist eine Backend-as-a-Service-Plattform für den Aufbau autonomer KI-Agenten. Es handelt sich um eine No-Code-Lösung, die Entwicklern in Unternehmen helfen soll, KI-Agenten effizient zu erstellen, zu testen und einzusetzen. Sie enthält auch ein Open-Source-SDK, mit dem KI-Agenten programmatisch erstellt und ausgeführt werden können.

Die Plattform bietet eine visuelle Umgebung zur Definition von Multi-Agenten-Workflows und Zusammenarbeit. Außerdem können Sie Tools hinzufügen und in Unternehmenssysteme integrieren. Außerdem können Sie das Verhalten der Agenten simulieren und testen, bevor Sie in Betrieb gehen.

Die wichtigsten Merkmale sind:

• Agent Graph System: Gewährleistet die zuverlässige Ausführung von Agenten in mehreren Schritten.
• Agentische Konnektoren: Ermöglicht Agenten die Verbindung zu verschiedenen Systemen und APIs von Drittanbietern.

Die Bedeutung frischer Webdaten für akkurate KI-Agenten

Unabhängig davon, für welche KI-Plattform, Bibliothek oder welches Tool Sie sich entscheiden, gibt es eine grundlegende Einschränkung. Das heißt, LLMs können nur Aufgaben ausführen und Fragen beantworten, die auf den Daten basieren, mit denen sie trainiert wurden. Dies ist eine große Hürde bei der Entwicklung von KI-Agenten, von denen Aktionen erwartet werden, die über die statischen Fähigkeiten eines typischen LLMs hinausgehen.

Um genauer, einsatzfähiger und effektiver zu sein, brauchen KI-Agenten also Zugang zum Internet. Sie sollten in der Lage sein, Webseiten zu lesen und deren Inhalt als Grundlage für ihre Antworten und Entscheidungen zu nutzen. Schließlich ist das Internet eine der reichhaltigsten und aktuellsten Datenquellen.

Es reicht jedoch nicht aus, einfach nur Zugang zum Internet zu haben. Die meisten Websites setzen Anti-Scraping- und Anti-Bot-Maßnahmen ein, um automatische KI-Crawler zu blockieren. Das bedeutet, dass Ihre Agenten leistungsstarke Tools benötigen, mit denen sie Daten aus Webseiten extrahieren können, und zwar in einem für die KI-Verarbeitung optimierten Format.

Genau das soll die KI-Infrastruktur von Bright Databieten , diein xpander.ai über integrierte Konnektoren verfügbar ist. Zu ihren zahlreichen Funktionen gehört, dass Ihre KI-Agenten ohne Code frische Daten von über 50 beliebten Plattformen im strukturierten JSON-Format abrufen können.

Bright Data kümmert sich um die Handhabung von CAPTCHAs, IP-Sperren, Ratenbeschränkungen und mehr. In Kombination mit dem KI-Agenten-Builder von xpander.ai können Sie all dies integrieren, ohne eine einzige Zeile Code schreiben zu müssen. Das Ergebnis? Ein produktionsreifer KI-Agent mit Echtzeit-Zugang zu zuverlässigen Webdaten!

So integrieren Sie den Bright Data Connector für den Aufbau eines xpander.ai Scraping Agent

In diesem Leitfaden erfahren Sie, wie Sie einen KI-Agenten in xpander.ai erstellen. Insbesondere werden Sie den Bright Data-Konnektor verwenden, um Ihrem Agenten die Möglichkeit zu geben, Daten aus dem Web zu scrapen.

Wir zeigen, wie man einen Web-Scraping-Agenten erstellt, der seine Antworten durch den Abruf von Live-Daten aus dem Internet begründet. Dies ist nur ein Beispiel dafür, was mit der xpander.ai + Bright Data Integration möglich ist. Sie können diesen Ansatz leicht an viele andere Anwendungsfälle anpassen.

Hinweis: In gewissem Sinne funktioniert dieses Beispiel wie ein RAG-Agent-Workflow. Der Grund dafür ist, dass der Bright Data Connector als Abrufkomponente fungiert und aktuelle Daten für den Agenten abruft.

Führen Sie die folgenden Schritte aus, um Ihren KI-Scraping-Agenten in xpander ohne Code zu erstellen!

Voraussetzungen

Um dieses Tutorial nachzuvollziehen, benötigen Sie Folgendes:

• Ein xpander.ai-Konto: Ein kostenloses Konto ist für einfache Tests ausreichend. Für fortgeschrittene Anwendungsfälle benötigen Sie einen kostenpflichtigen Plan.
• Ein Bright Data-API-Schlüssel: Sie können einen solchen Schlüssel kostenlos erstellen, wie in der offiziellen Anleitung beschrieben.

Wenn Sie diese noch nicht haben, klicken Sie auf die obigen Links und folgen Sie den Anweisungen zur Einrichtung. Los geht’s!

Schritt 1: Einen neuen Agenten erstellen

Melden Sie sich bei xpander.ai an und gehen Sie zu Ihrem Profil-Dashboard. Klicken Sie im Menü auf der linken Seite auf “Agent” und dann auf die Schaltfläche “Neuer Agent”, um einen neuen Agenten hinzuzufügen:

Sie gelangen auf die folgende Seite mit einem Formular, in dem Sie Ihren neuen Agenten einrichten können. Geben Sie ihm einen Namen wie “Web Scraper Agent”:

Lassen Sie alle anderen Einstellungen auf der Registerkarte “Allgemein” unverändert. Die Standardeinstellungen sind für eine einfache Einrichtung wie diese ausreichend. Standardmäßig verwendet xpander.ai OpenAIs GPT-4o als LLM-Modell.

Super! Sie haben jetzt einen neuen leeren KI-Agenten in xpander.ai fertig.

Schritt Nr. 2: Einrichten von Bright Data Tools für Web Scraping

Im Moment kann Ihr Agent nur Aktionen ausführen, die vom ausgewählten LLM-Anbieter angeboten werden. Es ist an der Zeit, ihn mit Web-Scraping-Fähigkeiten mit Bright Data aufzuladen.

Gehen Sie dazu auf die Registerkarte “Werkzeuge” auf der Seite Ihres Agenten und klicken Sie dann auf die Schaltfläche “Werkzeuge hinzufügen”:

Auf der rechten Seite wird ein Bereich mit dem Titel “Tools hinzufügen” angezeigt. Suchen Sie nach “Bright Data” und wählen Sie die Bright Data-Integration aus:

Das folgende Modal wird angezeigt:

Füllen Sie es wie folgt aus:

• Name des Connectors: Geben Sie Ihrem Bright Data Connector einen Namen (z. B. “Bright Data Connector”).
• Authentifizierungsmodus: Wählen Sie die Option “API-Schlüssel”.
• Authentifizierungsbereich:
  • Wählen Sie die Option “Integrationsbenutzer”.
  • Fügen Sie Ihren Bright Data-API-Schlüssel ein.
  • Wählen Sie die Option “Bearer”. Dadurch wird der API-Schlüssel im Authorization-Header über das Bearer-Muster übergeben, das eine von den Bright Data-APIs unterstützte Authentifizierungsmethode ist.

Wenn Sie alles ausgefüllt haben, klicken Sie auf die Schaltfläche “Speichern”.

Nun werden Sie aufgefordert, die spezifischen Bright Data-Tools auszuwählen, die Sie in Ihrem Agenten aktivieren möchten:

Wir empfehlen, alle Tools auszuwählen, um alle Web-Scraping-Funktionen freizuschalten. Zum jetzigen Zeitpunkt sind die folgenden Tools verfügbar:

• Datenerfassungsauftrag nach Dataset-ID starten: Startet einen Scraping-Auftrag für ein angegebenes Dataset unter Verwendung der Web Scraper APIs.
• Proxy-Anforderung nach URL ausführen: Sendet eine HTTP-Anfrage über das Proxy-Netzwerk von Bright Data, um auf den Inhalt einer beliebigen Webseite zuzugreifen.
• Datensatz-Snapshot nach ID herunterladen: Lädt einen Snapshot eines Datensatzes in verschiedenen Formaten herunter und übergibt die Daten an die KI.

Sobald Sie die gewünschten Werkzeuge ausgewählt haben, klicken Sie auf die Schaltfläche “Zum Agenten hinzufügen” in der rechten unteren Ecke:

Auf der Registerkarte “Tools” Ihres Agenten wird nun der Bright Data Connector mit den von Ihnen konfigurierten Tools angezeigt:

Beachten Sie, dass Sie auf ein beliebiges Werkzeug klicken können, um dessen Konfiguration anzuzeigen oder anzupassen.

Fantastisch! Ihr KI-Agent ist jetzt vollständig in die Bright Data-Tools integriert und bereit, das Web zu scrapen.

Schritt #3: Spezialisieren Sie Ihren AI Scraping Agent

Da Ihr Agent nun Zugriff auf die Bright Data-Tools für das Web-Scraping hat, geben Sie ihm eine benutzerdefinierte Systemeingabeaufforderung. Diese teilt dem Agenten mit, was er ist und wie er arbeiten soll.

Klicken Sie dazu auf die Registerkarte “Anweisungen” und fügen Sie in das Textfeld “Eingabeaufforderung” etwas wie den folgenden Text ein:

You are an AI agent capable of grounding your responses by scraping data from the web

Für speziellere Agenten können Sie auch benutzerdefinierte Regeln und Ziele hinzufügen.

Erstaunlich! Ihr Xpander-Schürfmittel ist fertig.

Schritt #4: Alles zusammenfügen

Klicken Sie auf die Schaltfläche “Agentendiagramm”, um Ihren aktuellen AI-Agenten-Workflow anzuzeigen:

Sie sehen einen einzelnen Agenten mit Zugriff auf die drei konfigurierten Bright Data-Tools für Web Scraping.

Gut gemacht! Jetzt müssen Sie den Wirkstoff nur noch testen und in Aktion erleben.

Schritt #5: Testen Sie den Web Scraper Agent

Gehen Sie zurück zur Registerkarte “Tester-Chat” und testen Sie Ihren Agenten mit einer Eingabeaufforderung wie dieser:

Search for top 3 headphones under $100 and provide me info from their PDP's

Dadurch wird Ihr Web-Scraping-Agent angewiesen, dynamisch online nach den Top 3 Kopfhörern unter 100 $ zu suchen und Informationen direkt von deren Produktdetailseiten (PDPs) abzurufen.

Wie Sie sich vorstellen können, wäre ein Standard-LLM in der Lage, diese Art von Aufgabe ohne Zugang zu speziellen Scraping-Tools, wie sie von Bright Data angeboten werden, zu bewältigen.

Fügen Sie die Aufforderung in die Chat-Eingabe ein und senden Sie sie an Ihren Agenten:

Der Agent verwendet die LLM- und Bright Data-Tools, um:

1. Führen Sie eine Websuche durch und finden Sie die 3 besten Kopfhörer.
2. Starten Sie für jedes Produkt einen Datenerfassungsauftrag und laden Sie die Daten von Amazon herunter.
3. Fassen Sie die Informationen in einer kurzen, präzisen Antwort zusammen, komplett mit echten Links zu den Amazon-Produktdetailseiten.

Wenn Sie einen der Werkzeugbereiche in der Benutzeroberfläche erweitern, sehen Sie etwa so aus:

Dies beweist, dass der KI-Agent hinter den Kulissen automatisch erkannt hat, welche Bright-Data-Tools zur Erfüllung der Aufgabe zu verwenden sind. Im Detail rief er sie mit den richtigen Parametern auf, um frische gescrapte Daten (in diesem Fall direkt von Amazon-Produktseiten) abzurufen.

Et voilà! Sie haben jetzt einen voll funktionsfähigen Scraping-Agenten auf xpander.ai, der von der KI-Dateninfrastruktur von Bright Data unterstützt wird.

Nächste Schritte

Jetzt, wo Sie einen von Bright-Data betriebenen Xpander-Scraping-Agenten haben, können Sie ihn einsetzen:

• Stellen Sie Ihren Agenten bereit: Führen Sie Ihren KI-Agenten direkt auf der xpander.ai-Plattform aus, oder stellen Sie ihn auf Ihrer eigenen Infrastruktur bereit, um mehr Kontrolle zu haben.
• Rufen Sie Ihren Agenten über API mit dem XpanderClient auf: Nutzen Sie das Xpander-SDK, um Agenten zu verwalten und Zugriff auf Hilfsfunktionen für die Arbeit mit LLM-Antworten zu erhalten.
• Entdecken Sie die offiziellen Workshops von xpander: Nehmen Sie an praktischen Workshops teil, die Sie durch den Aufbau kompletter KI-Agentenlösungen mit der xpander.ai-Plattform führen.

Schlussfolgerung

In diesem Artikel haben Sie erfahren, wie Sie mit xpander.ai einen KI-Scraping-Agenten ohne Code erstellen können. Möglich wurde dies durch den Bright Data Connector, der erweiterte Scraping-Tools für die Integration in xpander-Agenten bereitstellt.

Dies war nur ein einfaches Beispiel, aber vielleicht möchten Sie anspruchsvollere KI-Agenten entwickeln. Dafür benötigen Sie vertrauenswürdige Lösungen zum Abrufen, Validieren und Umwandeln von Webinhalten. Genau das können Sie in der KI-Agenteninfrastruktur von Bright Data finden.

Erstellen Sie noch heute ein kostenloses Bright Data-Konto und erkunden Sie unsere KI-fähigen Datentools!