`) mithilfe des `find_all('p')` Selektors finden. ## Beautiful Soup für Web-Scraping verwenden Bevor Sie mit dem Scraping von Daten von Webseiten beginnen, müssen Sie festlegen, welche Daten Sie scrapen möchten und wie Sie dabei vorgehen werden. Sie können die Entwicklertools Ihres Webbrowsers verwenden, um Elemente auf der Webseite zu untersuchen. Der folgende Screenshot zeigt beispielsweise die DOM-Elemente für den Zitate-Block auf der [Quotes to Scrape](https://quotes.toscrape.com/) Webseite: Beachten Sie, dass der Zitattext innerhalb eines `span` Tags und der Autorenname innerhalb des `small` Tags steht. Zusätzlich zu Tags können Sie eine Kombination aus [HTML-Attributen und CSS-Selektoren](https://beautiful-soup-4.readthedocs.io/en/latest/index.html?highlight=html.parser#kinds-of-objects) verwenden, um bestimmte Elemente auszuwählen. In diesem Leitfaden werden Sie Zitate und Autorennamen von der **Quotes to Scrape** Seite scrapen. ### Ein neues Projekt erstellen Erstellen Sie zunächst ein neues Projektverzeichnis namens `beautifulsoup-scraping-example` für die Scraping-Skripte und navigieren Sie mit den folgenden Befehlen dorthin: ```none mkdir beautifulsoup-scraping-example cd beautifulsoup-scraping-example ``` Beim Web-Scraping müssen Sie zunächst den Webseiteninhalt von einer URL über eine HTTP-`GET`-Anfrage abrufen. Installieren Sie die [requests-Bibliothek](https://pypi.org/project/requests/) mit dem folgenden Befehl: ```none pip install requests ``` Sie werden diese Bibliothek später für `GET`-Anfragen verwenden. Für die eigentliche Web-Scraping-Aufgabe installieren Sie die beautifulsoup4 Python-Bibliothek mit dem folgenden Befehl: ```none pip install beautifulsoup4 ``` Sie könnten die Liste der Abhängigkeiten auch in einer Datei speichern, um am Skript zusammenzuarbeiten oder es in einem Versionskontrollsystem zu hinterlegen. Erstellen Sie eine `requirements.txt` Datei im Projektstammverzeichnis mit folgendem Inhalt: ```none requests beautifulsoup4 ``` Installieren Sie dann die in der Datei definierten Abhängigkeiten mit diesem Befehl: ```none pip install -r requirements.txt ``` ### Ihr Web-Scraping-Skript definieren Als Nächstes müssen Sie ein Python-Skript definieren, das den Webseiteninhalt abruft und ihn mithilfe von `BeautifulSoup` parst, um ein `soup`-Objekt zu erzeugen. Sie können verschiedene Selektoren mit dem `soup`-Objekt verwenden, um Elemente auf der Webseite zu finden und die gewünschten Informationen daraus zu extrahieren. Erstellen Sie zunächst eine Python-Skriptdatei namens `main.py` im Stammverzeichnis Ihres Projekts und fügen Sie `import`-Anweisungen für `requests` und `beautifulsoup4` hinzu: ```none import requests from bs4 import BeautifulSoup ``` Definieren Sie anschließend eine Methode, die eine Web-URL entgegennimmt und den Seiteninhalt zurückgibt: ```none def get_page_contents(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36' } page = requests.get(url, headers=headers) if page.status_code == 200: return page.text return None ``` Beachten Sie, dass die `get_page_contents`-Methode die `requests`-Bibliothek verwendet, um eine `GET`-Methode aufzurufen und die `text`-Antwort zurückzugeben. Beachten Sie außerdem, dass die Methode den `User-Agent`-Header zusammen mit der `GET`-Anfrage übergibt, um eine Fehlerantwort vom Webserver zu vermeiden. Die Übergabe des `User-Agent`-Headers ist optional, aber einige Webserver könnten die Anfrage ablehnen, wenn sie einen unbekannten User Agent erhalten. Um Zitate und Autoren aus dem Seiteninhalt zu scrapen, definieren Sie eine Methode, die `BeautifulSoup` verwendet, um die rohen HTML-Daten zu parsen und die gewünschten Daten zurückzugeben: ```none def get_quotes_and_authors(page_contents): soup = BeautifulSoup(page_contents, 'html.parser') quotes = soup.find_all('span', class_='text') authors = soup.find_all('small', class_='author') return quotes, authors ``` Hier nimmt die Methode den `page_contents` entgegen, der von der `get_page_contents`-Methode abgerufen wurde. Sie erstellt eine Instanz von `BeautifulSoup` unter Verwendung des Seiteninhalts und gibt den zu verwendenden Parser-Typ an. Wenn Sie das zweite Argument weglassen, verwendet Beautiful Soup automatisch den besten auf dem Gerät installierten Parser basierend auf dem Seiteninhalt. Anschließend verwendet es die `soup`-Instanz, um alle Elemente für Zitate und Autoren zu finden, und nutzt die `find_all`-Methode, um die Elemente anhand der Tags auszuwählen. Schließlich wird ein CSS-Selektor zur Verfeinerung der Suchkriterien angegeben. Fügen Sie nun alles zusammen und ergänzen Sie das folgende Code-Snippet am Ende der `main.py`-Datei: ```none if __name__ == '__main__': url = 'http://quotes.toscrape.com' page_contents = get_page_contents(url) if page_contents: quotes, authors = get_quotes_and_authors(page_contents) for i in range(len(quotes)): print(quotes[i].text) print(authors[i].text) print() else: print('Failed to get page contents.') ``` Dieser Code verwendet `get_page_contents` zum Abrufen des Seiteninhalts und nutzt diesen, um alle `quotes` und `authors` mithilfe der `get_quotes_and_authors`-Methode zu erhalten. Abschließend iteriert er über die Liste der Zitate und gibt die Ergebnisse aus. Testen Sie das Skript durch Ausführen des folgenden Befehls: ```none python main.py ``` Ihre Ausgabe sollte wie folgt aussehen: ```none "The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking." Albert Einstein --- OUTPUT OMITTED --- "A day without sunshine is like, you know, night." Steve Martin ``` Wie Sie sehen, haben Sie nun erfolgreich ein Scraping-Skript erstellt. Wenn Sie mehr erfahren möchten, lesen Sie unseren Leitfaden zum [Web-Scraping mit Python](/blog/how-tos/web-scraping-with-python), der einige fortgeschrittenere Scraping-Techniken enthält. Der gesamte hier verwendete Code ist in diesem [GitHub-Repository](https://github.com/maskaravivek/beautifulsoup-scraping-example) verfügbar. ## Häufige Herausforderungen bewältigen Je nach Komplexität der zu scrapenden Webseite können beim Scraping folgende Herausforderungen auftreten: ### Dynamische Inhalte Einige Websites laden Inhalte dynamisch über JavaScript, anstatt sie statisch zu rendern (wie die **Quotes to Scrape**-Webseite, die Sie hier verwendet haben). Die **Scraping Sandbox**-Startseite listet beispielsweise eine JavaScript-Version derselben Webseite auf, die dynamisch gerendert wird. Prüfen Sie nun, ob das erstellte Skript mit diesem dynamischen Inhalt funktioniert. Ersetzen Sie die `url` im `main.py`-Skript durch folgende: ```none # update URL in the main.py script url = 'https://quotes.toscrape.com/js/' ``` Führen Sie dann das Skript aus. Sie werden feststellen, dass die Ausgabe leer ist. Wenn Sie dynamische Inhalte rendern und scrapen möchten, müssen Sie einen Headless-Browser wie Selenium verwenden. Ein [Headless-Browser](/blog/proxy-101/what-is-a-headless-browser) läuft ohne grafische Benutzeroberfläche (GUI) und ermöglicht die automatisierte Manipulation einer Webseite in einer Umgebung, die gängigen Webbrowsern ähnelt. Selenium ermöglicht das Scraping von Webseiten, die auf JavaScript angewiesen sind, indem ein echter Browser zum Rendern der Webseiten genutzt wird. ### Paginierung Neben dynamischen Inhalten können Webseiten auch Paginierung auf verschiedene Arten implementieren. Bevor Sie Daten scrapen, müssen Sie verstehen, wie die Paginierung auf der zu scrapenden Website umgesetzt wurde. Gängige Techniken für die Paginierung umfassen folgende: #### Markierungen oder URL-Muster Die Webseite könnte Markierungen für `Vorherige` und `Nächste` Seiten mit URLs enthalten. Außerdem könnte die Website einem bestimmten Muster für paginierte Inhalte folgen. Die **Quotes to Scrape**-Seite hat beispielsweise eine `Nächste`-Seiten-Markierung am unteren Rand. Sie können die Beautiful Soup-Bibliothek verwenden, um die Markierung der nächsten Seite zu `finden` und deren relativen Link zu erhalten, um die URL für die nächste Seite zu konstruieren und deren Daten zu scrapen. #### Endloses Scrollen Endloses Scrollen bezeichnet das Laden weiterer Inhalte beim Herunterscrollen einer Webseite. Die **ToScrape**-Website bietet beispielsweise eine Scroll-Version der **Quotes to Scrape**-Seite, die beim Scrollen weitere Zitate lädt. Für solche Webseiten müssen Sie einen Headless-Browser mit Scroll-Funktionalität verwenden. Sie können Seleniums Scroll-Rad-Aktion nutzen, um die Webseite zu scrollen und weitere Inhalte zu laden. ### Fehlerbehandlung Beim Web-Scraping können gewünschte Elemente manchmal fehlen oder fehlerhafte Daten enthalten. Die Behandlung dieser Szenarien ist entscheidend für konsistente Ergebnisse. Das Einbetten des Scraper-Codes in einen `try-catch`-Block verhindert, dass das Skript bei unerwarteten Fehlern abstürzt. Auf der **Quotes to Scrape**-Website könnte beispielsweise der Autorenname bei einigen Zitaten fehlen. Sie können die `get_quotes_and_authors`-Methode so anpassen, dass ein `try-catch`-Block den Fehler abfängt und protokolliert: ```none def get_quotes_and_authors(page_contents): soup = BeautifulSoup(page_contents, 'html.parser') try: quotes = soup.find_all('span', class_='text') authors = soup.find_all('small', class_='author') except Exception as e: print(e) return None, None return quotes, authors ``` ## Bonusabschnitt – Tipps und Tricks In diesem Abschnitt werden einige interessante Tricks vorgestellt, die Ihnen helfen, den Scraping-Prozess mit Beautiful Soup zu optimieren. ### Alle verwendeten Tags in einem Dokument finden Um HTML-Tags zu finden, können Sie Bibliotheken wie Beautiful Soup in Python verwenden. Ein Ansatz besteht darin, eine HTML-Datei mit Beautiful Soup einzulesen und anschließend durch Iteration über ihre Nachkommen eine Liste aller vorhandenen Tags zu extrahieren. Mithilfe des von Beautiful Soup bereitgestellten `soup.descendants`-Generators können Sie auf den Namen jedes Tags zugreifen und ihn ausgeben, der Teil der HTML-Struktur ist. Dieser Prozess umfasst das Öffnen der HTML-Datei, das Parsing mit Beautiful Soup und die anschließende Iteration durch die Nachkommen, um die Namen der im Dokument vorkommenden HTML-Tags zu identifizieren und anzuzeigen. ### Den vollständigen Inhalt aus HTML-Tags extrahieren Hier ist eine schrittweise Anleitung zur Durchführung dieser Operation: 1. Beginnen Sie mit dem Import der erforderlichen Bibliothek BeautifulSoup, die zum Parsing von HTML- und XML-Dokumenten verwendet wird. 2. Öffnen Sie die HTML-Datei mit dem zu extrahierenden Inhalt. Nutzen Sie dafür Pythons Dateiverarbeitungsfunktionen. Lesen Sie den Dateiinhalt und speichern Sie ihn in einer Variable. 3. Erstellen Sie ein BeautifulSoup-Objekt, indem Sie den Inhalt der HTML-Datei zusammen mit dem angegebenen Parser (in diesem Fall “html.parser”) übergeben. 4. Sobald das BeautifulSoup-Objekt erstellt ist, können Sie über die Tag-Namen als Attribute auf bestimmte HTML-Tags im Dokument zugreifen. Wenn Sie beispielsweise den Inhalt innerhalb eines h2-Tags extrahieren möchten, können Sie mit `soup.h2` darauf zugreifen. 5. Ebenso können Sie den Inhalt innerhalb von Absätzen (`
`) und Listenelementen (`