Wie erhält man den HTML-Quelltext in Selenium?

Bei der Verwendung von Selenium für Web-Scraping wird häufig der HTML-Quelltext einer Webseite benötigt. Besonders wichtig ist dies bei dynamischen Websites, bei denen sich der Inhalt aufgrund von Benutzerinteraktionen oder durch die Ausführung von JavaScript ändert. Dank Selenium, einem leistungsstarken Tool zur Web-Automatisierung, lässt sich diese Aufgabe problemlos bewältigen. Zum Abrufen der HTML-Quelle einer Webseite mit Selenium kann das Attribut page_source dienen. Dieses Attribut ruft den gesamten HTML-Inhalt der aktuellen Seite ab, der dann je nach Bedarf geparst oder verarbeitet werden kann. Im Folgenden finden Sie ein Beispiel dafür, wie man den HTML-Quelltext in Selenium mit Python abrufen kann:

      from selenium import webdriver # Den WebDriver einrichten (in diesem Beispiel mit Chrome) driver = webdriver.Chrome() # Zur gewünschten Webseite navigieren driver.get('https://www.example.com') # Den HTML-Quelltext der Seite abrufen html_source = driver.page_source # Den HTML-Quelltext ausdrucken print(html_source) # Den WebDriver schließen driver.quit()

Im vorliegenden Beispiel navigiert der WebDriver zu einer bestimmten URL, ruft die HTML-Quelle mit page_source ab und gibt diese dann aus. Diese Methode ist besonders beim Scraping von dynamischen Websites praktisch, da sie den vollständig gerenderten HTML-Code nach Ausführung von JavaScript erfasst.

Fazit

Die Nutzung von Selenium für Web-Scraping eröffnet Ihnen das Potenzial, mit Web-Elementen zu interagieren, Benutzeraktionen zu simulieren und Daten von dynamischen Websites abzurufen. Die Erstellung und Wartung Ihrer eigenen Scraper kann allerdings zeitaufwändig und komplex sein. Stattdessen können Sie die Web-Scraping-APIs von Bright Data nutzen, um Websites spielend leicht zu scrapen. Diese APIs übernehmen alle Feinheiten des Web-Scraping und stellen jeder Anwendung strukturierte Daten über eine API bereit. Dadurch ersparen Sie sich die mühsame Verwaltung von Scrapern und gewährleisten hochwertige Ergebnisse.

Gratis-Test starten Mit Google loslegen