--- title: "Anleitung zum Web Scraping mit Selenium" slug: using-selenium-for-web-scraping date: 2022-05-26T10:04:08+00:00 modified: 2026-06-30T13:53:56+00:00 permalink: https://brightdata.de/blog/wie/using-selenium-for-web-scraping type: blog --- [ Blog ](https://brightdata.de/blog "Blog") / [How Tos](https://brightdata.de/blog/wie) [How Tos](https://brightdata.de/blog/wie) # Anleitung zum Web Scraping mit Selenium Dies ist die einzige Schritt-für-Schritt-Anleitung, die Sie benötigen, um in weniger als 10 Minuten mit dem Erfassen von Webdaten auf Zielseiten zu beginnen und diese als CSV-Dateien zu speichern. 6 min lesen [ ![](https://media.brightdata.de/2023/04/Davis-David-50x50.png) ](https://brightdata.com/blog/authors/davis-david) [Davis David ](https://brightdata.com/blog/authors/davis-david) ![Web scraping with Selenium guide](https://media.brightdata.de/2022/05/Web-scraping-with-Selenium-guide2.svg) In diesem Artikel geht es um Folgendes: - Selenium: Was es ist und wie es verwendet wird - Eine Schritt-für-Schritt-Anleitung zum Scraping mit Selenium - Einbindung von Proxys mit Selenium Das entsprechende GitHub-Repository für diesen Artikel finden Sie [hier](https://github.com/Asterish/selenium_example). ## **Selenium: Was es ist und wie es verwendet wird** Selenium ist eine Open-Source-Software, die eine Vielzahl von Werkzeugen und Bibliotheken enthält, die automatisierte Browseraktivitäten ermöglichen. Dazu gehören: - Websitebasierte elementbezogene Aktionen/Abruf (z. B. schließen, zurück, get\_cookie, get\_screenshot\_as\_png, get\_window\_size) - Testen der Website - Verwaltung von Warnhinweisen und Cookies (hinzufügen/entfernen) - Übermittlung von Bestandteilen eines Formulars - Datenerfassung/Web Scraping Selenium ist kompatibel mit den meisten Browsern, darunter Firefox, Chrome, Safari und Internet Browser. Es kann verwendet werden, um Tests in einer Vielzahl von Programmiersprachen wie Python, Node.js, C#, JavaScript und PHP zu schreiben. Zur weiteren Hilfe habe ich einen Link zu der [official Selenium 4.1.5 documentation library](https://pypi.org/project/selenium/) (Bibliothek mit Dokumentation über Selenium 4.1.5) eingefügt. ### **Puppeteer im Vergleich zu Selenium** Denjenigen unter Ihnen, die darüber nachdenken, ob sie [Puppeteer oder Selenium](https://brightdata.de/blog/proxys-101/puppeteer-vs-selenium) verwenden sollten, kann ich sagen, dass Puppeteer besser geeignet ist, wenn Sie sich in erster Linie auf JavaScript und Chrome konzentrieren wollen. Selenium hingegen ist möglicherweise die bessere Wahl, wenn Sie mit mehreren verschiedenen Browsern arbeiten möchten, um Browseranwendungen zu testen und/oder Webdaten zu erfassen. ## **Eine Schritt-für-Schritt-Anleitung zum Scraping mit Selenium** ### **Erster Schritt: Selenium installieren** Diejenigen unter Ihnen, die PIP (d.h. den [Python Package Installer](https://pip.pypa.io/en/stable/)) auf Ihren Computern installiert haben, brauchen ihn nur zu öffnen und Folgendes einzugeben: ```none pip install -U selenium ``` Ansonsten können Sie [PyPI](https://pypi.org/project/selenium/#files) herunterladen, es entpacken und ausführen: ```none python setup.py install ``` Denken Sie daran, dass Sie einen Treiber benötigen, damit Selenium mit dem Browser Ihrer Wahl zusammenarbeiten kann. Hier finden Sie Links zu einigen der gängigsten Browsertreiber: - [Safari](https://webkit.org/blog/6900/webdriver-support-in-safari-10/) - [Firefox](https://github.com/mozilla/geckodriver/releases) - [Edge](https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/) - [Chrome](https://chromedriver.chromium.org/downloads) Nehmen wir Firefox als Beispiel für einen Browser. Sie öffnen Firefox, rufen eine Webseite auf, z. B. Yahoo, suchen nach „seleniumhq“ und schließen dann den Browser. Die Codierung würde folgendermaßen aussehen: ```none from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys browser = webdriver.Firefox() browser.get('http://www.yahoo.com') assert 'Yahoo' in browser.title elem = browser.find_element(By.NAME, 'p') # Find the search box elem.send_keys('seleniumhq' + Keys.RETURN) browser.quit() ``` ### **Zweiter Schritt: Hilfspakete importieren** Selenium wird nicht einzeln eingesetzt, sondern in Verbindung mit anderen Programmen, wie z. B. Pandas (einem einfach zu bedienenden Open-Source-Tool zur Datenanalyse). Geben Sie zu diesem Zweck Folgendes ein: ```none from selenium import webdriver import time import pandas as pd ``` ### **Dritter Schritt: Variablen definieren** Wir legen unseren Zielordner, die Suchanfrage und die Zielseite fest. In diesem Beispiel versuchen wir, verschiedene Stellenangebote, die von konkurrierenden Unternehmen auf LinkedIn veröffentlicht wurden, abzubilden. Sie sollten in etwa Folgendes eingeben: ```none FILE_PATH_FOLDER = 'F:....Competitive_Analysis' search_query = 'https://www.linkedin.com/q-chief-financial-officer-jobs.html' driver = webdriver.Chrome(executable_path='C:/.../chromedriver_win32/chromedriver.exe') job_details = [] ``` ### **Vierter Schritt: HTML-Tags prüfen** HTML-Seiten haben in der Regel eine eindeutige Kennung für jedes Tag, das mit den auf einer bestimmten Zielseite angezeigten Informationen verknüpft ist. Die Vorgehensweise besteht nun darin, diese Eigenschaft der HTML-Seite zu nutzen, um die betreffende Zielseite zu durchsuchen. Gehen Sie folgendermaßen vor: - Klicken Sie mit der rechten Maustaste auf eine beliebige Stelle der Seite und wählen Sie „inspect“. - Klicken Sie dann entweder auf den Pfeil, der in der linken oberen Ecke erscheint, oder drücken Sie die Tastenkombination Strg+Umschalt+C, um ein bestimmtes Element zu untersuchen und das gewünschte HTML-Tag zu erhalten. Folgendes wird angezeigt: ```none driver.get(search_query) time.sleep(5) job_list = driver.find_elements_by_xpath("//div[@data-tn-component='organicJob']") ``` ### **Fünfter Schritt: Spezifische Datenpunkte extrahieren** Wir extrahieren unsere Zieldatenpunkte, indem wir das Attribut ,find\_elements\_by\_xpath‘ vom Selenium Web-Treiber verwenden. Sobald die Zieldaten erfasst sind, beenden wir den Treiber und schließen den Browser. Wir steuern die Datenpunkte wie folgt an: - Berufsbezeichnung - Unternehmen - Arbeitsstätte - Stellenbeschreibung - Datum, an dem das Angebot hochgeladen wurde Folgendes wird angezeigt: ```none for each_job in job_list: # Getting job info job_title = each_job.find_elements_by_xpath(".//h2[@class='title']/a")[0] job_company = each_job.find_elements_by_xpath(".//span[@class='company']")[0] job_location = each_job.find_elements_by_xpath(".//span[@class='location accessible-contrast-color-location']")[0] job_summary = each_job.find_elements_by_xpath(".//div[@class='summary']")[0] job_publish_date = each_job.find_elements_by_xpath(".//span[@class='date ']")[0] # Saving job info job_info = [job_title.text, job_company.text, job_location.text, job_summary.text, job_publish_date.text] # Saving into job_details job_details.append(job_info) driver.quit() ``` Bitte beachten Sie, dass diese Selektoren vom Ziel geändert werden können. Daher sollten Sie sich vergewissern, dass die fraglichen Selektoren die richtigen sind, und nicht einfach davon ausgehen, dass schon alles stimmt. ### **Sechster Schritt: Daten zur Vorbereitung der Ausgabe speichern** An dieser Stelle sollten Sie dem Datenrahmen Spalten hinzufügen und das Attribut ,to\_csv‘ verwenden, um alle erhaltenen Daten folgendermaßen im CSV-Format zu speichern: ```none job_details_df = pd.DataFrame(job_details) job_details_df.columns = ['title', 'company', 'location', 'summary', 'publish_date'] job_details_df.to_csv('job_details.csv', index=False) ``` Die gewünschte CSV-Datei wird an den folgenden Ort heruntergeladen: FILE\_PATH\_FOLDER Das war’s, Sie haben soeben Ihren ersten Web-Scraping-Auftrag mit Selenium erfolgreich abgeschlossen. ## **Einbindung von Proxys mit Selenium** Die Einbindung von Proxys mit Selenium kann Ihnen bei Folgendem helfen: - Daten an verschiedenen Geostandorten zu erfassen - Daten in großem Umfang zu erfassen, ohne Gefahr zu laufen, blockiert zu werden (z. B. Ratenbeschränkungen für IP-Adressen, die „zu viele“ gleichzeitige/aufeinanderfolgende Datenanforderungen senden) In diesem Zusammenhang möchten Sie vielleicht einen Blick auf spezielle [Web-Unlocker](https://brightdata.de/products/web-unlocker) werfen. - Dieses Verfahren ermöglicht Ihnen die Erfassung von Daten aus der Sicht einer echten Nutzer-IP, sodass Sie keine irreführenden Informationen von potenziell verdächtigen Zielseiten erhalten. Die [Einbindung von Proxys mit Selenium](https://brightdata.de/integration/selenium) können Sie wie folgt durchführen: 1. Gehen Sie zunächst zu Ihrem Bright Data-Dashboard und klicken Sie auf „Zone erstellen“. 2. Wählen Sie „Netzwerktyp“ und klicken Sie auf „Speichern“. 3. Geben Sie in Selenium in der Funktion „setProxy“ den „Proxy IP:Port“ ein, zum Beispiel zproxy.lum-superproxy.io:22225 für HTTP und HTTPS. 4. Geben Sie unter „sendKeys“ Ihre Bright Data-Konto-ID und den Namen der Proxy-Zone ein: lum-customer-CUSTOMER-zone-YOURZONE und Ihr Zonenkennwort, das sich in den Zoneneinstellungen befindet. Vertrieb kontaktierenGratis testen![google social icon](/wp-content/themes/brightdata/assets/images/ic_google.svg) Inhaltsverzeichnis Dedicated Scraper APIs & No-Code Scrapers Over 1000 scrapers for all popular domains. Simplify your web scraping. [See pricing](/pricing/web-scraper "See pricing") Just want data? Skip scraping. Hundreds of ready-to-use datasets from all popular domains. [See pricing](/pricing/datasets "See pricing") [ ](https://news.ycombinator.com/submitlink?t=Anleitung+zum+Web+Scraping+mit+Selenium&u=https://brightdata.de/blog/wie/using-selenium-for-web-scraping) [ ](https://www.linkedin.com/shareArticle?mini=true&title=Anleitung+zum+Web+Scraping+mit+Selenium&url=https://brightdata.de/blog/wie/using-selenium-for-web-scraping) [ ](http://www.reddit.com/submit?title=Anleitung+zum+Web+Scraping+mit+Selenium&url=https://brightdata.de/blog/wie/using-selenium-for-web-scraping) ## Das könnte Sie auch interessieren [ ![Guide to the Python Requests Library blog image](https://media.brightdata.de/2024/05/Guide-to-the-Python-Requests-Library.svg) ](https://brightdata.de/blog/web-data-de/python-requests-guide "Eine vollständiger Leitfaden zur Python-Requests-Bibliothek") [Web Data ![Antonello Zanini](https://media.brightdata.de/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Eine vollständiger Leitfaden zur Python-Requests-Bibliothek Erfahren Sie, wie Sie die Python-Requests-Bibliothek für Web Scraping verwenden, einschließlich Installation, HTTP-Methoden und Serverantworten. 19-May-2024 16 min lesen ](https://brightdata.de/blog/web-data-de/python-requests-guide) [ ![Best HTML Parsing Libraries main blog image](https://media.brightdata.de/2024/03/Best-HTML-Parsing-Libraries.svg) ](https://brightdata.de/blog/web-data-de/best-html-parsers "Die besten HTML-Parsing-Bibliotheken für Web-Scraping") [Web Data ![Antonello Zanini](https://media.brightdata.de/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Die besten HTML-Parsing-Bibliotheken für Web-Scraping Entdecken Sie die besten HTML-Parser für Web-Scraping und Datenextraktion, darunter httpx, AIOHTTP und urllib. 24-Mar-2024 7 min lesen ](https://brightdata.de/blog/web-data-de/best-html-parsers) [ ![Best headless browsers main blog image](https://media.brightdata.de/2024/03/Best-Headless-Browsers.svg) ](https://brightdata.de/blog/web-data-de/best-headless-browsers "Beste Headless-Browser zum Scrapen und Testen") [Web Data ![Antonello Zanini](https://media.brightdata.de/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Beste Headless-Browser zum Scrapen und Testen Erkunden Sie die Welt der Headless-Browser: Erfahren Sie, was sie sind, wie man sie programmatisch steuert, und entdecken Sie die besten Bibliotheken für nahtlose Webtests und -automatisierung. 20-Mar-2024 9 min lesen ](https://brightdata.de/blog/web-data-de/best-headless-browsers)