In seiner einfachsten Form umfasst Web Scraping die automatische Erfassung von im Internet verfügbaren Informationen, die dann gespeichert, analysiert oder als Grundlage für Entscheidungsprozesse verwendet werden können.
Jetzt fragen Sie sich vielleicht: warum LinkedIn? LinkedIn ist als berufliche Networking-Plattform eine wahre Fundgrube für Daten. Sie enthält eine Fülle von Informationen über Fachkräfte, Unternehmen und Stellenangebote. Beispielweise verwenden Personalvermittler LinkedIn, um potenzielle Kandidaten zu finden, Vertriebsteams können potenzielle Leads ermitteln, und Forscher können LinkedIn für Arbeitsmarktanalysen nutzen. Die Möglichkeiten sind endlos.
In diesem Tutorial erfahren Sie, wie Sie Daten von LinkedIn mithilfe von Beautiful Soup scrapen können. Nachdem Sie den Vorgang Schritt für Schritt kennengelernt haben, lernen Sie auch die Bright Data -Lösung kennen, mit der das Scrapen von LinkedIn erheblich beschleunigt wird.
LinkedIn in Python scrapen
In diesem Tutorial verwenden Sie Python, um einen Web-Scraper mit kostenlosen Tools wie Beautiful Soup und Requestszu erstellen. Los geht’s!
Bitte beachten Sie: Dieses Tutorial dient nur zu Lehrzwecken und zur Demonstration der technischen Möglichkeiten. Beachten Sie, dass das Scrapen von Daten von LinkedIn gemäß der Nutzervereinbarung von LinkedIn strengstens verboten ist. Jeder Missbrauch dieser Informationen zum Scraping von LinkedIn kann dazu führen, dass Ihr LinkedIn-Konto dauerhaft gesperrt wird, oder andere mögliche rechtliche Konsequenzen haben. Sie handeln also auf eigene Gefahr und nach eigenem Ermessen.
Bevor Sie beginnen, stellen Sie sicher, dass Sie Python Version 3.7.9 oder höher auf Ihrem System installiert haben.
Nach der Installation von Python besteht der nächste Schritt darin, die erforderlichen Bibliotheken für Web Scraping einzurichten. Hier verwenden Sie Requests, um HTTP-Anfragen zu stellen, BeautifulSoup (BS4), um HTML-Inhalte zu analysieren, und Playwright für Browserinteraktion und Aufgabenautomatisierung. Öffnen Sie Ihre Shell oder Ihr Terminal und führen Sie die folgenden Befehle aus:
pip3 install beautifulsoup4
pip3 install requests
pip3 install playwright
LinkedIn-Struktur und -Datenobjekte
Bevor Sie mit dem Scraping von LinkedIn beginnen, gehen wir im folgenden Abschnitt auf die Struktur der Website ein und identifizieren die Datenobjekte, die Sie extrahieren werden. In diesem Tutorial konzentrieren Sie sich auf das Scrapen von Stellenanzeigen, Benutzerprofilen, Artikeln und Unternehmensdaten:
- Stellenanzeigen enthalten Details wie Berufsbezeichnung, Firma, Standort und Stellenbeschreibung.
- Kursinformationen können den Kurstitel, den Kursleiter, die Kursdauer und die Kursbeschreibung enthalten.
- Unternehmensdaten können den Firmennamen, die Branche, die Firmengröße, den Unternehmensstandort und die Unternehmensbeschreibung enthalten.
- Artikel wurden von Fachleuten verfasst und behandeln Themen wie berufliche Entwicklung und Brancheneinblicke.
Wenn Sie beispielsweise die HTML-Struktur der LinkedIn-Seite Jobs besser verstehen möchten, gehen Sie wie folgt vor:
- Gehen Sie zur LinkedIn-Website und loggen Sie sich in Ihrem Konto ein.
- Klicken Sie in der Navigationsleiste oben auf das Symbol Jobs . Geben Sie eine beliebige Berufsbezeichnung ein (z. B. „Frontend-Entwickler“) und drücken Sie Enter.
- Klicken Sie mit der rechten Maustaste auf ein Job-Element aus der Liste und klicken Sie auf Untersuchen , um die Entwicklertools des Browsers zu öffnen.
- Analysieren Sie die HTML-Struktur, um die Tags und Attribute zu identifizieren, die die Daten enthalten, die Sie scrapen möchten.
Stellenanzeigen durchsuchen
Scrapen Sie zunächst Stellenanzeigen von LinkedIn. Sie verwenden Requests, um den HTML-Inhalt der Seite abzurufen, und BeautifulSoup, um die relevanten Informationen zu parsen und zu extrahieren.
Erstellen Sie eine neue Datei mit dem Namen scraper_linkedIn_jobs.py und fügen Sie den folgenden Code hinzu:
import requests
from bs4 import BeautifulSoup
url = 'https://www.linkedin.com/jobs/search?keywords=Frontend%20Developer&location=United%20States&pageNum=0'
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
job_listings = soup.find_all('div', {'class':'job-search-card'})
for job in job_listings:
title = job.find('h3', {'class': 'base-search-card__title'}).text.strip()
company = job.find('a', {'class': 'hidden-nested-link'}).text.strip()
location = job.find('span', {'class': 'job-search-card__location'}).text.strip()
anchor_tag = job.find('a', class_='base-card__full-link')
href_link = anchor_tag['href']
print(f"Title: {title}\nCompany: {company}\nLocation: {location}\nJob Link: {href_link}\n")
else:
print("Failed to fetch job listings.")
Dieser Code ruft Stellenanzeigen von einer LinkedIn-Suchseite für Frontend-Entwicklerpositionen in den Vereinigten Staaten ab.
Hinweis: In der definierten
URLkönnen Sie die Jobsuche mithilfe von URL-Parametern an Ihre Präferenzen anpassen. Sie können beispielsweiselocation=United%20Statesin das Land Ihrer Wahl ändern, um Stellenanzeigen an diesem spezifischen Standort zu finden. Ebenso können Siekeywords=Frontend%20>Entwicklerin jede andere Berufsbezeichnung ändern, an der Sie interessiert sind, sodass Sie anhand verschiedener Stichwörter nach Jobs suchen können. Darüber hinaus können Sie „pageNum=0“ anpassen, um verschiedene Seiten der Suchergebnisse zu durchsuchen und mehr Stellenanzeigen zu entdecken. Diese Parameter geben Ihnen die Flexibilität, die Stellensuche an Ihre gewünschten Kriterien und Präferenzen anzupassen.
Führen Sie den Code von Ihrer Shell oder Ihrem Terminal aus mit dem folgenden Befehl aus:
python3 scraper_linkedIn_jobs.py
Sie sollten eine Liste der Jobs mit Bezeichnung, Unternehmen, Standort und einem Link zum Job erhalten. Ihre Ergebnisse sollten so aussehen:
…output omitted…
Title: Frontend Engineer
Company: Klarity
Location: San Francisco, CA
Job Link: https://www.linkedin.com/jobs/view/desenvolvedor-front-end-at-pasquali-solution-3671519424?refId=JN%2FeM862Wu7qnbJd96Eoww%3D%3D&trackingId=kTSLczKp1q4aurZ5rSzRPQ%3D%3D&position=1&pageNum=0&trk=public_jobs_jserp-result_search-card
Title: Front-End Developer (Remote)
Company: Prevail Legal
Location: United States
Job Link: https://www.linkedin.com/jobs/view/desenvolvedor-front-end-at-pasquali-solution-3671519424?refId=JN%2FeM862Wu7qnbJd96Eoww%3D%3D&trackingId=kTSLczKp1q4aurZ5rSzRPQ%3D%3D&position=1&pageNum=0&trk=public_jobs_jserp-result_search-card
…output omitted…
LinkedIn scrapen lernen
Neben dem Scrapen von Stellenanzeigen können Sie auch Kurse von der LinkedIn Learning-Seite entfernen.
Erstellen Sie eine neue Datei mit dem Namen scraper_linkedIn_courses.py und fügen Sie den folgenden Code hinzu:
import requests
from bs4 import BeautifulSoup
url = 'https://www.linkedin.com/learning/search?trk=content-hub-home-page_guest_nav_menu_learning'
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
course_listings = soup.find_all('li', {'class':'results-list__item'})
for course in course_listings:
title = course.find('h3', {'class': 'base-search-card__title'}).text.strip()
created_by = course.find('h4', {'class': 'base-search-card__subtitle'}).text.strip()
duration = course.find('div', {'class': 'search-entity-media__duration'}).text.strip()
# Find the anchor tag containing the link
anchor_tag = course.find('a', class_='base-card__full-link')
# Extract the 'href' attribute value
if anchor_tag:
href_link = anchor_tag['href']
else:
print("Anchor tag not found.")
print(f"Title: {title}\nCreated By: {created_by}\nDuration: {duration}\nCourse Link: {href_link}\n")
else:
print("Failed to fetch course listings.")
Hier verwenden Sie Requests, um auf die LinkedIn Learning-Seite zuzugreifen, und BeautifulSoup, um sie zu parsen. Sie suchen nach li Elementen mit der Klasse results-list__item, die die Kursangebote enthält. Für jeden Kurs extrahieren und drucken Sie den Titel, den Ersteller, die Dauer und den Link. Wenn die erste Anfrage fehlschlägt, drucken Sie eine Fehlermeldung.
Führen Sie den Code von Ihrer Shell oder Ihrem Terminal aus mit dem folgenden Befehl aus:
python3 scraper_linkedIn_courses.py
Sie sollten eine Liste der Kurse mit Titel, Autoren und einem Link zum jeweiligen Kurs erhalten. Ihre Ergebnisse werden so aussehen:
…output omitted…
Title: Define general intelligence
Created By: From: Introduction to Artificial Intelligence
Duration: 3m
Course Link: https://www.linkedin.com/learning/introduction-to-artificial-intelligence/define-general-intelligence?trk=learning-serp_learning-search-card_search-card
Title: Shortcut menus and the Mini toolbar
Created By: From: Excel Essential Training (Microsoft 365)
Duration: 4m
Course Link: https://www.linkedin.com/learning/excel-essential-training-microsoft-365-17231101/shortcut-menus-and-the-mini-toolbar?trk=learning-serp_learning-search-card_search-card
Title: Learning Excel: Data Analysis
Created By: By: Curt Frye
Duration: 3h 16m
Course Link: https://www.linkedin.com/learning/learning-excel-data-analysis-18868618?trk=learning-serp_learning-search-card_search-card
…output omitted…
LinkedIn-Artikel scrapen
Sie können auch Artikeldaten von der LinkedIn-Seite Artikel entfernen.
Erstellen Sie dazu eine neue Datei mit dem Namen scraper_linkedIn_articles.py und fügen Sie den folgenden Code hinzu:
import requests
from bs4 import BeautifulSoup
url = 'https://www.linkedin.com/pulse/topics/home/?trk=guest_homepage-basic_guest_nav_menu_articles'
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
article_listings = soup.find_all('div', {'class':'content-hub-entities'})
for article in article_listings:
title = article.find('h2', {'class': 'break-words'}).text.strip()
description = article.find('p', {'class': 'content-description'}).text.strip()
# Find the anchor tag containing the link
anchor_tag = article.find('a', class_='min-w-0')
# Extract the 'href' attribute value
if anchor_tag:
href_link = anchor_tag['href']
else:
print("Anchor tag not found.")
print(f"Title: {title}\nDescription: {description}\nArticle Link: {href_link}\n")
else:
print("Failed to fetch article listings.")
In diesem Code verwenden Sie Requests, um eine LinkedIn-Seite abzurufen, und BeautifulSoup, um sie zu parsen. Sie suchen nach div-Elementen der Klasse content-hub-entities, die die Artikellisten enthalten. Für jeden Artikel extrahieren und drucken Sie den Titel, die Beschreibung und den Link. Wenn die erste Anfrage fehlschlägt, wird eine Fehlermeldung gedruckt.
Führen Sie den Code von Ihrer Shell oder Ihrem Terminal aus mit dem folgenden Befehl aus:
python3 scraper_linkedIn_articles.py
Sie erhalten eine Liste von Artikeln mit ihrem Titel, ihrer Beschreibung und einem Link zum Artikel. Ihre Ergebnisse sollten so aussehen:
…output omitted…
Title: What are some of the emerging leadership trends and theories that you should be aware of?
Description: Learn about the six emerging leadership styles and frameworks that can help you develop your leadership skills and potential in a changing and complex world.
Article Link: https://www.linkedin.com/advice/1/what-some-emerging-leadership-trends-theories
Title: What are the most effective strategies for handling a leadership transition?
Description: Learn six strategies to manage a leadership transition smoothly and successfully, from assessing the situation to planning for the future.
Article Link: https://www.linkedin.com/advice/0/what-most-effective-strategies-handling
Title: How do you combine quality assurance training with other learning initiatives?
Description: Learn some strategies and tips for integrating quality assurance training with other learning objectives and methods in your organization.
Article Link: https://www.linkedin.com/advice/0/how-do-you-combine-quality-assurance-training
…output omitted…
Der gesamte Code für dieses Tutorial ist in diesem GitHub-Repository verfügbar.
Was beim Scraping von LinkedIn zu beachten ist
LinkedIn verwendet, wie viele andere Websites, verschiedene Techniken, um das automatische Scrapen seiner Daten zu verhindern. Wenn Sie diese Techniken verstehen, können Sie sie umgehen und sicherstellen, dass Ihre Scraping-Aktivitäten erfolgreich sind:
- Paginierung: LinkedIn zeigt Suchergebnisse im paginierten Format an. Stellen Sie sicher, dass Ihr Scraping-Skript die Paginierung verarbeitet, um alle relevanten Daten abzurufen.
- Ads: LinkedIn zeigt Werbung in verschiedenen Bereichen an. Stellen Sie sicher, dass Ihr Scraping-Skript auf die tatsächlichen Daten abzielt und das Extrahieren von Anzeigeninhalten vermeidet.
- Ratenbegrenzung: LinkedIn überwacht die Anzahl der Anfragen, die von einer IP-Adresse innerhalb eines bestimmten Zeitraums eingehen. Wenn die Anzahl der Anfragen ein bestimmtes Limit überschreitet, kann LinkedIn die IP-Adresse vorübergehend oder dauerhaft blockieren.
- CAPTCHA: LinkedIn kann eine CAPTCHA-Challenge anzeigen, wenn ungewöhnliche Aktivitäten von einer IP-Adresse aus erkannt werden. CAPTCHAs sind so konzipiert, dass sie für Menschen leicht, für Bots jedoch schwierig zu lösen sind, wodurch automatisiertes Scraping verhindert wird.
- Login-Anforderung: Einige Daten auf LinkedIn sind nur zugänglich, wenn Sie eingeloggt sind (etwa Benutzerprofile und Unternehmensseiten). Das bedeutet, dass jeder Versuch, diese Daten zu scrapen, einen automatischen Login erfordern würde, den LinkedIn erkennen und blockieren kann.
- Dynamische Inhalte: LinkedIn verwendet JavaScript, um einige Inhalte dynamisch zu laden. Dies kann das Scrapen erschweren, da die Daten beim ersten Laden der Seite möglicherweise nicht im HTML-Code vorhanden sind.
robots.txt: Die Dateirobots.txtvon LinkedIn gibt an, auf welche Teile der Website Webcrawler zugreifen dürfen. Es handelt sich dabei zwar nicht unbedingt um eine Präventionstechnik, aber das Ignorieren der Anweisungen in dieser Datei kann dazu führen, dass Ihre IP-Adresse blockiert wird.
Denken Sie daran, dass es zwar technisch möglich ist, diese Techniken zu umgehen, dies jedoch gegen die Nutzungsbedingungen von LinkedIn verstoßen und eine Sperrung Ihres Kontos zur Folge haben kann. Achten Sie stets darauf, dass Ihre Scraping-Aktivitäten legal und ethisch korrekt sind.
Eine bessere Option: Verwenden Sie Bright Data, um LinkedIn zu scrapen
Auch wenn manuelles Web Scraping für Datenextraktionen in kleinem Rahmen geeignet ist, wird es in großem Maßstab zeitaufwändig und ineffizient. Bright Data bietet eine einfachere und effizientere Alternative, mit der Sie mühelos auf riesige Mengen an LinkedIn-Daten zugreifen können.
Bright Data bietet zwei Hauptprodukte für Web Scraping an:
- Scraping Browser: Der Scraping Browser ist eine browserbasierte Lösung, mit der Sie wie ein normaler Benutzer mit Websites interagieren können. Es verarbeitet JavaScript-Rendering, AJAX-Anfragen und andere komplexe Prozesse und ist daher ideal für das Scraping dynamischer Websites wie LinkedIn geeignet.
- LinkedIn-Datensätze: Die LinkedIn-Datensätze sind ein vorab gesammelter und strukturierter Datensatz, der LinkedIn-Daten enthält, einschließlich Stellenanzeigen, Benutzerprofilen und Unternehmensinformationen. Sie können direkt von der Bright Data-Plattform auf die Daten zugreifen und sie herunterladen.
Richten Sie Ihr Bright Data-Konto ein
Gehen Sie folgendermaßen vor, um auf die LinkedIn-Datensätze auf der Bright Data-Plattform zuzugreifen:
Erstellen Sie ein Konto auf der Bright Data-Website, indem Sie auf Gratis testen klicken und den Anweisungen folgen.
Nachdem Sie sich eingeloggt haben, klicken Sie im linken Navigationsbereich auf das Kreditkartensymbol, um zur Seite Billing zu gelangen. Fügen Sie dann eine Zahlungsmethode hinzu, um Ihr Konto zu aktivieren:
Klicken Sie anschließend auf das Pin-Symbol, um die Seite Proxies & Scraping Infrastructure zu öffnen. Wählen Sie Scraping Browser > Get started:
Geben Sie Ihrer Lösung einen Namen und klicken Sie auf die Schaltfläche Add:
Wählen Sie Access parameters und notieren Sie sich Ihren Benutzernamen, Host und Passwort, da Sie diese im nächsten Schritt benötigen:
Nachdem Sie alle diese Schritte abgeschlossen haben, können Sie mit dem nächsten Abschnitt fortfahren.
LinkedIn-Unternehmensdaten mit dem Scraping-Browser scrapen
Um Unternehmensdaten von der Unternehmensseite auf LinkedIn zu scrapen, erstellen Sie eine neue Datei mit dem Namen scraper_linkedIn_bdata_company.py und fügen Sie den folgenden Code hinzu:
import asyncio
from playwright.async_api import async_playwright
from bs4 import BeautifulSoup
username='YOUR_BRIGHTDATA_USERNAME'
password='YOUR_BRIGHTDATA_PASSWORD'
auth=f'{username}:{password}'
host = 'YOUR_BRIGHTDATA_HOST'
browser_url = f'wss://{auth}@{host}'
async def main():
async with async_playwright() as pw:
print('connecting')
browser = await pw.chromium.connect_over_cdp(browser_url)
print('connected')
page = await browser.new_page()
print('goto')
await page.goto('https://www.linkedin.com/company/spacex/', timeout=120000)
print('done, evaluating')
# Get the entire HTML content
html_content = await page.evaluate('()=>document.documentElement.outerHTML')
# Parse the HTML with Beautiful Soup
soup = BeautifulSoup(html_content, 'html.parser')
# Extract the 'About us' description
description_element = soup.select_one('.core-section-container[data-test-id="about-us"] p[data-test-id="about-us__description"]')
description = description_element.text if description_element else None
print('Description:')
print(description)
# Extract the 'Company size'
company_size_element = soup.select_one('div[data-test-id="about-us__size"] dd')
company_size = company_size_element.text.strip() if company_size_element else None
print('Company size:')
print(company_size)
await browser.close()
# Run the async function
asyncio.run(main())
In diesem Code verwenden Sie Playwright für die Browserautomatisierung. Sie stellen über einen Proxy eine Verbindung zu einem Chromium-Browser her, rufen die Unternehmensseite von SpaceX auf und extrahieren die Beschreibung Über uns und die Unternehmensgröße.
Um den HTML-Inhalt zu erhalten, verwenden Sie die Bewertungsmethode von Playwright und parsen sie dann mit Beautiful Soup, um die spezifischen Elemente zu finden und die extrahierten Informationen auszudrucken. Sie nutzen die asynchronen Funktionen von Playwright, indem Sie eine asynchrone Funktion namens main ()definieren, und Sie starten die Ausführung des Skripts mit asyncio.run (main ()).
Hinweis: Bitte stellen Sie sicher, dass Sie
YOUR_BRIGHTDATA_USERNAME,YOUR_BRIGHTDATA_PASSWORDundYOUR_BRIGHTDATA_HOSTdurch die richtigen und spezifischen Logindaten Ihres Bright Data-Kontos ersetzen. Dieser Schritt ist wichtig, um sich zu authentifizieren und erfolgreich auf Ihr Konto zuzugreifen.
Öffnen Sie Ihre Shell oder Ihr Terminal und führen Sie die folgenden Befehle aus:
python3 scraper_linkedIn_bdata_company.py
Ihre Ausgabe sollte nicht wie folgt aussehen:
…output omitted…
Description:
SpaceX designs, manufactures and launches the world's most advanced rockets and spacecraft. The company was founded in 2002 by Elon Musk to revolutionize space transportation, with the ultimate goal of making life multiplanetary.
SpaceX has gained worldwide attention for a series of historic milestones. It is the only private company ever to return a spacecraft from low-Earth orbit, which it first accomplished in December 2010. The company made history again in May 2012 when its Dragon spacecraft attached to the International Space Station, exchanged cargo payloads, and returned safely to Earth — a technically challenging feat previously accomplished only by governments. Since then Dragon has delivered cargo to and from the space station multiple times, providing regular cargo resupply missions for NASA.
For more information, visit www.spacex.com.
Company size:
1,001-5,000 employees
Die erste Methode, die Sie zum Scrapen von LinkedIn verwendet haben, kann auf Hindernisse wie Pop-ups und reCAPTCHA stoßen, was zu potenziellen Code-Blockaden führt. Mit dem Bright Data Scraping Browser können Sie diese Hürden jedoch überwinden und ein unterbrechungsfreies Scraping sicherstellen.
Bright Data LinkedIn-Datensatz
Eine weitere Alternative zum manuellen Scraping von LinkedIn-Daten ist der Kauf von LinkedIn-Datensätzen, die Ihnen Zugriff auf wertvolle personenbezogene Daten, einschließlich Benutzerprofilen und zusätzlicher Informationen, bieten. Die Verwendung des LinkedIn-Datensatzes von Bright Data macht manuelles Web Scraping überflüssig, spart Zeit und bietet strukturierte Daten, die zur Analyse bereit sind.
Um herauszufinden, welche Datensätze verfügbar sind, gehen Sie zu Ihrem Bright Data-Dashboard, klicken Sie dann in der linken Navigationsleiste auf Datasets & Web Scraper IDE und wählen Sie LinkedIn people profiles datasets (Public web data):
Jetzt können Sie Filter anwenden, um Ihre Auswahl weiter zu verfeinern und spezifische Daten zu erhalten, die Ihren Kriterien entsprechen. Klicken Sie dann auf „Purchase options“, um zu sehen, wie viel sie kosten werden.
Die Preise basieren auf der Anzahl der von Ihnen ausgewählten Datensätze, sodass Sie Ihren Kauf an Ihre Bedürfnisse und Ihr Budget anpassen können. Wenn Sie sich für den Kauf dieser Datensätze entscheiden, können Sie Ihren Arbeitsablauf erheblich vereinfachen und den manuellen Aufwand der Datenextraktion und -erfassung vermeiden:
Fazit
In diesem Artikel haben Sie gelernt, wie Sie mithilfe von Python manuell Daten von LinkedIn scrapen, und Sie haben Bright Data kennengelernt, eine Lösung, die den Scraping-Prozess vereinfacht und beschleunigt. Ganz gleich, ob Sie Daten für Marktforschung, Talentakquise oder Wettbewerbsanalysen auswerten – diese Tools und Techniken können Ihnen helfen, die Informationen zu sammeln, die Sie benötigen.
Denken Sie daran, dass manuelles Scraping zwar ein leistungsstarkes Tool sein kann, Bright Data jedoch eine einfachere und effizientere Alternative bietet. Mit seinem Scraping Browser und dem vorgefertigten LinkedIn-Datensatz kann Bright Data Ihnen Zeit und Mühe sparen, sodass Sie sich auf das konzentrieren können, was wirklich wichtig ist: Daten zu nutzen, um fundierte Entscheidungen zu treffen. Sprechen Sie mit dem Datenexperten von Bright Data und finden Sie die für Sie passende Lösung.
