Web Crawling ist so 2019

In diesem Artikel werden wir darüber sprechen:

• Vorab gesammelte Datensätze sind effektiver und schaffen mehr Wert als Web-Crawling
• Wie Datensätze in verschiedenen Branchen genutzt werden:
• Soziale Medien Datensätze

Vorab gesammelte Datensätze sind effektiver und schaffen mehr Wert als Web-Crawling

Seit der Einführung von gebrauchsfertigen Datensätzen durch Bright Data gehen viele Unternehmen dazu über, nicht mehr das eigene Web-Crawling zu nutzen, sondern eine Momentaufnahme ganzer Websites oder intelligente, auf ihre Datenanforderungen zugeschnittene Teilmengen direkt an ihre Teams zu liefern.

Diese Option hilft Unternehmen, ihre Effizienz zu steigern:

• Flexibilität – Datensätze ermöglichen ein hohes Maß an Arbeitsabläufen und finanzieller Flexibilität, da Sie keine “laufenden Verpflichtungen” in Bezug auf Ihre Datenerfassung haben. Das bedeutet, dass Sie einen Monat lang ein Dataset für ein bestimmtes Projekt bestellen können, dann eine Pause einlegen und zu einem späteren Zeitpunkt ein weiteres für einen Proof of Concept (PoC) bestellen können. Der Zugang zu den Daten unterstützt Sie, anstatt Sie einzuschränken.

• Ressourcen – Datensätze erfordern keine Wartung/Unterhaltung, keine eigene Hardware/Software und auch keine Teams aus IT-, Technik- und DevOps-Mitarbeitern.

• Zeit – Datensätze können die Zeitspanne zwischen den “Ideenphasen” und der Einführung eines neuen Produkts, einer neuen Funktion oder Fähigkeit verkürzen. Das liegt daran, dass es keine Erfassungszeit gibt, d. h. die Daten, die Ihre Algorithmen benötigen, können innerhalb weniger Minuten bereitgestellt werden. Außerdem werden die Datensätze regelmäßig aktualisiert, so dass Sie sich auf aktuelle Informationen verlassen können.

• Kosteneffizienz – Datensätze sind eine kosteneffizientere Option, da die Kosten für Skalierung, Zugriff und Pflege auf mehrere Unternehmen verteilt werden. Dieses Modell der gemeinsamen Datennutzung reduziert die Kosten für jeden einzelnen Teilnehmer.

Wie Datasets in verschiedenen Branchen genutzt werden

Geschäfts-/Finanzdatensätze

Branchen wie Versicherungen, Investitionen und Kredite gehören alle zu sehr reglementierten Branchen, die von Datensätzen im Allgemeinen und alternativen Datensätzen im Besonderen profitieren können.

So versuchen beispielsweise institutionelle Kreditgeber, das Risiko zu mindern, indem sie ein Profil des Unternehmens oder der Person erstellen, die eine Kreditlinie beantragt. In der Regel verwenden sie “klassische Daten” wie:

• Kredithistorie/Scores

• Verhältnis zwischen Einkommen und Schulden

Die Möglichkeit, Algorithmen mit einer zusätzlichen Informationsebene zu füttern, auf deren Grundlage Entscheidungen über Antragsteller getroffen werden können, kann den Instituten jedoch neue, bisher übersehene Kunden mit niedrigem bis mittlerem Risiko erschließen.

Bei der Bewertung der Finanzkraft eines Unternehmens können Datensätze wie Branchenranking, Stellenausschreibungen, Mitarbeiterbewertungen oder die “traditionelleren” Datenpunkte wie Umsatz, Unternehmensgröße und Investitionsrunden relevante Einblicke in die Stärken und Kreditwürdigkeit eines bestimmten Unternehmens liefern und gleichzeitig das Verständnis für ein bestimmtes Unternehmen erweitern.

Bei Einzelpersonen können Kreditgeber Social-Media-Profile nutzen, um ein besseres Verständnis der Person zu erlangen und herauszufinden, wie sich dies auf das Risikoniveau eines Kredits auswirken könnte (springt sie Fallschirm? feiert sie jede Nacht? usw.).

Außerdem können sie einen gebrauchsfertigen Datensatz bestellen, der die durchschnittliche Zeit angibt, die Zielgruppenbewerber zum Ausfüllen von Online-Kreditanträgen benötigen. Das Compliance-Team der First Bank of Omahabeispielsweise sammelt diese Informationen und nimmt Anträge mit einer ungewöhnlichen Zeitverzögerung genauer unter die Lupe. Dies ist auf ihre internen Statistiken zurückzuführen, die zeigen, dass diese Anträge mit höherer Wahrscheinlichkeit einem der vielen Betrugsprofile entsprechen.

Was die Investoren betrifft, so nutzen die Risikokapitalgesellschaften die Datensätze, um sich frühzeitig an Unternehmen zu beteiligen. Dies ist auf einen enormen Anstieg des Investitionskapitals zurückzuführen, während die Zahl der Start-ups stagniert. Zu den relevanten, sofort einsetzbaren Datensätzen in diesem Zusammenhang gehören:

• Durchsuchen ganzer Startup-Accelerator-Websites auf der Suche nach Unternehmen mit Statistiken, die nach “Monetarisierungsmöglichkeiten” schreien (z. B. Wachstum der Mitarbeiterzahl innerhalb eines kurzen Zeitraums, Anstieg der Zahl der Stellenausschreibungen, verstärkte Aktivität in Branchenforen oder eine kürzlich erfolgte erfolgreiche Markteinführung eines Produkts)

• Durchsuchen kompletter App-Store-Websites nach Anwendungen mit hoher Leistung, Downloads und Sterne-Bewertungen, die allesamt ein Indikator für das Wachstum/die Akzeptanz eines Unternehmens bei den Zielgruppen sein können.

Social-Media-Datensätze

Viele Unternehmen haben Geschäftsmodelle und digitale Dienste, die in hohem Maße auf Social Media-Input angewiesen sind. Ein gutes Beispiel hierfür sind Fitness-Apps, Wearables und Unternehmen, die Gesundheitstracking als Geschäftsmodell betreiben. In diesem Zusammenhang bestellen Unternehmen vorab gesammelte Datensätze wie z. B.:

• Top-Influencer in der Gesundheits-, Schönheits- und Sportbranche, denen am meisten gefolgt wird – dies kann ganze Profile oder nur trendige Beiträge mit hohen Engagement-Metriken umfassen. Diese können als sehr reale Indikatoren für das Interesse, die Stimmung und die Trainingsroutinen der Zielgruppe dienen. So kann es beispielsweise mehrere Posts geben, in denen der Wunsch geäußert wird, “Bauchfett loszuwerden”, was auf einen Marktbedarf für ein neues Produkt hinweisen kann, das speziell auf dieses Problem abzielt, oder auf eine Werbebotschaft, die für bestehende Produktlinien gut funktionieren könnte.

• Sekundäre Leistungsdaten von Wearables oder Apps – Viele Menschen nutzen Fitness-Apps und Wearables wie Smartwatches, um ihre Trainingseinheiten zu verfolgen. Diese Informationen sind privat und können nicht erfasst werden, aber viele Menschen teilen ihre Erfolge in den sozialen Medien, wo diese alternativen/sekundären Daten erfasst werden können. Diese Informationen können sehr wichtig sein, um zu verstehen, welche Art von Trainingsroutine die Menschen absolvieren (Laufen? Yoga?) und wo sie sich aufhalten (in einem Fitnessstudio? Oder im Park?). Diese Daten können als Grundlage für Werbekampagnen, Produktlinien, neue Funktionen von Fitness-Apps und eine Vielzahl anderer Erkenntnisse dienen, die Ihrem Unternehmen helfen können, sich zum Marktführer in Sachen Verbraucherorientierung zu entwickeln.

Die Quintessenz

Das aktive Durchforsten des Internets nach den Datensätzen , die Ihr Unternehmen benötigt, um intelligentere Geschäftsentscheidungen zu treffen, istpassé“. Es ist eine ressourcenintensive, zeitraubende und schwerfällige Art, ein Unternehmen zu führen. Datensätze ermöglichen es Ihnen, sich auf Ihr Kerngeschäft zu konzentrieren und die benötigten Daten zu bestellen, wann und wie auch immer (geparstes JSON, CSV oder Excel) Sie sie benötigen.