In diesem Artikel werden wir Folgendes besprechen:
Was macht ein Datenerfassungsnetzwerk aus technischer Sicht ethisch?
[1] Durchführung von KYC-Überprüfungen
- Alle potenziellen Netzwerkbenutzer sollten einem strengen Überprüfungsprozess durch einen leitenden Mitarbeiter und/oder einen Compliance-Beauftragten unterzogen werden.
- Handelt es sich bei einem potenziellen Kunden um ein Unternehmen, sollten die folgenden Punkte überprüft werden: (i) die Registrierung des Unternehmens, um sicherzustellen, dass es echt ist, (ii) die Website des Unternehmens, (ii) die E-Mail-Domain des Unternehmens (iv) die Social-Media-Profile des Unternehmens.
- Für potenzielle freiberufliche Kunden sollten Videointerviews und ein physischer Identitätsnachweis Voraussetzung sein. Datenerfassungsnetzwerke sollten außerdem überprüfen, ob die physische Adresse echt ist und ob die IP-Adresse und die Rechnungsadresse der Kreditkarte übereinstimmen.
[2] Sperrung von API-Endpunkten, die für Missbrauch anfällig sind
Ethische Datenerfassungsnetzwerke sollten API-Endpunkte blockieren, die potenziell missbraucht werden können, darunter:
Erstellung gefälschter Konten (in sozialen Medien, auf Bewertungsseiten, bei Finanzinstituten usw.)
Werbe-Betrug (z. B. Klick-Betrug)
Fiktive Bewertungen (einschließlich gefälschter Produktbewertungen, Servicebewertungen und Massenabstimmungen)
[3] Überwachung der globalen Netzwerknutzung
Die globale Netzwerknutzung sollte überwacht werden, um sicherzustellen, dass sie nicht einmal annähernd die Raten einer Denial-of-Service-Attacke (DDoS) erreicht. Falls die Traffic-Raten zu steigen beginnen, werden sie automatisch gedrosselt.
Der Traffic-Monitor überwacht nicht nur den Traffic eines bestimmten Kunden zu einer bestimmten Zieldomäne, sondern den gesamten Traffic aller Kunden zu dieser Zieldomäne, sodass es zu einer unbeabsichtigten DDoS-Situation kommen kann.

Bildquelle: Bright Data
Darüber hinaus sollten Account Manager eine detaillierte Überwachung der Ereignisprotokolle der Kunden durchführen, sobald die Netzwerkberechtigungen erteilt wurden. Wenn eine Diskrepanz zwischen dem KYC-Überprüfung-Anwendungsfall des Kunden und seiner tatsächlichen Kontoaktivität festgestellt wird, sollte sein Konto dauerhaft gekündigt werden.
Ein Beispiel hierfür wäre ein Kunde, der angibt, Website-Tests durchzuführen, stattdessen aber versucht, das Netzwerk für Werbebetrug zu nutzen. Durch die Überwachung können Compliance-Teams solche Netzwerkmissbräuche identifizieren und sofort unterbinden.
[4] Die Regel zur Begrenzung des Traffic-Volumens pro Website – keinen Schaden anrichten
Datenerfassungsnetzwerke müssen sicherstellen, dass ihre Aktivitäten die normale Servicequalität der Website nicht beeinträchtigen. Selbst wenn die Erfassungsaufgabe 10 % der Ressourcen der Website beansprucht und nicht annähernd DDoS-Ausmaße erreicht, kann sie dennoch die Leistung und die Erfassung von Betriebsstatistiken beeinträchtigen, was dazu führt, dass das Produktteam der Website falsche Schlussfolgerungen über das Verhalten seiner Nutzer zieht.
Daher sollten Datenerfassungsnetzwerke ihre Ziele untersuchen und je nach den normalen Betriebstraffic-Mengen der Website Beschränkungen pro Domain festlegen. Dadurch wird sichergestellt, dass die Serviceebenen nicht beeinträchtigt werden und gleichzeitig die Nutzungsstatistiken der Website erhalten bleiben.
[5] Nicht-öffentliche Domains auf die schwarze Liste setzen
Ethische Datenanbieter sollten Domains auf eine Blacklist setzen, die keine öffentlichen, frei zugänglichen Informationen enthalten, die für missbräuchliche Aktivitäten genutzt werden können. Dazu können gehören:
Angriffe auf Zahlungsserver – Dazu kann alles gehören, von illegalen Käufen mit gefälschten oder gestohlenen Zugangsdaten bis hin zu Hacking und DDoS-Angriffen.
Störung von API-Servern – Dies kann ein direkter Angriff auf Webserver, Anwendungen oder beides sein.
[6] Einwilligung der Peer
Legitime Datenerfassungsnetzwerke leiten den Traffic nur dann über Peer-Geräte weiter, wenn eine aktive Zustimmung zu einer detaillierten Beschreibung der Nutzungsbedingungen vorliegt. Standardmäßig ist der Nutzer nicht angemeldet. Dies sollte ein fairer Transaktionsaustausch sein, d. h. Datenerfassungsnetzwerke können den Traffic über Peer-Geräte weiterleiten, und die Peers werden im Gegenzug für diese Ressourcen entschädigt. Dies kann ein kostenloses Upgrade des Abonnements, eine werbefreie Version der App oder alles andere sein, was sich positiv auf die Benutzererfahrung auswirkt.
[7] Ungenutzte Ressourcen
Ethische Datenerfassungsnetzwerke verpflichten sich, Peer-Ressourcen (d. h. den Traffic) nur unter strengen Bedingungen zu nutzen, um sicherzustellen, dass sich die Benutzererfahrung kaum oder gar nicht verändert. Diese Bedingungen sollten mindestens sicherstellen, dass die Geräte der Benutzer
- im Leerlauf sind (nicht in Gebrauch), wenn Traffic weitergeleitet wird.
- mit sehr begrenzten Mengen an 3G/LTE-Daten mit dem WLAN verbunden sind
- über ausreichend Akkuleistung verfügen
Die mittlere Bandbreite pro Peer sollte je nach geografischem Standort variieren. Der weltweit empfohlene Durchschnittswert sollte in der Praxis bei 8 MB pro Peer und Tag liegen – das entspricht der Hälfte der Größe einer beliebigen Amazon-Produktseite.
Bildquelle: Bright Data[8] Netzwerkbeschränkungen festgelegt
Ethische Datenerfassungsplattformen überwachen und begrenzen den Traffic über einzelne Peer-Geräte, um im Vergleich zur eigenen Nutzung des Benutzers nur vernachlässigbare Geräteressourcen zu verbrauchen. Wenn ein durchschnittlicher Benutzer beispielsweise tagsüber mehrere Websites besucht, Musik hört und sich einige kurze Videos ansieht, entspricht die Nutzung einer ethischen Datenerfassungsplattform im Vergleich dazu dem Laden einer einzelnen Amazon-Produktseite in einem normalen Browser.
[9] Opt-in/Opt-out
Datenerfassungsnetzwerke müssen auf einem demokratischen Peer-to-Peer-Netzwerk basieren. Die Personen, aus denen dieses Netzwerk besteht, müssen die Möglichkeit haben, sich jederzeit frei anzumelden und abzumelden. Dies ist ein Grundprinzip der Transparenz im Internet, das eingehalten werden muss, um einen dezentralen, freien Daten- und Informationsfluss zu gewährleisten.
[10] DSGVO-konform (Sicherheit, Speicherung und personenbezogene Daten)
Ethische Datenerfassungsnetzwerke sollten sich an die DSGVO-Vorschriften halten, einschließlich, aber nicht beschränkt auf:
- IP-Adressen dürfen nur mit vollständiger Zustimmung des Nutzers als personenbezogene Daten erfasst werden – die Privatsphäre der Nutzer muss geschützt werden und es dürfen keine anderen privaten Informationen oder Verhaltensstatistiken erfasst werden. Es dürfen keinerlei Daten vom oder über den Nutzer erfasst werden.
- Vollständige Einhaltung der DSGVO– und CCPA-Vorschriften für die Sicherheit und Speicherung der gesammelten Daten als DSGVO-Web-Scraper-IDEs und DSGVO-Datenverarbeiter
Fazit
Bright Data hält sich an alle 10 ethischen Gebote zur Datenerfassung. Bei der Auswahl einer Plattform zur Datenerfassung wird Sorgfalt empfohlen, um Folgendes sicherzustellen:
- Der langfristige Wert von Informationen
- Die rechtliche Durchsetzbarkeit der Daten und der daraus abgeleiteten Analysen, Produkte und Dienstleistungen
- die Sicherheit Ihrer Netzwerke, Systeme und Software
Und schließlich ist Transparenz der wichtigste Faktor – Sie müssen Transparenz zeigen und Vertrauenswürdigkeit demonstrieren. Seien Sie daher offen für häufige Änderungen und überprüfen und testen Sie Ihre Richtlinien regelmäßig – dies ist ein sich schnell entwickelnder Bereich, und es ist nicht einfach, alles richtig zu machen.