Crawler-Index

Eine große Auswahl an Crawlern, die von Websites blockiert werden.

71,6 %

Websites haben mindestens einen teilweisen Disallow-Befehl.

71,6 %

Websites haben mindestens einen teilweisen Disallow-Befehl.

Prozentualer Anteil der Websites, die User-Agents explizit blockieren Prozentualer Anteil der Websites, die explizit und mit dem Befehl * blockieren Unternehmen Zweck User Agent
2,5 %62,5 %Open AIGPTGPTBot
2,1 %62,5 %Common Crawl FoundationÖffentliches WebarchivCCBot
1,6 %62,5 %GoogleBard/Gemini/PaLM/BisonGoogle-Extended
0,6 %62,2 %OpenAIChat GPTchatgpt-user
1,8 %63,7 %AmazonAlexaamazonbot
0,5 %61,9 %Meta AILIaMAFacebookBot
0,5 %64,9 %BrandwatchMagpie Crawlermagpie-crawler
1,8 %64,9 %ByteDanceByteDance LLM N/ABytespider
0,5 %61,8 %AnthropicClaudeAnthropic-AI
1,6 %63,5 %AnthropicClaudeclaudebot
0,3 %62,5 %AnthropicClaudeclaude-web
0,4 %62,5 %PerplexityChatbotperplexitybot
0,3 %62,0 %CohereCohere-BefehlCohere-AI
1,3 %62,8 %AppleGrundlegende Modelle von AppleApplebot-Extended
0,3 %64,7 %AppleSiriApplebot
0,3 %64,7 %DiffbotTrainingsdatendiffbot
1,4 %63,6 %MetaAlle Meta-KImeta-externalagent
0,2 %64,6 %OpenAISearchGPToai-searchbot
0,2 %64,7 %TimpiWilson KItimpibot
0,1 %64,7 %webz.iowebzio-extendedwebzio-extended
0,1 %64,1 %GoogleBard/Gemini/PaLM/Bisongoogleother
0,01 %65,0 %Perplexityperplexity-KIperplexity-ai
0,1 %64,7 %MetaAlle Meta-KImeta-externalfetcher
Prozentualer Anteil der Websites, die User-Agents explizit blockieren Prozentualer Anteil der Websites, die explizit und mit dem Befehl * blockieren Unternehmen Zweck User Agent
20,5 %83,5 %Open AIChat GPTgptbot
17,1 %84,1 %Common Crawl FoundationÖffentliches Webarchivccbot
13,5 %84,8 %GoogleBard/Gemini/PaLM/Bisongoogle-extended
11,7 %83,4 %Open AIChat GPTchatgpt-user
12,2 %83,6 %AnthropicClaudeanthropic-ai
14,1 %83,4 %AnthropicClaudeclaudebot
10,2 %83,8 %AnthropicClaudeclaude-web
8,9 %83,6 %MetaLIaMAfacebookbot
12,4 %84,2 %ByteDanceByteDance LLM N/Abytespider
11,8 %83,4 %PerplexityChatbotperplexitybot
10,3 %84,2 %CohereCohere-Befehlcohere-ai
8,9 %84,4 %Apple.comGrundlegende Modelle von Appleapplebot-extended
4,9 %86,1 %Brand WatchMagpie Crawlermagpie-crawler
7,3 %83,7 %AmazonAlexaamazonbot
3,3 %85,1 %AppleSiriapplebot
1,8 %85,5 %GoogleBard/Gemini/PaLM/Bisongoogleother
2,9 %85,6 %Webzwebzio-extendedwebzio-extended
4,2 %85,5 %TimpiWilson KItimpibot
1,4 %86,4 %Perplexityperplexity-KIperplexity-ai
4,8 %85,9 %MetaAlle Meta-KImeta-externalfetcher
7,0 %83,6 %Open AIGPT suchenOAI-searchbot
4,8 %85,9 %MetaAlle Meta-KImeta-externalagent
Methodik

Bright Data sammelt die weltweit gefragtesten öffentlichen Webdaten von Milliarden der beliebtesten Websites. Mit unserem Compliance-Produkt Bright Shield erfassen wir in der Datei robot.txt der von uns gesammelten Websites Befehle zum Zulassen und Verbieten von User-Agents. Unsere aktuelle Stichprobengröße umfasst 9.832.187 Websites, und wir haben etwa 33.000 eindeutige User-Agents erfasst.

Unser Forschungsteam hat den Prozentsatz der Zeit ermittelt, in der jeder relevante User Agent innerhalb unserer Stichprobe explizit blockiert wird, sowie jeden User Agent, der mit dem Befehl (*) blockiert wird. Wir verfolgen auch den Gesamtprozentsatz der Websites, die alle Crawler verbieten. Jeder User Agent wird nach bestem Wissen und Gewissen nach Unternehmen, Verwendung und einem Link identifiziert, der zusätzliche Informationen enthält, z. B. wie man ihn blockieren kann.

Kommentare zu User-Agents? Senden Sie Ihre Kommentareper E-Mail an [email protected]

Zuletzt aktualisiert am 2. Dezember 2025