Policy-Signale

Robots.txt für KI

Sieh, welche KI-User-Agents in robots.txt-Direktiven auftauchen und was Publisher erlauben oder blockieren.

Zeitraum
7d 30d 90d
Aktuelles Signal 90d
GPTBot 652
ClaudeBot 548
Google-Extended 519
CCBot 514

robots.txt-User-Agents

Aktualisiert: 2026-06-08T00:00:00Z

Nutze das für: zu prüfen, welche KI-User-Agents explizite robots.txt-Direktiven brauchen.

GPTBot 652
ClaudeBot 548
Google-Extended 519
CCBot 514
Bytespider 437
Googlebot 412
PerplexityBot 386
meta-externalagent 384
Amazonbot 381
Applebot-Extended 357
facebookexternalhit 351
ChatGPT-User 347
OAI-SearchBot 284
bingbot 269
anthropic-ai 244

Was jetzt zu tun ist

Robots.txt-Policy-Analyzer

Prüfe KI-User-Agents gegen die Policy, bevor Allow- oder Block-Regeln live gehen.

GPTBot Agenten-Policy
ClaudeBot Agenten-Policy
Google-Extended Agenten-Policy
CCBot Agenten-Policy
Bytespider Agenten-Policy

Agenten-Policy

90d

Länderaktivität

Nutze Geografie als Planungssignal, bevor du Crawl-Policies oder regionale Infrastruktur änderst.

Warum das wichtig ist

robots.txt wird zur öffentlichen Verhandlungsschicht zwischen Website-Betreibern und KI-Crawlern.

Was jetzt zu tun ist

  • Benenne die exakten User-Agents.
  • Trenne Allow, Disallow und Crawl-Delay.
  • Teste gemanagte robots.txt-Funktionen nach CDN- oder WAF-Änderungen erneut.
Datenquelle: Cloudflare Radar. Von LLMBase für Publisher- und Agent-Readiness-Workflows aufbereitet.