LLMBase
Policy-Signale

Robots.txt für KI

Sieh, welche KI-User-Agents in robots.txt-Direktiven auftauchen und was Publisher erlauben oder blockieren.

Zeitraum
7d30d90d
Aktuelles Signal90d
GPTBot725
ClaudeBot628
Google-Extended576
CCBot526

robots.txt-User-Agents

Aktualisiert: 2026-10-12T00:00:00Z

Nutzen Sie das für: zu prüfen, welche KI-User-Agents explizite robots.txt-Direktiven brauchen.

GPTBot725
ClaudeBot628
Google-Extended576
CCBot526
PerplexityBot522
ChatGPT-User493
Bytespider461
OAI-SearchBot445
Googlebot431
facebookexternalhit383
Amazonbot374
meta-externalagent370
Applebot-Extended362
anthropic-ai341
bingbot320

Was jetzt zu tun ist

Robots.txt-Policy-Analyzer

Prüfen Sie KI-User-Agents gegen die Policy, bevor Allow- oder Block-Regeln live gehen.

GPTBotAgenten-Policy
ClaudeBotAgenten-Policy
Google-ExtendedAgenten-Policy
CCBotAgenten-Policy
PerplexityBotAgenten-Policy

Agenten-Policy

90d

Länderaktivität

Nutzen Sie Geografie als Planungssignal, bevor Sie Crawl-Policies oder regionale Infrastruktur ändern.

Warum das wichtig ist

robots.txt wird zur öffentlichen Verhandlungsschicht zwischen Website-Betreibern und KI-Crawlern.

Was jetzt zu tun ist

  • Benenne die exakten User-Agents.
  • Trenne Allow, Disallow und Crawl-Delay.
  • Teste gemanagte robots.txt-Funktionen nach CDN- oder WAF-Änderungen erneut.
Datenquelle: Cloudflare Radar. Von LLMBase für Publisher- und Agent-Readiness-Workflows aufbereitet.