# SponsorKliks robots.txt
#
# GEO / citatie (antwoordengines): Allow. Dit is zichtbaarheid.
# Training (GPTBot, ClaudeBot, Applebot-Extended): Allow. Bewuste keuze:
# merk in de trainingsdata helpt entiteitsherkenning. Dat is niet hetzelfde
# als GEO, maar we willen beide.
# Dump-crawlers zonder attributie of verkeer terug (CCBot / Common Crawl,
# Bytespider): Disallow. Daarom GPTBot Allow en CCBot Disallow - geen fout.
#
# Googlebot / Bingbot vallen onder User-agent: * en blijven Allow.

# --- GEO: grounding, search, live fetch wanneer een gebruiker vraagt ---
User-agent: Google-Extended
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: Amazonbot
Allow: /

# --- Training (bewust Allow; legacy Anthropic-namen blijven Allow) ---
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# --- Geen attributie / scrapers ---
User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CloudflareBrowserRenderingCrawler
Disallow: /

User-agent: Vagabondo
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.sponsorkliks.com/sitemap.xml