AI-crawlers blokkeren of toestaan

Maak de keuze per soort bot. Bots die trainen, zoals GPTBot, ClaudeBot en Google-Extended, kun je blokkeren zonder uit de zoekantwoorden van ChatGPT of Claude te verdwijnen. Wil je daar wel als bron in staan, laat dan OAI-SearchBot, Claude-SearchBot en PerplexityBot toe, en controleer of je hosting of Cloudflare ze niet alsnog tegenhoudt.

Damian Madronal Munoz, oprichter

Bijgewerkt op 30 oktober 20266 min leestijd

“AI blokkeren” is zelden wat je bedoelt. Elk groot AI-bedrijf stuurt meerdere bots op pad, elk met een eigen taak, en wie ze allemaal tegenhoudt, verdwijnt ook uit de antwoorden waarin hij juist wil staan. Hieronder welke bot wat doet, robots.txt-voorbeelden per keuze, en hoe je controleert of je keuze ook echt de server bereikt.

Herken je dit?

Je site komt nooit voor als bron in ChatGPT of Perplexity, ook niet op vragen over je eigen vak.
In je robots.txt staat een blok over AI dat een plugin of een sjabloon erin zette.
Je site draait achter Cloudflare en je weet niet wat de instelling voor AI-bots doet.
Je wilt niet dat je teksten modellen trainen, maar wel gevonden worden.
In je serverlogs zie je CCBot of Bytespider duizenden pagina’s ophalen.

Een AI-bedrijf stuurt drie soorten bots

De eerste soort verzamelt tekst om modellen te trainen. De tweede bouwt een zoekindex, zodat een AI-assistent naar je pagina kan verwijzen. De derde haalt één pagina op op het moment dat een gebruiker daarom vraagt, bijvoorbeeld met “vat deze pagina samen”. Volgens de documentatie van de bedrijven zelf:

OpenAI: GPTBot traint. OAI-SearchBot indexeert voor de zoekfunctie van ChatGPT; wie hem blokkeert, staat niet als bron in die antwoorden. ChatGPT-User haalt op voor een gebruiker.
Anthropic: ClaudeBot traint. Claude-SearchBot indexeert voor de zoekresultaten in Claude. Claude-User haalt op voor een gebruiker.
Perplexity: PerplexityBot indexeert voor de antwoorden van Perplexity en wordt volgens Perplexity niet gebruikt voor training. Perplexity-User haalt op voor een gebruiker.
Google: Google-Extended is geen crawler maar een naam in robots.txt. Hij bepaalt of wat Googlebot ophaalt, Gemini mag trainen en voeden. Op Google Zoeken heeft hij geen invloed.
Apple: Applebot-Extended werkt net zo. Hij crawlt zelf niet en bepaalt of wat Applebot ophaalt, de modellen van Apple mag trainen. In zoekresultaten blijf je staan.
Meta: Meta-ExternalAgent traint en indexeert. Meta-ExternalFetcher haalt op voor een gebruiker.
Common Crawl: CCBot bouwt een open archief van het web, waar veel AI-modellen op getraind zijn.
ByteDance: Bytespider, van het bedrijf achter TikTok. Officiële documentatie vonden we niet, en of hij robots.txt volgt, is omstreden.

Niet elke bot volgt robots.txt

Robots.txt is een verzoek, geen slot. Voor de bots die trainen en indexeren zeggen de grote bedrijven dat ze het volgen. Anthropic zegt dat voor al zijn bots, Claude-User inbegrepen.

Voor bots die ophalen voor een gebruiker ligt het anders, en de bedrijven zeggen dat zelf. OpenAI schrijft dat robots.txt voor ChatGPT-User mogelijk niet geldt. Perplexity schrijft dat Perplexity-User robots.txt in het algemeen negeert. Meta schrijft dat Meta-ExternalFetcher robots.txt kan omzeilen. Hun redenering: een mens vroeg erom, net als wanneer die mens zelf je pagina opent.

Zo stel je het in

1. Kies wat je wilt

Er zijn drie verdedigbare keuzes. Alles toestaan, omdat gevonden worden voor jou meer waard is dan afschermen. Zoeken toestaan en training niet, omdat je wel als bron wilt staan maar je teksten niet wilt weggeven. Of alles dicht, omdat je inhoud je product is, zoals bij een betaalde kennisbank.

Naltex.nl kiest de eerste. Voor een bedrijf dat van aanvragen leeft, is een vermelding in een antwoord van ChatGPT of Perplexity meer waard dan de tekst afschermen. Onze robots.txt laat alle bots toe en noemt de belangrijkste AI-bots apart, zodat niemand later per ongeluk een blokkade toevoegt.

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Het AI-deel van de robots.txt van naltex.nl: alle crawlers mogen alles, vier AI-bots staan er met naam in.

2. Zet je keuze in robots.txt

Robots.txt staat in de hoofdmap van je domein, op /robots.txt. Je mag meerdere User-agent-regels boven één set regels zetten; die gelden dan voor elk van die bots.

# Trainen: nee
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Zoeken: ja
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Wel als bron in AI-zoekantwoorden, niet in trainingsdata.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Alle AI-bots weg, Google en Bing gewoon toegestaan. De bots die voor een gebruiker ophalen, kunnen dit negeren.

3. Kijk wat Cloudflare of je hosting ervan maakt

Een blokkade in je firewall wint van elke Allow in robots.txt: de bot krijgt een foutmelding en leest je pagina niet. Sinds 15 september 2026 blokkeert Cloudflare standaard AI-crawlers met een gemengd doel (zoeken, trainen en agents in één) op pagina’s met advertenties. Die standaard geldt voor nieuwe klanten, nieuwe sites en gratis abonnementen. Kijk daarom in je Cloudflare-dashboard bij de instellingen voor AI-crawlers welke bots geblokkeerd staan. Staat OAI-SearchBot daartussen, dan sta je niet in de zoekantwoorden van ChatGPT, wat je robots.txt ook zegt.

Kijk ook naar je live robots.txt in de browser. Cloudflare en sommige hostingpartijen kunnen er zelf regels aan toevoegen.

Of de echte bots binnenkomen, zie je in je serverlogs. Deze regel telt per statuscode hoe vaak de AI-bots langskwamen; 200 is binnen, 403 is geweigerd.

grep -E "GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot" access.log \
  | awk '{print $9}' | sort | uniq -c

Telt de statuscodes van AI-bots in een standaard access-log van Apache of nginx.

Zelf een bot nadoen met een eigen user-agent zegt minder dan het lijkt. Cloudflare herkent de echte bots ook aan hun IP-adres, dus een test vanaf je laptop krijgt niet altijd dezelfde behandeling.

4. Controleer het resultaat

Met de AI-crawlercheck vul je je domein in en zie je per bot wat je robots.txt toestaat, en via welke regel. Doe dat na elke wijziging, en na elke update van een plugin die aan je robots.txt komt.

Waar het vaak misgaat

Alles met AI erin blokkeren. Wie OAI-SearchBot en PerplexityBot meeneemt in een blokkade tegen training, verdwijnt als bron uit ChatGPT en Perplexity.
Een eigen groep voor één bot, en de algemene regels vergeten. Heeft een bot een eigen groep in robots.txt, dan volgt hij alleen die groep. De regels onder User-agent: * gelden dan niet meer voor hem.
Denken dat Google-Extended je uit AI Overviews haalt. Het regelt Gemini, niet de AI-antwoorden in Google Zoeken.
Robots.txt aanpassen en de firewall vergeten. Een Allow helpt niet als Cloudflare de bot al bij de voordeur weigert.
De bots voor gebruikers als crawlers behandelen. ChatGPT-User en Perplexity-User komen omdat iemand naar jouw pagina vroeg. Blokkeer je ze in je firewall, dan krijgt die persoon geen antwoord over jouw bedrijf.

Wanneer je hulp nodig hebt

Laat je de zoekbots toe en sta je nog steeds nergens, dan ligt het vaak niet aan robots.txt maar aan hoe je site gebouwd is. Een site die zijn inhoud pas in de browser opbouwt, toont een crawler een lege pagina; dat lees je in AI-website niet gevonden in Google. Of je in AI-antwoorden terugkomt, meet je met de stappen in verkeer uit ChatGPT en AI Overviews meten.

Wil je dat iemand je robots.txt, je Cloudflare-instellingen en de techniek van je site in één keer naloopt, dan doen we dat binnen SEO en performance. Alles over gevonden worden door AI staat bij vindbaarheid.

Veelgestelde vragen⁠

Verdwijn ik uit Google als ik Google-Extended blokkeer?

Nee. Google schrijft zelf dat Google-Extended geen invloed heeft op je plek in Google Zoeken. Het regelt of je inhoud Gemini mag trainen en voeden. Uit AI Overviews en AI Mode houd je pagina’s niet met Google-Extended, maar met de snippetregels zoals nosnippet, en die halen je ook uit de gewone zoekfragmenten.

Houdt robots.txt een bot echt tegen?

Nee, het is een verzoek. De grote AI-bedrijven zeggen dat hun crawlers het volgen. Voor bots die een pagina ophalen omdat een gebruiker erom vraagt, maken OpenAI, Perplexity en Meta een uitzondering. Wil je een bot echt weren, blokkeer hem dan ook in je firewall.

Hoe snel werkt een wijziging door?

OpenAI noemt ongeveer 24 uur voordat een wijziging voor OAI-SearchBot zichtbaar is in de zoekresultaten van ChatGPT. Andere bedrijven noemen geen termijn. Wat al in een getraind model zit, haal je er met robots.txt niet meer uit.

Kan ik alleen een deel van mijn site afschermen?

Ja. Zet in de groep van de bot een Disallow voor de map die je wilt afschermen, bijvoorbeeld je kennisbank, en laat de rest open. Een bot volgt dan per pad wat er staat.

Verder lezen⁠

AI-verkeer meten: Bezoekers uit ChatGPT, Perplexity, Claude, Copilot en Gemini apart zien in GA4, en wat Search Console laat zien over AI Overviews en AI Mode.
Website klaar voor AI-agents: Agents die zelf formulieren invullen en op knoppen drukken: wat ze nodig hebben, en wat WebMCP en Lighthouse Agentic Browsing daaraan toevoegen.
Webshop in AI-shopping: Productdata, structured data en je feed, zodat AI-assistenten en Google AI Mode je producten vinden. Plus ACP en UCP, en wat iDEAL daaraan verandert.

Wij zetten je robots.txt en je firewall op één lijn⁠

De kennismaking is gratis. We reageren binnen één werkdag.

Plan een kennismaking Bel direct