AI-crawlercheck
Vul je domein in en zie per AI-crawler of hij je site mag lezen. We halen je robots.txt en je homepage één keer op, en slaan niets op.
Wat de uitslag zegt
De check leest wat je robots.txt zegt, niet wat een bot doet.
- Toegestaan
- Niets in je robots.txt houdt deze crawler tegen.
- Deels
- Je homepage is open, maar een of meer paden zijn dicht. De regel staat erbij.
- Geblokkeerd
- Je robots.txt houdt deze crawler bij je homepage weg.
- Op verzoek
- Deze bots halen een pagina op omdat een gebruiker erom vraagt. Volgens hun eigen documentatie houden niet al die bots zich aan robots.txt.
- Header en meta
- Een X-Robots-Tag of robots-meta zegt iets over indexeren en gebruik, niet over lezen. We tonen ze, maar ze veranderen de uitslag niet.
Vertel ons wie je wel en niet wilt toelaten
De kennismaking is gratis. We reageren binnen één werkdag.