Wat is een AI-crawler?
Een bot van een AI-bedrijf die webpagina's ophaalt. Bekende namen zijn GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot. Google-Extended is een instelling waarmee je kunt bepalen of Google je inhoud voor zijn AI mag gebruiken.
Wat zegt je robots.txt?
In je robots.txt kun je per bot zeggen of die welkom is. Open jouwsite.nl/robots.txt en zoek naar regels bij deze namen. Staat er “User-agent: *” met “Disallow: /”, dan sluit je alle bots uit.
Toestaan of blokkeren?
Dat is een keuze. Je kunt bots blokkeren omdat je niet wilt dat je teksten worden gebruikt. Maar sluit je ze buiten, dan geef je een assistent minder om mee te werken. Er zijn ook verschillende bots voor training en voor zoekopdrachten, dus lees per bot wat hij doet.
Controleer het regelmatig
Beveiligingsplugins, hostingstandaarden en CMS-updates kunnen je robots.txt wijzigen. Kijk er na grote aanpassingen even naar.