Doe het zelf
Kunnen AI-bots je site lezen?
Een AI-zoekmachine kan je alleen noemen als hij je site kan lezen. Bij een verrassend aantal sites staat er een blokkade die niemand bewust heeft gezet. In tien minuten weet je of dat bij jou zo is.
In het kort. Open jouwdomein.nl/robots.txt en kijk of er een regel Disallow: / staat onder een van de AI-bots hieronder, of onder User-agent: *. Zo ja, dan kan die AI-zoekmachine je site niet lezen. Controleer daarna je firewall of CDN, want daar zit de blokkade vaker.
De belangrijkste AI-bots
| Bot | Van | Wat hij doet |
|---|---|---|
| OAI-SearchBot | OpenAI | Haalt pagina's op voor de zoekfunctie van ChatGPT |
| ChatGPT-User | OpenAI | Haalt een pagina op als een gebruiker daarom vraagt |
| GPTBot | OpenAI | Verzamelt tekst voor training van modellen |
| ClaudeBot | Anthropic | Verzamelt tekst voor training van Claude |
| Claude-SearchBot en Claude-User | Anthropic | Zoeken en ophalen voor antwoorden in Claude |
| PerplexityBot | Perplexity | Indexeert pagina's voor de antwoorden van Perplexity |
| Google-Extended | Geen aparte bot, maar een instelling voor gebruik in Gemini en training | |
| Applebot-Extended | Apple | Instelling voor gebruik in de AI-functies van Apple |
| CCBot | Common Crawl | Open webarchief dat veel AI-bedrijven als trainingsdata gebruiken |
De lijst verandert. De AI-bedrijven publiceren hun eigen documentatie met de actuele namen. Controleer die als je een bot specifiek wilt blokkeren of toelaten.
Training of zoeken: je kunt kiezen
Het onderscheid dat de meeste mensen missen: sommige bots verzamelen tekst om modellen te trainen, andere halen pagina's op om een vraag van nu te beantwoorden. Wil je wel genoemd worden maar je content niet voor training afstaan, dan blokkeer je de trainingsbots en laat je de zoekbots toe.
Een robots.txt die alles toelaat, zoals de onze:
User-agent: *
Allow: /
Sitemap: https://www.redmelon.nl/sitemap-index.xmlEen robots.txt die training blokkeert maar zoeken toelaat:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /Controleren in drie stappen
- Lees je robots.txt. Ga naar jouwdomein.nl/robots.txt. Zoek naar de namen uit de tabel en naar
Disallow: /. Staat er onderUser-agent: *een algemene blokkade, dan geldt die voor iedereen. - Controleer je firewall of CDN. Gebruik je Cloudflare of een vergelijkbare dienst, kijk dan bij de instellingen voor bots. Daar staat soms een optie die AI-crawlers blokkeert, los van je robots.txt. In WordPress kunnen beveiligingsplugins hetzelfde doen.
- Test het resultaat. Vraag ChatGPT met zoeken aan om een specifieke pagina van je site samen te vatten, met de URL erbij. Lukt dat niet terwijl de pagina gewoon online staat, dan is er ergens een blokkade.
En llms.txt?
Je komt het voorstel tegen om een bestand llms.txt op je site te zetten, met een samenvatting voor taalmodellen. Het is een voorstel, geen standaard, en de grote AI-zoekmachines hebben niet bevestigd dat ze het gebruiken. Het kan geen kwaad, maar het vervangt geen goede pagina's en een open robots.txt. Wij zetten het niet bovenaan de lijst.
Veelgestelde vragen
Moet ik AI-bots blokkeren?
Alleen als je niet wilt dat AI-zoekmachines je content gebruiken. Wil je genoemd worden in ChatGPT, Perplexity of Claude, dan moeten hun bots je site kunnen lezen. Het hoort een bewuste keuze te zijn, geen toeval van een plugin of firewall.
Wat is het verschil tussen GPTBot en OAI-SearchBot?
GPTBot verzamelt tekst om toekomstige modellen van OpenAI mee te trainen. OAI-SearchBot haalt pagina's op voor de zoekfunctie van ChatGPT. Je kunt GPTBot blokkeren en OAI-SearchBot toelaten: dan train je de modellen niet, maar kun je wel in zoekantwoorden verschijnen.
Heeft Google-Extended invloed op AI Overviews?
Nee. Google-Extended regelt of je content gebruikt mag worden voor Gemini en de training van Googles modellen. AI Overviews in de zoekresultaten gebruiken de gewone Googlebot. Blokkeer je Googlebot, dan verdwijn je ook uit de gewone zoekresultaten.
Mijn robots.txt staat goed, maar AI ziet mijn site toch niet. Hoe kan dat?
Kijk naar je firewall of CDN. Diensten als Cloudflare hebben instellingen die AI-bots standaard of met één klik blokkeren, los van je robots.txt. Ook beveiligingsplugins in WordPress doen dat soms. Controleer daarnaast of je belangrijke tekst niet alleen via JavaScript laadt.
Toegang is stap één. Daarna gaat het om wat er op je site staat en wat anderen over je zeggen. Lees verder bij vindbaar in ChatGPT en GEO-optimalisatie, of laat ons meekijken via AI-vindbaarheid.
Gratis AI-check
Wat zegt AI nu over jouw bedrijf?
We vragen het aan ChatGPT, Gemini en Google. Je krijgt binnen twee werkdagen een pagina met wat er staat, wat er mist en wat de eerste stap is. Geen verplichtingen.