AI-crawlers blokkeren of niet: wat 15 september verandert

Vanaf 15 september 2026 blokkeert Cloudflare standaard crawlers die zowel voor zoeken als voor AI-training worden gebruikt, op pagina's met advertenties. Wie zelf niets instelt, kiest daarmee automatisch een kant in de discussie tussen AI-zichtbaarheid en controle over zijn content (Cloudflare, 2026).

Dat is geen technisch detail voor developers. Het raakt je hostingrekening en je laadsnelheid. Vaak onderbelicht blijft of jouw bedrijf straks genoemd wordt zodra iemand ChatGPT of Perplexity een vraag stelt over jouw branche, en die twee kanten worden deze week ineens dezelfde knop.

Wat verandert er precies op 15 september?

Cloudflare kondigde de wijziging op 1 juli 2026 aan en voert hem nu door voor nieuwe klanten, nieuwe websites en iedereen op een gratis abonnement. Zogeheten mixed-use crawlers, bots die tegelijk content indexeren voor zoekresultaten én voor het trainen van AI-modellen, worden standaard geweerd op pagina's met advertenties. Bestaande betalende klanten houden voorlopig hun huidige instellingen, maar de standaardwaarde voor iedereen die na vandaag een site opzet, is dus: dicht.

Waarom raakt botverkeer eigenlijk mijn hostingkosten?

Elke crawler die je site bezoekt, verbruikt serverruimte en rekenkracht, net als een menselijke bezoeker. Het verschil is dat een bot nooit converteert. Hij vraagt wel iets van je server, maar levert nooit een aanvraag op, geen telefoontje, geen bestelling. Hoe groter dat aandeel wordt, hoe meer je feitelijk betaalt voor verkeer dat nooit klant wordt.

Imperva's Bad Bot Report 2026 komt op een net iets andere basis uit, 53% automatisch verkeer over heel 2025, met een stijgende lijn. De exacte percentages lopen uiteen omdat beide bedrijven een ander deel van het internet meten, maar de richting is hetzelfde: het aandeel niet-menselijk verkeer groeit, en dat kost geld, ongeacht of die bots welwillend zijn of niet.

Moet ik AI-crawlers dan maar blokkeren?

Niet zo snel. Hier zit de spanning die de meeste artikelen over dit onderwerp overslaan. Blokkeer je te breed, dan verdwijn je ook uit de bronnen die AI-antwoordmachines gebruiken om te bepalen wélk bedrijf ze noemen bij een vraag in jouw branche. Voor een uitgever die leeft van zijn content is dichtzetten een logische keuze. Voor een B2B-dienstverlener die juist gevonden wil worden, is het vaak een vergissing.

Hoe je zeker weet of jouw site nu al zichtbaar is in AI-antwoorden, en niet per ongeluk buitengesloten wordt, staat in deze gratis GEO-meettool om je AI-zichtbaarheid te checken. Dat is de andere kant van dezelfde medaille: eerst weten waar je staat, dan pas een knop omzetten.

Wat betekent dit concreet voor jouw site vandaag?

• Open robots.txt van je eigen site (jouwdomein.nl/robots.txt) en check welke bots al geblokkeerd staan
• Log in bij je hostingprovider of Cloudflare-account en kijk of er een 'AI-crawler'- of 'bot management'-instelling actief is, en sinds wanneer
• Vraag je hostingpartij om een overzicht van botverkeer op je server over de afgelopen maand, veel providers kunnen dit rapporteren
• Beslis per type crawler, niet in één klap: een trainingscrawler weren kan, een crawler die je zichtbaar maakt in AI-antwoorden meestal niet

Botverkeer en laadsnelheid horen trouwens ook gewoon bij elkaar. Een server die structureel meer bezoekers verwerkt dan er mensen zijn, voelt dat terug in reactietijd. Hoe je zelf, zonder developer, checkt of jouw site daar last van heeft, staat uitgebreid in Core Web Vitals: de techniek achter je conversie.

Hoe pak je dit praktisch aan zonder alles op de schop te gooien?

1. Begin met meten, niet met blokkeren. Zonder te weten hoeveel van je verkeer bot is en welk type, gok je.
2. Maak onderscheid tussen crawlers die je index in AI-antwoorden houden en crawlers die alleen data verzamelen voor training. De eerste categorie wil je meestal juist toelaten.
3. Stel robots.txt bewust in, niet op de fabrieksinstelling van je hostingpakket of CMS.
4. Controleer dit over een half jaar opnieuw. Het beleid van grote partijen als Cloudflare verandert, en je eigen instellingen verouderen mee.

Wij zien het zelden dat een klant zijn bot-instellingen bewust heeft gezet. Meestal staat het gewoon op wat de hostingpartij drie jaar geleden als standaard meegaf, van vóór iemand aan AI-crawlers dacht.Elias, GoSellMate

Dat is precies waarom dit nu de moeite waard is om te checken. Niet omdat elke ondernemer meteen actie moet ondernemen, maar omdat de meesten helemaal niet weten wat er nu al ingesteld staat.

Wil je weten hoe jouw robots.txt en botinstellingen er nu voor staan, en of dat past bij wat je wilt met AI-zichtbaarheid? Stuur ons een bericht via WhatsApp en we kijken binnen een dag met je mee, geen technisch jargon, gewoon een concreet antwoord voor jouw site.