Wat zijn AI-crawlers?

AI-crawlers – zoals OAI-SearchBot en GPTBot van OpenAI en ClaudeBot van Anthropic – verzamelen gegevens van je website om AI-modellen te trainen en te verbeteren. Ze analyseren niet alleen de tekst op je website, maar ook afbeeldingen, audio en video. Ze proberen te begrijpen wat deze content betekent, zodat AI-modellen beter leren communiceren en adviseren. Ook gebruiken ze de data om betere antwoorden te geven op zoekvragen, slimmere aanbevelingen te doen en sneller verbanden te leggen.

Voordat je verder leest

In dit artikel gebruiken we een paar termen die je misschien nog niet kent:

• LLM: een taalmodel zoals ChatGPT, in de volksmond bekend als AI.
• OpenAI: het bedrijf achter ChatGPT.

Voor uitleg van verdere moeilijke termen kun je verder klikken op de links.

Wat is het verschil tussen een AI-crawler en een traditionele webcrawler?

Traditionele crawlers indexeren webpagina’s voor welbekende zoekmachines zoals Google en Bing. AI-crawlers doen hetzelfde voor LLM’s. Daarnaast verzamelen ze data voor het trainen van die modellen en voor andere AI-toepassingen.

Is het veilig om AI-crawlers mijn website te laten bezoeken?

Of het veilig is om AI-crawlers je website te laten bezoeken, is een beetje afhankelijk van wat jij als ‘veilig’ beschouwt. AI-crawlers toestaan heeft voordelen en nadelen:

Wat zijn de voordelen van het toestaan van AI-crawlers?

AI-crawlers op je website toestaan is belangrijk voor je SEO. Of eigenlijk: het is belangrijk voor je vindbaarheid in verschillende AI-zoekfuncties, zoals ChatGPT Search. Het verbeteren van je vindbaarheid in LLM’s noemen we ook wel GEO (Generative Engine Optimization) of AEO (Answer Engine Optimization).

De belangrijkste voordelen van AI-crawlers op je website toestaan, zijn:

• Vergroting van je bereik: door AI-crawlers toe te staan, is de kans groter dat je content zichtbaar wordt in AI-zoekresultaten en samenvattingen, wat mogelijk leidt tot meer verkeer naar je site.
• Verbeterde zichtbaarheid: sommige AI-platforms geven credits of links naar de originele bron, wat je autoriteit en naamsbekendheid vergroot.

Wat zijn de risico’s van het toestaan van AI-crawlers?

Natuurlijk heeft iets altijd nadelen. Mogelijke nadelen als je AI-crawlers op je website toestaat, zijn:

• Ongewenst gebruik van je content: als je AI-crawlers toestaat, gebruiken AI-bedrijven je content om hun modellen te trainen.
• Verkeerde interpretatie van je content: wanneer een LLM je website crawlt, kan het voorkomen dat het je content niet of niet goed begrijpt. Hieronder zie je daarvan een mooi voorbeeld.
• Toename van serverbelasting: AI-crawlers verbruiken (in sommige gevallen) aanzienlijke bandbreedte, wat leidt tot hogere serverkosten en mogelijk tragere prestaties van je website. Let wel: het is niet alsof zo’n crawler 24 uur per dag op je website bezig is.

Hier heb je meteen een mooi voorbeeld van zowel een verbeterde zichtbaarheid in ChatGPT, als een verkeerde interpretatie van onze content:

Semwerkt is met bron zichtbaar en wordt dus door in ieder geval de OAI-SearchBot gecrawld. Helaas denkt ChatGPT wel dat we onze specialisten ‘Sammers’ noemen. Eigenlijk noemen we onze specialisten ‘Semmers’. Gelukkig klopt de rest van de informatie wel.

Moet ik toestemming geven aan AI-crawlers?

AI-crawlers gaan ervan uit dat ze je website mogen crawlen, tenzij je expliciet aangeeft van niet. Natuurlijk kan het geen kwaad om toestemming te geven, maar het hoeft niet.

Kan ik AI-crawlers blokkeren?

Als je je SEO-prestaties belangrijk vindt, raden we aan om AI-crawlers niet te blokkeren. Maar wil je dit toch doen, dan kan dit door:

• Je robots.txt-bestand en llm.txt-bestand aan te passen: specificeer welke crawlers je wilt blokkeren, zoals GPTBot van OpenAI of andere bekende AI-crawlers (bijv. User-agent: GPTBot\nDisallow: /)
• Beveiligingstools en bot-beheersoftware in te zetten: gebruik tools zoals AI Labyrinth om ongewenste bots te blokkeren.
• Meta-tags te gebruiken: voeg noindex of noai meta-tags toe aan je pagina’s om aan te geven dat zoekmachines en AI ze niet mogen crawlen of gebruiken (doe dit niet als je je organische vindbaarheid belangrijk vindt!)

Waarom zijn AI-crawlers relevant voor online marketing?

AI-crawlers spelen een steeds belangrijkere rol in online marketing, omdat ze de manier waarop mensen informatie opzoeken en consumeren fundamenteel veranderen. AI-zoekmachines zoals ChatGPT, AI Overviews (op Google) en Perplexity genereren bijvoorbeeld directe antwoorden op de vragen die mensen stellen. Dit leidt tot een toename van zogeheten ‘zero-click searches’. Gebruikers vinden de informatie die ze nodig hebben, zonder dat ze naar je website doorklikken. Hierdoor lijkt het alsof je SEO minder goed werkt. Je krijgt immers minder verkeer op je website. Maar omdat jouw content – hopelijk met bronvermelding – te zien is, blijf je wel zichtbaar bij je doelgroep en verbeter je je geloofwaardigheid en autoriteit. Jij weet blijkbaar zoveel over je vakgebied – en zoveel meer dan je concurrenten – dat AI jouw website als bron gebruikt! Als diezelfde gebruiker later de producten of diensten die jij aanbiedt nodig heeft, denkt hij waarschijnlijk aan je.

Moet je je SEO-strategie aanpassen voor AI-vindbaarheid?

Om ook in AI-tools goed vindbaar te zijn, hoef je gelukkig niet je hele SEO-strategie aan te passen. Wel zijn er een paar nieuwe dingen waar je op kunt letten en veel toevoegingen die je kunt doen, en is het goed even naar je technische SEO te kijken. Vooral het gebruik van JavaScript speelt daarbij een grote rol. Gebruik je dat veel, dan maak je onbedoeld een groot deel van je content onzichtbaar voor AI-crawlers zoals GPTBot. Die voeren namelijk geen JavaScript uit en zien alleen de basis-HTML van je site. Staat je belangrijkste informatie daar niet in? Dan verschijnt je site simpelweg niet in AI-resultaten.

Wat betekent JavaScript voor je vindbaarheid in AI?

Als AI-systemen je content niet zien, kunnen ze je ook niet vermelden. Het gevolg?

• Je pagina’s worden niet opgenomen in AI-resultaten.
• Je mist verkeer van gebruikers die via AI-tools zoeken.
• Je merk of aanbod blijft deels onzichtbaar, zelfs als je content wel goed is.

Wat kun je doen om dit te voorkomen?

Gelukkig zijn er manieren om ervoor te zorgen dat AI-crawlers jouw content wel oppikken:

• Laat je pagina’s server-side renderen (SSR), zodat je content direct zichtbaar is in de HTML.
• Kies voor dynamische rendering: geef bots een HTML-versie en gebruikers de interactieve variant.
• Check zelf hoe goed jouw site werkt voor bots via tools als Google Search Console of Screaming Frog.

Moet je je contentstrategie aanpassen voor AI-vindbaarheid?

Je contentstrategie moet in de eerste plaats altijd op de gebruiker gericht zijn. Is je content voor de gebruiker begrijpelijk, relevant en goed leesbaar? Dan heb je al veel raakvlakken met AI. Zorg bijvoorbeeld dat je tekst goed scanbaar is, met duidelijke titels, kopjes en bulletlijstjes. Gebruik zoveel mogelijk makkelijke taal en simpele, actieve zinnen.

De twee grootste tips die we je verder kunnen geven, zijn:

• Optimaliseer je FAQ-pagina, zorg dat je vragen verwoord staan zoals mensen die echt zouden stellen.
• Blog zoveel mogelijk over informatieve onderwerpen binnen je branche en gebruik ook daar zoekvragen als kopjes.

Wat als ik AI-crawlers toelaat, maar nog steeds niet zichtbaar ben?

Weet je zeker dat je AI-crawlers op je website toelaat, maar heb je het idee dat je in LLM’s nog niet echt zichtbaar bent? Onze specialisten helpen je verder! We doen een uitgebreide GEO-scan, optimaliseren je website voor vindbaarheid in zoekmachines en taalmodellen en verbeteren waar nodig je content. Neem contact met ons op voor meer informatie of een vrijblijvend adviesgesprek.