Artificiële Intelligentie, en met name ChatGPT van OpenAI, speelt een steeds grotere rol in hoe consumenten online informatie vinden – ook over jouw producten! Om ervoor te zorgen dat jouw webshop zichtbaar is binnen de zoek- en ontdekkingsfuncties van ChatGPT, moet je de webcrawler van OpenAI, genaamd OAI-SearchBot, correct toegang geven tot je site. Geen zorgen, het is eenvoudiger dan je denkt! Deze gids loodst je er stap-voor-stap doorheen.
Wat is OAI-SearchBot precies?
Voordat we de techniek induiken, eerst even de basis. OAI-SearchBot is de officiële webcrawler van OpenAI. Zijn taak? Het internet afstruinen om webpagina’s te vinden en te indexeren. Deze informatie wordt vervolgens gebruikt om:
- Websites te tonen en ernaar te linken in de zoekresultaten van ChatGPT’s zoekfuncties.
- Content van je site te gebruiken als basis voor antwoorden wanneer gebruikers relevante vragen stellen.
Belangrijk voor jou als webshopeigenaar: Als OAI-SearchBot jouw site niet kan bereiken of lezen, loop je potentiële zichtbaarheid en klanten mis via dit snelgroeiende AI-kanaal.
Geruststelling: OpenAI heeft duidelijk gesteld dat OAI-SearchBot niet wordt gebruikt om content te verzamelen voor het trainen van hun generatieve AI-basismodellen. De focus ligt puur op het verbeteren van de zoek- en browse-ervaring binnen ChatGPT.
Stap-voor-stap: OAI-SearchBot toegang geven via robots.txt
Het robots.txt-bestand is een eenvoudig tekstbestand op de server van je website. Het geeft instructies aan webcrawlers (zoals die van Google, Bing, en dus ook OpenAI) welke delen van je site ze wel of niet mogen bezoeken. Hier controleer je of OAI-SearchBot vrij spel heeft.
Stap 1: Vind je robots.txt-bestand Je vindt dit bestand meestal door /robots.txt achter je hoofddomeinnaam te typen in je browser. Bijvoorbeeld: https://www.jouwwebshop.nl/robots.txt.
Stap 2: Controleer de inhoud Open het bestand en kijk naar de regels. Je zoekt naar het volgende:
- Specifieke blokkades voor OAI-SearchBot:
User-agent: OAI-SearchBot Disallow: /Dit zou betekenen dat je de bot volledig blokkeert.
- Algemene blokkades die OAI-SearchBot kunnen treffen:
User-agent: * Disallow: /Als je deze regel hebt, blokkeer je alle bots, tenzij je een specifieke Allow-regel voor OAI-SearchBot toevoegt.
Stap 3: Pas je robots.txt aan (indien nodig) Als je OAI-SearchBot (per ongeluk) blokkeert, moet je het bestand aanpassen. De meest eenvoudige manier om OAI-SearchBot volledige toegang te geven, is door de volgende regels toe te voegen of te zorgen dat er geen Disallow-regel voor actief is:
User-agent: OAI-SearchBot
Allow: /
Dit geeft de bot toestemming om je hele site te crawlen. Je kunt ook specifieker zijn en alleen bepaalde delen toestaan of juist uitsluiten, maar voor de meeste webshops is volledige toegang voor productontdekking wenselijk.
Voorbeeld van een goede basisconfiguratie (als je ook Googlebot toestaat):
User-agent: Googlebot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Disallow: /admin/ # Voorbeeld om een admin-directory te blokkeren voor alle andere bots
Disallow: /private_files/
⚠️ Let op:
- Wees voorzichtig bij het aanpassen van robots.txt. Een kleine fout kan grote gevolgen hebben voor je vindbaarheid in alle zoekmachines.
- Sla het bestand op na aanpassing en upload het terug naar de rootdirectory van je website.
- Bij twijfel, raadpleeg je webdeveloper of een SEO-specialist.
Extra Check: Instellingen van CDN’s en Security Tools
Naast je robots.txt-bestand is het verstandig om ook de instellingen van eventuele Content Delivery Networks (CDN’s) zoals Cloudflare, of andere security-plugins en -diensten die je gebruikt, te controleren. Deze tools hebben vaak eigen functionaliteiten voor bot-management en firewalls die bots kunnen blokkeren nog voordat ze je robots.txt-bestand bereiken.
Waar moet je op letten?
- Bot Management/Firewall Regels: Duik in de instellingen van je CDN of security tool. Zoek naar secties zoals ‘Firewall’, ‘Bot Fight Mode’, ‘Bot Management’, ‘IP Access Rules’ of ‘Rate Limiting’.
- Bekende Bots Toestaan: Controleer of ‘bekende goede bots’ (waar OAI-SearchBot hopelijk snel toe zal behoren, of al toebehoort in de systemen van deze diensten) standaard worden toegelaten of dat je ze eventueel moet whitelisten.
- Uitdagingen (Challenges): Zorg ervoor dat OAI-SearchBot niet onnodig wordt onderworpen aan CAPTCHA’s of andere ‘challenges’ die de toegang kunnen belemmeren.
- Analytics: Veel van deze tools bieden ook gedetailleerde analytics over botverkeer. Hier kun je vaak zien of OAI-SearchBot je site probeert te bezoeken en of deze succesvol toegang krijgt of juist geblokkeerd wordt.
Kortom: Zelfs met een correct geconfigureerd robots.txt-bestand kan een te strikte instelling in je CDN of security-laag de toegang voor OAI-SearchBot (en andere gewenste bots) verhinderen. Een dubbelcheck is dus zeker de moeite waard!
Verkeer van ChatGPT meten
Als je OAI-SearchBot correct toegang hebt gegeven (en eventuele CDN/security-blokkades hebt opgeheven), wil je natuurlijk weten of het ook daadwerkelijk bezoekers oplevert. OpenAI maakt dit makkelijk:
- Automatische UTM-tag: ChatGPT voegt automatisch de parameter utm_source=chatgpt.com toe aan alle uitgaande links.
- Analyseer in je Analytics: Ga naar je webanalyse-software (zoals Google Analytics). Onder ‘Acquisitie’ > ‘Alle verkeer’ > ‘Bron/Medium’ zou je chatgpt.com / referral moeten kunnen terugvinden als verkeersbron.
- Waardevolle inzichten: Analyseer hoeveel bezoekers je via deze weg krijgt, welke pagina’s ze bezoeken, hoe lang ze blijven, en of ze converteren. Dit helpt je de waarde van dit nieuwe kanaal te bepalen.
Veelgestelde vragen over OAI-SearchBot
- Blokkeer ik andere bots als ik OAI-SearchBot specifiek toesta? Nee, robots.txt werkt met specifieke instructies per User-agent. Regels voor OAI-SearchBot hebben geen invloed op regels voor bijvoorbeeld Googlebot, tenzij je een algemene
User-agent: *regel gebruikt die conflicteert. - Hoe vaak crawlt OAI-SearchBot mijn site? Net als bij andere crawlers, is hier geen vast schema voor. Dit hangt af van diverse factoren, zoals de populariteit en de updatefrequentie van je site.
- Wat als ik bepaalde delen van mijn site wél wil blokkeren voor OAI-SearchBot? Dat kan. Je kunt specifieke Disallow-regels toevoegen onder de User-agent: OAI-SearchBot sectie. Bijvoorbeeld:
User-agent: OAI-SearchBot Allow: /producten/ Disallow: /blog/oude-artikelen/
Conclusie: zorg dat je gevonden wordt
De aanwezigheid van AI-gedreven zoek- en ontdekkingsplatformen zoals ChatGPT is een realiteit. Door de simpele stappen in deze gids te volgen – met name het correct configureren van je robots.txt-bestand voor OAI-SearchBot én het controleren van je CDN/security-instellingen – zorg je ervoor dat jouw webshop meegenomen wordt bij de indexering van OpenAI en jouw producten aanbevolen worden bij relevante zoekopdrachten binnen ChatGPT. Het is een kleine moeite met potentieel grote voordelen. Wacht dus niet langer en controleer je instellingen vandaag nog!
Vergeet niet dat dit slechts de eerste stap is. Voor optimale resultaten op lange termijn is ook de kwaliteit van je content en productdata essentieel. Lees daarover meer in ons [link naar het vorige, bredere artikel over AI en productfeeds, indien gewenst, of een andere relevante call-to-action].