Wat is robots.txt en hoe werkt het?

Wat is robots.txt? Het is een tekstbestand waarmee je zoekmachines en andere crawlers instructies geeft over welke URL’s van je website zij wel of niet mogen bezoeken.

Het bestand gaat over crawlen en niet rechtstreeks over indexeren. Een regel in robots.txt kan voorkomen dat Google de inhoud van een URL ophaalt, maar garandeert niet dat de URL uit de zoekresultaten verdwijnt.

Voor WordPress-websites is robots.txt vooral nuttig om onnodige technische URL’s te beperken, de wp-admin-map af te schermen voor crawlers en de locatie van de XML-sitemap door te geven. Een verkeerde regel kan er echter ook voor zorgen dat belangrijke pagina’s, afbeeldingen of bestanden niet goed worden gecrawld.

Wat is een robots.txt-bestand?

Robots.txt is een openbaar tekstbestand dat in de hoofdmap van een website staat. Crawlers zoeken het bestand via een vast adres, zoals:

https://jouwdomein.nl/robots.txt

Wanneer Googlebot een website wil crawlen, controleert hij welke regels voor zijn user-agent gelden. Daarna bepaalt hij welke URL’s volgens het bestand mogen worden opgevraagd.

Het bestand bevat geen lijst met pagina’s die Google moet indexeren. Daarvoor gebruik je onder andere interne links en een sitemap. Robots.txt geeft alleen instructies over de toegang tot bepaalde URL’s.

Wil je beter begrijpen wat er gebeurt nadat Google een pagina heeft gevonden, dan helpt dit artikel je verder: Wat is google-indexering en hoe werkt dit proces precies?

Waar staat robots.txt?

Een geldig robots.txt-bestand moet in de hoofdmap van de betreffende website staan. Voor https://jouwdomein.nl is alleen het volgende adres geldig:

https://jouwdomein.nl/robots.txt

Een bestand op https://jouwdomein.nl/map/robots.txt geldt niet voor de volledige website.

Subdomeinen hebben een eigen bestand nodig. De regels van https://www.jouwdomein.nl/robots.txt gelden bijvoorbeeld niet automatisch voor https://shop.jouwdomein.nl.

Ook de gebruikte host is belangrijk. Controleer daarom of je website met of zonder www werkt en welk robots.txt-bestand op de definitieve domeinversie wordt geladen.

Heeft WordPress automatisch een robots.txt-bestand?

WordPress kan automatisch een virtueel robots.txt-bestand genereren. Dat betekent dat je via jouwdomein.nl/robots.txt inhoud ziet, terwijl er mogelijk geen fysiek bestand in public_html staat.

De standaarduitvoer van WordPress blokkeert normaal gesproken de wp-admin-map voor crawlers en laat admin-ajax.php bereikbaar. WordPress kan daarnaast een verwijzing naar de eigen sitemap toevoegen.

Een virtueel bestand werkt zolang WordPress het verzoek kan verwerken. Plaats je zelf een fysiek robots.txt-bestand in de hoofdmap, dan krijgt dat bestand meestal voorrang op de virtuele WordPress-versie.

Controleer daarom eerst wat er al bestaat voordat je een nieuw bestand maakt. Twee verschillende versies kunnen tot verwarring leiden wanneer je denkt dat je via een plugin aanpassingen uitvoert, terwijl de server een fysiek bestand toont.

Wat is het verschil tussen crawlen en indexeren?

Crawlen betekent dat een zoekmachine een URL bezoekt en de inhoud probeert op te halen. Indexeren betekent dat de zoekmachine de opgehaalde informatie verwerkt en eventueel in de zoekindex opslaat.

Robots.txt kan crawlen beperken. Het bestand is niet bedoeld om een pagina betrouwbaar uit de zoekresultaten te verwijderen.

Wanneer een geblokkeerde URL vanaf andere websites of interne pagina’s wordt gelinkt, kan Google het adres nog steeds kennen. De URL kan in sommige situaties zonder normale beschrijving in de zoekresultaten verschijnen, omdat Google de inhoud niet mocht crawlen.

Wil je een pagina niet in Google laten verschijnen, dan gebruik je meestal noindex. Google moet de pagina dan wel mogen crawlen om de noindex-instructie te kunnen lezen.

Wil je uitgebreider onderzoeken waarom een pagina niet in Google verschijnt, lees dan: Waarom worden pagina´s niet geïndexeerd? Oorzaken en oplossingen.

Kan robots.txt gevoelige informatie beschermen?

Nee. Robots.txt is openbaar en iedereen kan het bestand in de browser openen. De regels laten zelfs zien welke mappen of URL’s je voor crawlers probeert te blokkeren.

Gebruik robots.txt daarom niet om klantgegevens, back-ups, interne documenten, testomgevingen of andere vertrouwelijke informatie te beveiligen.

Gevoelige content moet worden beschermd met een wachtwoord, gebruikerslogin, serverbeveiliging of een andere echte toegangsbeperking. Wanneer een bestand niet openbaar mag zijn, hoort het niet alleen achter een Disallow-regel te staan.

Hoe is robots.txt opgebouwd?

Een robots.txt-bestand bestaat uit groepen met instructies. Iedere groep begint met een user-agent. Daaronder staan regels die bepalen welke URL-paden wel of niet mogen worden gecrawld.

De belangrijkste onderdelen zijn User-agent, Disallow, Allow en Sitemap.

User-agent

User-agent bepaalt voor welke crawler een groep met regels geldt. Een ster betekent dat de regels gelden voor alle crawlers die het robots.txt-protocol ondersteunen.

User-agent: *

Je kunt ook een specifieke crawler aanspreken, bijvoorbeeld Googlebot of Googlebot-Image. Gebruik aparte groepen alleen wanneer verschillende crawlers werkelijk andere toegang nodig hebben.

Disallow

Disallow blokkeert het crawlen van URL’s die met een bepaald pad overeenkomen. In dit voorbeeld mogen crawlers de map testomgeving niet bezoeken:

User-agent: *
Disallow: /testomgeving/

Een lege Disallow-regel blokkeert niets:

User-agent: *
Disallow:

Met Disallow: / blokkeer je de volledige website voor de betreffende crawler. Gebruik die regel daarom alleen wanneer dat echt de bedoeling is, bijvoorbeeld tijdens een afgeschermde ontwikkelfase met aanvullende beveiliging.

User-agent: *
Disallow: /

Allow

Met Allow kun je binnen een geblokkeerd pad een specifieke URL toch toegankelijk maken. WordPress gebruikt dit bijvoorbeeld om admin-ajax.php bereikbaar te houden terwijl wp-admin voor crawlers wordt geblokkeerd.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

De meest specifieke passende regel bepaalt in de praktijk welke URL mag worden gecrawld.

Sitemap

Met Sitemap geef je de volledige URL van je XML-sitemap door. De regel kan op een willekeurige plaats in robots.txt staan. Gebruik je Rank Math, dan staat de sitemap meestal op sitemap_index.xml:

Sitemap: https://www.jouwdomein.nl/sitemap_index.xml

Gebruik je de standaard sitemap van WordPress, dan kan de URL wp-sitemap.xml zijn. Open je echte sitemap eerst in de browser en plaats alleen de juiste URL in robots.txt.

Wil je weten welke pagina’s in een sitemap thuishoren en hoe je deze in Search Console toevoegt, lees dan: Wat is een sitemap en hoe helpt het jouw site sneller indexeren?

Een geschikt robots.txt-voorbeeld voor WordPress

Voor veel normale WordPress-websites is een eenvoudig bestand voldoende. Voeg niet zonder reden allerlei extra blokkades toe. Een basisvoorbeeld ziet er zo uit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.jouwdomein.nl/sitemap_index.xml

Vervang de sitemap-URL door de echte sitemap van je website. Controleer ook of WordPress, Rank Math of een andere SEO-plugin al automatisch vergelijkbare regels toevoegt.

Dit voorbeeld blokkeert geen pagina’s, berichten, categorieën, afbeeldingen, thema-bestanden of pluginbestanden die Google mogelijk nodig heeft om de website goed te bekijken.

Welke tekens kun je in robots.txt gebruiken?

Robots.txt ondersteunt speciale tekens waarmee je regels specifieker kunt maken. Gebruik deze alleen wanneer je precies begrijpt welke URL’s ermee overeenkomen.

Het sterretje werkt als wildcard en kan nul of meer tekens vervangen. Het dollarteken geeft het einde van een URL aan. Met de volgende regel blokkeer je bijvoorbeeld PDF-bestanden waarvan de URL eindigt op .pdf:

User-agent: *
Disallow: /*.pdf$

Deze regel geldt voor alle PDF-bestanden die onder dezelfde host vallen. Gebruik hem dus niet wanneer belangrijke handleidingen, brochures of documenten wel via zoekmachines gevonden moeten worden.

Paden in robots.txt zijn hoofdlettergevoelig. De URL’s /Documenten/ en /documenten/ kunnen daarom als verschillende paden worden behandeld.

Hoe maak je robots.txt in WordPress?

Je kunt robots.txt op verschillende manieren beheren. Kies één methode en controleer daarna altijd welke versie werkelijk via je domein wordt getoond.

Robots.txt bewerken met Rank Math

Rank Math kan het virtuele robots.txt-bestand van WordPress vanuit het dashboard beheren.

Ga in WordPress naar Rank Math SEO > Algemene instellingen > Robots.txt bewerken. Daar kun je de bestaande regels controleren en aanpassen.

De editor werkt alleen goed wanneer er geen fysiek robots.txt-bestand in de hoofdmap van de website staat. Is de editor niet beschikbaar of worden wijzigingen niet zichtbaar, controleer dan via je hosting of public_html al een echt bestand bevat.

Maak vóór een grote wijziging een kopie van de huidige inhoud. Voeg daarna alleen regels toe waarvan je weet welke URL’s ze beïnvloeden.

Meer uitleg over de andere belangrijke instellingen van deze SEO-plugin vind je in: Hoe Rank Math plugin instellen in WordPress?

Een fysiek robots.txt-bestand maken

Wil je het bestand rechtstreeks via de hosting beheren, open dan File Manager of maak verbinding via FTP.

Ga naar de hoofdmap van de website. Deze map heet vaak public_html, httpdocs of de document root van het domein.

Maak een nieuw tekstbestand met exact de naam robots.txt. Gebruik alleen kleine letters en sla het bestand op als gewone tekst.

Plaats vervolgens de gewenste regels in het bestand en controleer daarna in de browser of jouwdomein.nl/robots.txt de juiste inhoud toont.

Bestaat er al een bestand, download dan eerst een kopie voordat je het wijzigt. Verwijder geen hostingregels zonder te weten waarom ze zijn toegevoegd.

Welke WordPress-onderdelen moet je niet zomaar blokkeren?

Blokkeer niet automatisch wp-content, themes, plugins, uploads, CSS- of JavaScript-bestanden. Google kan deze bestanden nodig hebben om de pagina op dezelfde manier te renderen als een bezoeker.

Wanneer belangrijke stylesheets of scripts worden geblokkeerd, kan Google een onvolledige of kapotte versie van de pagina zien.

Ook categorieën en tags hoef je niet via robots.txt te blokkeren wanneer je ze niet wilt indexeren. Gebruik daarvoor de indexatie-instellingen van je SEO-plugin. Zo kan Google de pagina crawlen en de noindex-instructie verwerken.

Blokkeer ook geen complete pagina’s alleen omdat ze tijdelijk niet in Google mogen verschijnen. Controleer eerst of noindex, een wachtwoord of het verwijderen van de URL beter past.

Robots.txt en interne zoekresultaten

Interne zoekresultaten kunnen veel verschillende URL’s veroorzaken zonder dat iedere combinatie een waardevolle zoekpagina vormt.

Bij grote websites kan het nuttig zijn om het crawlen van bepaalde zoek- of filter-URL’s te beperken. De juiste regel hangt echter af van de URL-structuur van de website.

Voeg daarom niet blind een algemene regel voor vraagtekens, zoekparameters of filters toe. Zo’n brede regel kan ook belangrijke URL’s blokkeren die dezelfde parameters gebruiken.

Controleer eerst in Search Console, serverlogs of een crawltool welke URL’s werkelijk worden bezocht. Stel daarna een gerichte regel in en test concrete voorbeelden.

Moet je AI-crawlers blokkeren?

Sommige AI-diensten en dataverzamelaars gebruiken een eigen user-agent. Je kunt voor zo’n crawler een aparte groep aan robots.txt toevoegen wanneer je niet wilt dat deze jouw content crawlt. Een voorbeeld ziet er als volgt uit:

User-agent: NaamVanCrawler
Disallow: /

Vervang de voorbeeldnaam alleen door een officiële en actuele user-agent. Verschillende diensten gebruiken andere namen en niet iedere bot respecteert robots.txt.

Blokkeer niet per ongeluk Googlebot of andere crawlers die je wel nodig hebt. Houd groepen voor verschillende user-agents duidelijk van elkaar gescheiden.

Welke robots.txt-regels ondersteunt Google niet?

Gebruik geen noindex-regel in robots.txt. Google ondersteunt deze instructie daar niet als methode om pagina’s uit de zoekindex te houden.

Ook Crawl-delay wordt door Googlebot niet gebruikt. Deze regel wordt door sommige andere crawlers mogelijk wel geïnterpreteerd, maar is geen betrouwbare manier om de crawlsnelheid van Google te regelen.

Gebruik robots.txt alleen voor geldige crawlregels. Indexatie, canonicalisatie en toegang tot privécontent moeten via de daarvoor bedoelde methodes worden geregeld.

Robots.txt controleren in de browser

Open je browser en typ je domeinnaam gevolgd door /robots.txt. Je moet een normale tekstpagina met de ingestelde regels zien.

Controleer daarna of het bestand een normale succesvolle serverreactie geeft. Een HTML-foutpagina die toevallig met status 200 wordt geleverd, is geen geldig robots.txt-bestand.

Bekijk of de sitemap-URL klopt en open deze afzonderlijk. Controleer daarnaast of belangrijke pagina’s, afbeeldingen en scripts niet door een te brede regel worden geraakt.

Na iedere wijziging is het verstandig om de websitecache, servercache en eventuele CDN-cache te wissen. Anders kun je tijdelijk een oude versie van robots.txt blijven zien.

Robots.txt controleren in Google Search Console

Google Search Console heeft een robots.txt-rapport waarin je ziet welke robots.txt-bestanden Google voor je property heeft gevonden. Het rapport toont onder andere het bestandspad, de laatste controle, de bestandsgrootte, de fetchstatus en eventuele problemen.

Ga in Search Console naar Instellingen en open het robots.txt-rapport. Bij een succesvolle controle zie je de status Fetched. Bij Not fetched moet je onderzoeken waarom Google het bestand niet kon ophalen.

Klik op het robots.txt-bestand om de versie te bekijken die Google heeft opgehaald. Controleer of de getoonde inhoud overeenkomt met de actuele versie op je website.

Search Console kan ook parsingproblemen melden. Een fout kan ervoor zorgen dat Google een specifieke regel negeert. Een waarschuwing verhindert het gebruik van een regel niet altijd, maar moet wel worden gecontroleerd.

Na een belangrijke correctie kun je vanuit het rapport een nieuwe crawl van robots.txt aanvragen. Dat garandeert niet dat alle vrijgegeven pagina’s onmiddellijk opnieuw worden gecrawld.

Wil je andere crawl- en indexatieproblemen in Search Console beter begrijpen, lees dan: Complete uitleg over Google search console fouten en fixes.

Hoe test je of een specifieke URL is geblokkeerd?

Gebruik URL-inspectie in Google Search Console om een belangrijke pagina te controleren. Bij Crawl allowed zie je of Google de URL volgens robots.txt mocht crawlen.

Voer ook een live test uit wanneer je de regels recent hebt gewijzigd. De eerder opgeslagen inspectie kan nog gebaseerd zijn op een oudere versie van robots.txt.

Voor een uitgebreide controle kun je daarnaast een robots.txt-validator gebruiken. Vul daarbij altijd de volledige URL en de juiste user-agent in.

Test niet alleen een mapnaam. Controleer concrete URL’s uit die map, omdat een specifiekere Allow-regel een bestand alsnog toegankelijk kan maken.

Wat gebeurt er als robots.txt niet bestaat?

Wanneer robots.txt niet bestaat en de server een normale 404-status teruggeeft, mogen crawlers in principe de website bezoeken.

Een robots.txt-bestand is dus niet verplicht voor iedere kleine website. WordPress maakt meestal al een virtuele versie aan, waardoor je vaak niets handmatig hoeft toe te voegen.

Een tijdelijk serverprobleem is iets anders dan een niet-bestaand bestand. Wanneer Google robots.txt door een server- of netwerkfout niet kan ophalen, kan Google voorzichtiger worden met het crawlen van de website.

Controleer daarom of het bestand stabiel bereikbaar blijft en geen 500-, 502-, 503- of andere serverfouten oplevert.

Heeft robots.txt invloed op SEO?

Robots.txt is geen directe manier om hoger in Google te komen. Het bestand kan wel invloed hebben op de technische toegankelijkheid van je website.

Een goede configuratie voorkomt dat crawlers veel tijd besteden aan onnodige URL’s en zorgt dat belangrijke content en bestanden toegankelijk blijven.

Een verkeerde configuratie kan juist schadelijk zijn. Wanneer je belangrijke pagina’s, CSS, JavaScript, afbeeldingen of andere noodzakelijke bestanden blokkeert, kan Google de website minder goed crawlen of renderen.

Voor kleine websites hoef je crawlbudget meestal niet ingewikkeld te optimaliseren. Houd robots.txt vooral eenvoudig en voorkom onnodige blokkades.

Wil je robots.txt binnen de volledige technische basis van je website beoordelen, lees dan: Wat is technische SEO? Alles wat je moet weten om hoger te scoren in Google.

Veelgemaakte fouten in robots.txt

Een van de gevaarlijkste fouten is het gebruik van Disallow: / op een openbare website. Daarmee blokkeer je alle URL’s voor de betreffende crawler.

Ook het blokkeren van wp-content, themes of plugins kan problemen geven wanneer Google de gebruikte CSS- en JavaScript-bestanden nodig heeft.

Een andere fout is robots.txt gebruiken voor pagina’s die uit Google moeten verdwijnen. Wanneer de pagina niet mag worden gecrawld, kan Google een aanwezige noindex-instructie niet lezen.

Controleer daarnaast altijd de schrijfwijze van paden. Een ontbrekende slash, verkeerd hoofdlettergebruik of te brede wildcard kan meer URL’s raken dan je verwacht.

Plaats geen gevoelige URL’s in robots.txt met het idee dat ze daardoor privé zijn. Het bestand zelf is voor iedereen zichtbaar.

Voeg tot slot niet meerdere tegenstrijdige groepen voor dezelfde user-agent toe zonder te controleren hoe de regels worden gecombineerd.

Conclusie

Robots.txt is een openbaar tekstbestand waarmee je crawlers instructies geeft over welke URL’s zij wel of niet mogen bezoeken.

Het bestand regelt crawling en is geen betrouwbare methode om pagina’s uit Google te verwijderen of privégegevens te beschermen. Gebruik daarvoor noindex, wachtwoordbeveiliging, servertoegang of het verwijderen van de content.

WordPress maakt normaal gesproken een virtueel robots.txt-bestand. Je kunt dit via Rank Math beheren of een fysiek bestand in de hoofdmap plaatsen. Gebruik niet beide methodes zonder te controleren welke versie werkelijk actief is.

Houd de regels eenvoudig, laat belangrijke pagina’s en bestanden toegankelijk en controleer wijzigingen via je browser, URL-inspectie en het robots.txt-rapport in Google Search Console.

Veelgestelde vragen over robots.txt

1. Wat is robots.txt?

Robots.txt is een tekstbestand waarmee je crawlers vertelt welke URL’s van je website zij wel of niet mogen bezoeken.

2. Is robots.txt verplicht?

Nee. Een website kan zonder robots.txt worden gecrawld. WordPress maakt meestal automatisch een virtuele versie aan.

3. Kan robots.txt voorkomen dat een pagina in Google verschijnt?

Niet betrouwbaar. Robots.txt blokkeert vooral het crawlen. Gebruik noindex of een echte toegangsbeperking wanneer een pagina niet in Google mag verschijnen.

4. Waar vind je robots.txt in WordPress?

Open je domeinnaam gevolgd door /robots.txt. Het bestand kan fysiek in de hoofdmap staan of virtueel door WordPress of een SEO-plugin worden gegenereerd.

5. Kan ik robots.txt met Rank Math bewerken?

Ja. Rank Math heeft een editor voor het virtuele robots.txt-bestand. Wanneer er een fysiek bestand in de hoofdmap staat, kan deze editor mogelijk niet worden gebruikt.

6. Moet de sitemap in robots.txt staan?

Het is niet verplicht, maar een correcte Sitemap-regel helpt crawlers om de locatie van je XML-sitemap te vinden.

7. Hoe weet ik of robots.txt belangrijke pagina’s blokkeert?

Controleer de pagina met URL-inspectie in Google Search Console en bekijk bij Crawl allowed of Google de URL mocht crawlen. Test na wijzigingen ook de live URL.