Wat is robots.txt? Misschien heb je die term al eens voorbij zien komen wanneer je bezig was met SEO of het instellen van je WordPress website. Voor veel ondernemers en website-eigenaren klinkt het technisch en ingewikkeld, maar eigenlijk is het een heel simpel bestandje met een grote impact. Een robots.txt-bestand bepaalt namelijk welke delen van je site zichtbaar zijn voor zoekmachines zoals Google en Bing, en welke delen juist niet.

Stel je voor: je hebt een website met tientallen pagina’s, afbeeldingen, documenten en misschien zelfs privébestanden. Natuurlijk wil je dat je belangrijkste pagina’s wél worden geïndexeerd en in Google verschijnen, maar sommige onderdelen hoeven niet openbaar. Denk aan interne bestanden, plugin-mappen of testpagina’s. Juist voor dat soort situaties is robots.txt ontwikkeld.

In dit artikel lees je wat robots.txt is, waarom het belangrijk is voor je WordPress website, hoe je zelf een robots.txt-bestand maakt en hoe je het slim kunt instellen om je SEO en beveiliging te verbeteren. Zo weet je precies hoe je zoekmachines de juiste weg wijst door je website.

Wat is een robots.txt bestand?

Een robots.txt-bestand is eigenlijk niets meer dan een eenvoudig tekstbestand dat achter de schermen op je website staat. Toch heeft het een belangrijke functie: het geeft zoekmachines instructies over waar ze wel en niet mogen komen. Vergelijk het met een bordje bij de ingang van een gebouw waarop staat “verboden toegang” of juist “vrij toegang”.

Zodra een zoekrobot, zoals Googlebot, je site bezoekt, kijkt hij als eerste naar dit bestand. Daar leest hij welke mappen of pagina’s hij mag bekijken en welke hij moet overslaan. Op die manier houd jij zelf de controle over hoe zoekmachines jouw site verkennen.

Een groot voordeel hiervan is dat je ongewenste of gevoelige bestanden buiten beeld kunt houden. Denk bijvoorbeeld aan technische bestanden, testpagina’s of documenten die niet bedoeld zijn voor het publiek. Zo voorkom je dat zoekmachines tijd verspillen aan onbelangrijke onderdelen en richt de aandacht zich op de pagina’s die er echt toe doen.

Waarom is robots.txt belangrijk?

Een robots.txt-bestand lijkt klein en onbelangrijk, maar het kan je website juist een stuk overzichtelijker maken voor zoekmachines. Hiermee geef je zoekmachines een soort wegwijzer: “hier mag je kijken” en “hier hoef je niet te komen”.

Waarom is dat handig?

  • Controle over je website
    Je beslist zelf welke gedeeltes zoekmachines mogen bekijken en welke niet. Bijvoorbeeld: je wilt dat je homepage en je blogs zichtbaar zijn in Google, maar niet je testpagina’s of mappen met technische bestanden.
  • Zoekmachines verspillen geen tijd
    Robots hebben per site een beperkte hoeveelheid tijd om pagina’s te bekijken. Dat heet crawlbudget. Als ze eerst allemaal nutteloze pagina’s tegenkomen, houden ze minder tijd over voor je belangrijke pagina’s. Door robots.txt te gebruiken, stuur je ze direct naar de pagina’s die ertoe doen. Wil je beter begrijpen hoe zoekmachines websites analyseren en bepalen welke pagina’s belangrijk zijn? Lees dan ook het artikel Hoe werken zoekmachines en hoe bepalen ze jouw positie?
  • Sneller indexeren via je sitemap
    In robots.txt kun je ook je sitemap zetten. Een sitemap is een lijst met alle belangrijke pagina’s van je website. Zoekmachines gebruiken die lijst om nieuwe of aangepaste pagina’s sneller te vinden en op te nemen in de zoekresultaten. Wil je precies weten wat een sitemap is en waarom zoekmachines deze gebruiken? Bekijk dan ook ons artikel Wat is een sitemap en hoe helpt het jouw site sneller indexeren?
  • Minder belasting voor je website
    Hoe meer robots onnodige pagina’s proberen te bezoeken, hoe zwaarder dat kan zijn voor je server. Met robots.txt kun je onbelangrijke paden blokkeren en je website licht en snel houden.
  • Regels per soort robot
    Je kunt zelfs regels maken voor specifieke robots. Bijvoorbeeld Googlebot-Image (die alleen afbeeldingen bekijkt). Daarmee bepaal je precies welk type content zichtbaar mag zijn en welk niet.
  • Let op: geen beveiliging
    Robots.txt is geen slot op de deur. Iedereen kan dit bestand zien en wie kwaad wil kan de regels negeren. Het is vooral bedoeld om zoekmachines de juiste richting te geven, niet om gevoelige data af te schermen.

Hoe maak je een robots.txt bestand in WordPress?

Het aanmaken van een robots.txt-bestand in WordPress is eenvoudig. Je hebt twee opties:

  • Via de hosting (cPanel of DirectAdmin)
    • Log in op je hosting.
    • Ga naar File Manager.
    • Open de map /public_html/ (de rootmap van je domein).
    • Maak een nieuw bestand met de naam robots.txt.
  • Via een plugin

Plugins zoals Yoast SEO of Rank Math geven je de mogelijkheid om direct vanuit WordPress een robots.txt te maken en te bewerken. Met deze plugins hoef je dus niet via je hosting of bestandsbeheer te werken, maar kun je alles eenvoudig vanuit het WordPress-dashboard regelen.

In de video hieronder kun je zien hoe je dit stap voor stap doet met Rank Math. De werkwijze via Yoast SEO is vrijwel hetzelfde, omdat beide plugins een vergelijkbare manier gebruiken om het robots.txt-bestand te beheren.

Basisopbouw van robots.txt

Een robots.txt-bestand bestaat uit simpele regels. De twee belangrijkste zijn:

  • User-agent: bepaalt voor welke robot de regel geldt.
  • Disallow: geeft aan welke map of bestand niet gecrawld mag worden.

Voorbeeld om één map te blokkeren:

User-agent: *
Disallow: /voorbeeld-map/

Specifieke robots blokkeren

Soms wil je dat een bepaalde robot geen toegang krijgt. Bijvoorbeeld de Googlebot voor afbeeldingen. In dat geval schrijf je:

User-agent: Googlebot-Image
Disallow: /afbeeldingen/

Zo zorg je dat de afbeeldingen in die map niet in Google Afbeeldingen verschijnen.

Welke regels kun je gebruiken in robots.txt?

Enkele veelgebruikte voorbeelden:

Hele site blokkeren
Disallow: /

Specifieke map blokkeren
Disallow: /blog/

Specifiek bestand blokkeren
Disallow: /document.pdf

Bepaalde extensie blokkeren
Disallow: /.gif$
Disallow: /.pdf$

Robots.txt testen en indienen bij Google

Nadat je robots.txt hebt gemaakt, wil je controleren of alles werkt. Dat kan via Google Search Console:

  • Log in op Search Console.
  • Selecteer je domein.
  • Ga naar Settings en dan robots.txt Tester.
Wat is robots.txt? Instellingen bekijken in Google Search Console
Wat is robots.txt? Voorbeeld van robots.txt-instellingen in Google Search Console.
  • Als je al een robots.txt-bestand hebt aangemaakt en geüpload, zie je het direct in beeld verschijnen. Zoals je op de screenshot ziet, staat er dan een status met Fetched (opgehaald). Dat betekent dat Google het bestand herkent en succesvol kan lezen.
  • Klik je op dit bestand, dan opent aan de rechterkant een venster waar je exact kunt zien wat er in je robots.txt staat. Hier zie je dus de regels die je eerder hebt toegevoegd, bijvoorbeeld User-agent, Disallow en je Sitemap.
  • Op die manier kun je meteen controleren of Google je robots.txt goed kan lezen en of alle regels juist zijn toegepast. Als alles klopt, hoef je verder niets meer te doen. Zie je een foutmelding of staat er geen “Fetched”, dan moet je het bestand opnieuw controleren en eventueel aanpassen.
Wat is robots.txt? Voorbeeld van robots.txt bestand in Google Search Console
Wat is robots.txt? Screenshot van het robots.txt bestand in Google Search Console met instellingen voor crawling en sitemap.

Robots.txt optimaliseren voor WordPress

Veel mensen maken de fout om categoriepagina’s of tagpagina’s in robots.txt te blokkeren. Dit is niet nodig, want dit zijn geen echte mappen op de server. Wil je ze toch uitsluiten? Gebruik dan een SEO-plugin met de noindex-functie.

Enkele optimalisatie-tips:

  • Voeg altijd je sitemap toe:

Sitemap: https://jouwsite.nl/sitemap.xml

  • Blokkeer gevoelige bestanden zoals readme.html.
  • Blokkeer de map /wp-content/plugins/ om te voorkomen dat robots je plugin-structuur uitlezen.

Robots.txt helpt bij de technische kant van je vindbaarheid. Wil je meer weten over hoe je beter zichtbaar wordt in Google? Lees dan ons artikel Hoe kom je hoger in Google?.

Voorbeeld van een goed robots.txt bestand

Een basisvoorbeeld dat voor veel WordPress-sites goed werkt:

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html
Sitemap: https://jouwsite.nl/sitemap_index.xml

Waar vind je robots.txt?

Het robots.txt-bestand staat altijd in de rootmap (hoofdmappen) van je website. Dat betekent: het staat op dezelfde plek waar ook je WordPress is geïnstalleerd, meestal in de map /public_html/ bij je hosting.

Je kunt heel makkelijk zelf controleren of je robots.txt er is:

  1. Open je internetbrowser (bijvoorbeeld Chrome, Firefox of Edge).
  2. Typ je domeinnaam in, gevolgd door /robots.txt.
    Bijvoorbeeld:
    • https://jouwsite.nl/robots.txt
  3. Druk op Enter.
  4. Als het bestand bestaat, zie je direct de inhoud ervan in je browser. Daar staan de regels die je hebt ingesteld, zoals User-agent en Disallow.

Zie je niks of krijg je een foutmelding (bijvoorbeeld 404)? Dan betekent dit dat er nog geen robots.txt-bestand aanwezig is op je server. In dat geval moet je het bestand eerst zelf aanmaken en uploaden in je hosting.

Conclusie

Nu weet je precies wat een robots.txt-bestand is, hoe je het aanmaakt en hoe je het optimaliseert. Het bestand is klein, maar erg krachtig. Door slim gebruik te maken van robots.txt bepaal je zelf welke delen van je site zichtbaar zijn voor zoekmachines en welke niet. Dit helpt je niet alleen bij de beveiliging van je website, maar ook bij een betere SEO-strategie.

Wil je meer leren over hoe je website beter vindbaar wordt in Google? Lees dan ook het artikel Wat is SEO? Alles over zoekmachineoptimalisatie.

Veelgestelde vragen over robots.txt

1. Wat is robot.txt?

Robot.txt is hetzelfde als robots.txt, maar vaak fout gespeld. Het gaat altijd om hetzelfde bestand

2. Moet ik robots.txt hebben?

Ja, het is sterk aanbevolen. Zonder robots.txt kunnen zoekmachines je hele site crawlen, inclusief mappen die je liever privé houdt.

3. Kan robots.txt mijn SEO schaden?

Ja, als je belangrijke pagina’s per ongeluk blokkeert. Denk aan je homepage, je blogartikelen of je webshop.

4. Kan ik meerdere sitemaps toevoegen in robots.txt?

Ja, je kunt meerdere sitemap-regels opnemen. Dat is handig bij grote websites.

5. Hoe weet ik of mijn robots.txt werkt?

Gebruik de robots.txt-tester in Google Search Console of controleer de URL direct in de browser.

6. Moet ik wp-admin blokkeren in robots.txt?

Nee, dit is standaard al afgeschermd door WordPress.

7. Hoe vaak moet ik robots.txt aanpassen?

Alleen als er iets verandert in je website, bijvoorbeeld nieuwe mappen of nieuwe sitemaps.

8. Wat gebeurt er als ik geen robots.txt heb?

Dan kunnen zoekmachines alles crawlen. Dat is niet altijd erg, maar je hebt geen controle over wat er wel of niet wordt geïndexeerd.