Helpt het installeren van Robots.txt-bestanden bij SEO?

Robots.txt-bestanden kunnen helpen bij SEO maar zijn niet direct van invloed op de rangschikking.

Wat is nu een robots.txt-bestand?

Een robots.txt-bestand is een eenvoudig tekstbestandje in de root van een websitedirectory. Dit bestandje helpt te bepalen wat crawlerbots of 'spiders' van zoekmachines op de site vinden en indexeren.

Robots.txt en SEO

Het specifieke doel is echter om crawlerbots of spiders te ‘'blokkeren' tegen het zoeken. Inderdaad: ‘'blokkeren'. Dat klinkt misschien vreemd, want het zou toch gek zijn om te voorkomen dat inhoud gecrawld wordt? Er blijken echter hele goede redenen te zijn om dit bestandje te gebruiken, die ook een rol kunnen spelen bij SEO, zoals hieronder beschreven:

  • U bent bezig aan een nieuwe site of nieuwe pagina's en wil niet dat het onvoltooide werk doorzocht wordt.
  • Voor bepaalde websites (sites met .php) kan het robots.txt-bestand heel nuttig zijn bij SEO door te voorkomen dat dubbele content geïndexeerd wordt. Dubbele content kan schadelijk zijn voor een zoekcampagne en kan de geldigheid van content ondermijnen.
  • Op grotere sites kunnen robots.txt-bestanden bepaalde pagina's op die site helpen blokkeren zodat er sneller gecrawld kan worden.
  • Voor een goede organisatie wordt aanbevolen om een robots.txt-bestand te gebruiken, zelfs al is het maar een leeg bestand.

Overweeg dit hulpmiddel te gebruiken tijdens het opzetten van een online zoekstrategie en onderzoek de mogelijke voordelen. Naarmate een site langer bestaat, komt er steeds meer content bij. De manier waarop die content gepubliceerd wordt, verandert ook telkens. Daarom zijn hulpmiddelen als deze heel nuttig om dit proces te optimaliseren. Met de Webmaster Tools console van Google is het heel makkelijk om een robots.txt-bestand toe te voegen. U vindt hieronder verder ook links naar sites die u helpen zo'n bestand aan te maken. U hebt hiervoor wel toegang nodig tot de root van het domein. Webmaster Tools: u hebt een account nodig om de generator en controlehulpmiddelen te gebruiken. WebTools SEO Chat