Robots.txt

Robots.txt is een tekstbestand dat wordt gebruikt om zoekmachines te vertellen welke delen van een website ze mogen crawlen en indexeren.

Het helpt webmasters om de toegang tot bepaalde mappen, bestanden of pagina’s te beperken en kan helpen bij het voorkomen van duplicate content problemen en het verbeteren van de crawl-efficiëntie.

Scroll naar boven