Tipp: robots.txt und Web to Date

[blue]

Mit Web to Date geht so ziemlich alles automatisch... Metatags, Favicon, RSS-Feeds etc.

Leider wurde in den bisherigen Web to Date Versionen dem robots.txt keine Beachtung geschenkt ;-) Der robots.txt ist aber auch ein wichtiges Detail einer Website. Im Rootverzeichnis der Website sollte die Datei robots.txt angelegt werden. Diese enthält Informationen für Robots, Crawler von Suchmaschinen u.sw. Der robots.txt ist dafür vorgesehen, Crawlern von Suchmaschinen zu übermitteln wo Zugriffe auf bestimmte Bereiche oder Webseiten zu unterlassen bzw. durchzuführen sind.

Ein robots.txt Beispiel:

User-agent: *
Disallow: /forum/feedback.php

Hier wird z.B. allen Robots der Zugriff auf das Feedbackformular verboten

Sitemap: http://www.webtodateforum.de/sitemap.xml

Hier wir den Robots mitgeteilt wo die Sitemap der Webseite zu finden ist

Eine Übersicht aller Befehle findet man z.B. bei Wikipedia
http://de.wikipedia.org/wiki/Robots.txt