robots.txt

[melli]

Ich hab´ da mal ne´ Frage an die Profis:
Wenn ich meine w2p-Seite auf Suchmaschinenkompartiblität analysieren lasse bekomme ich u.a. die Fehlermeldung:

• Der W3C-Validator hat einige Probleme (13) beim Überprüfen des HTML-Codes erkennen können. Details können hier abgerufen werden.

Sind das schwerwiegende Scriptfehler und heißt das meine Seite von den Suchmaschinen nicht eingelsen werden kann?

• Das Meta-Tag "robots" fehlt.
• Das Meta-Tag "language" fehlt.
• Die Datei robots.txt wurde nicht gefunden.

Ich denke das hängt alles drei mit einander zusammen, oder? Wie erstelle ich die Datei und wie und wo füge ich die in meine Seite ein?

• Es liegt doppelter Content vor. Die Domain liefert sowohl mit als auch ohne "www" die gleichen Inhalte.

Wieso liegt doppelter Content vor? Wie kann ich das verhindern? Kann ich das selbst beeinflussen, oder liegt das am Provider?

Vorab vielen Dank für Eure Hilfe.
melli

[blue]

Ich denke mal das alles OK ist...

Wenn kein robots.txt vorhanden ist , dann geht die Suchmaschine davon aus, dass sie den Inhalt crawlen darf... Darum ist auch der Metatag Robots überflüssig.
Die machen nur Sinn wenn etwas gesperrt werden soll.

Einen robots.txt sollte man anlegen damit nicht so viele 404 Fehler erzeugt werden, oder wenn Bereiche der Webseite eingeschränkt sind.

http://www.webtodateforum.de/forum/w...b-to-date.html

Das unter www. und ohne www. doppelter Content erkannt wird, sollte auch jeder Suchmaschine klar sein... notfalls kannst Du unter Google Webmastertools einstellen ob die Webseite mit oder ohne www. in den Suchergebnissen erscheinen soll...

Meine Meinung , alles gar nicht schlimm...

[melli]

Aha, Danke Blue, das nimmt ein wenig den Druck aus der Leitung.