Suchmaschinenoptimierung
und Suchmaschinenmarketing

Bisher war es möglich Google durch Einträge in der robots.txt zu beeinflussen. So konnte man Werte eintragen, die das Spydern von bestimmten Bereichen einer Website verhinderten. Google hält sich allerdings nicht an die von Ihnen gennanten Parameter und indiziert trotzdem gesperrrte Verzeichnisse. Dies führt zu einem Sicherheitsproblem aber auch zu Doubletten und zu unschönen Suchergebnissen. Um dies weitgehend zu verhindern hier ein kleiner Tipp:
So sehen Beispielsweise Werte in der robots.txt aus:
Das Beispiel einer normalen robots.txt die angiebt, das kein Spyder URLs indizieren soll, die "intern" beinhalten:
User-agent: *
Disallow: /intern/

Damit sich Google daran hält möchte Google persönlich angesprochen werden. Darum raten wir zu folgenden Einträgen in der robots.txt:
User-agent: *
Disallow: /intern/
User-agent: Googlebot
Disallow: /intern/