seltsames Google Indizieren

[Micro]

Also Google sammelt ja nun so einiges an Informationen. Aber das Google auch nicht sichtbare Links verfolgt, das stört mich doch schon ein wenig.

Die Ausganssituation:
Auf meiner Webseite ist Adsense als auch Analytics von Google eingebaut. Mit anderen Worten, Google bekommt auch die dunkelste Ecke der Webseite zu sehen. Im Grunde eigentlich uninteressant.

Jedoch habe ich bemerkt, das Google meine eigenen versuchten Hackversuche auf meiner eigenen Webseite nachmacht. (Test des CMS auf Sicherheit)

Es wird natürlich eine Fehlermeldung erzeugt, jedoch ohne übermittelten HTTP-Header 404 auf der Webseite ausgegeben sondern als stink normale Webseite mit einer entsprechenden Info. Immer über index.php und unzählige Optionen, eine andere Datei gibt es nicht.

Die Frage ist nun, werden diese URL's mit dem Hackversuch so gespeichert oder ignoriert Google das?

Wie kann ich das den Suchmaschinen von Google abgewöhnen, solche "internen" Webseiten zu scannen?

Mirko

[edvsb]

Würde mich auch mal interessieren. Habe nämlich das gleiche Problem. Kaum ist irgend eine, auch wenn noch so interne URI eingegeben und bestätigt steht auch schon der Media-Partners von Google bereit und besucht die Seite. Dann kommt der BOT noch und zwei Tage später sind die Seiten im Index....

Schön ist es vor allem von Google Update-Scripte aktiviert und so auf einmal Bilder etc... verschwinden.

Gruß, Ingo

[Micro]

Zitat von edvsb

Schön ist es vor allem von Google Update-Scripte aktiviert und so auf einmal Bilder etc... verschwinden.
Gruß, Ingo

*autsch*

Wäre aber zu ändern ...


Wobei im Index von Google habe ich noch keine derartigen Seiten gefunden. Google ist in letzter Zeit eh recht lahm was das angeht.

[edvsb]

Ja, läßt sich ganz einfach ändern. Eigenes Verzeichnis mit robot.txt.

Nun manchmal vergesse ich das oder habe die Datei einfach in falsche Verzeichnis geschoben. Und meißt ist es zu spät bis ich es merke

Gruß, Ingo

[Micro]

Zitat von edvsb

Ja, läßt sich ganz einfach ändern. Eigenes Verzeichnis mit robot.txt.

So man mit Verzeichnissen arbeitet ist das allerdings das einfachste. Bei mir wird aber alles aus der Webroot gezogen. So zumindest hat es den Anschein ;o)

Und auch hier kann man Updatescripts schützen.
Ich habe ein Script für eine ganz spezielle Person gemacht. Das Script funktioniert nur mit dem IE, da man dessen Header durch einen einfachen Registry-Eintrag verändern kann. Der hat nen Code drinnen stehen, den nur dieser IE haben kann.

Oder man startet solche Scripte nicht per GET, also über die Adresszeile, sondern per POST aus einem Formular. Das indiziert Google auch nicht.

[Micro]

ne blöde Frage

reicht es wenn man mit Hilfe des PHP das in die Seite einfügt?

header("HTTP/1.0 404 Not Found");

Eigentlich sollte das Google dann doch veranlassen, diese Seite nicht mehr zu indizieren, oder?

[edvsb]

Hallo,

nee, also bei mir hatte das nicht geholfen. Die Idee hatte ich auch schon. Wenn Google die Seite dann aufruft bekommt es einen 404. Das ist ok und er kommt nicht wieder.

Sobald man die Seite aber wieder selber aufruft "existiert" sie ja wieder und Google kommt. Dann beginnt es von neuem.

P.S. Bei mir is da nix mit GET oder POST. Steht alles so im Script. Z.B. Update der Datensätze auf uft-8. Das sind Scripte die eigentlich per Cronjob ausgeführt werden. Nur manchmal starte ich die halt auch per Hand und dann eben das Problem mit Google :-(

Gruß, Ingo

[Micro]

Ich werde das mal im Auge behalten. Unbefugte Zugriffsversuche werden bei mir im System automatisch mitgeloggt. So hab ich zumindest eine Kontrolle darüber.

Wobei in der Abfrage zur Zugriffsberechtigung bei Fehler nun immer header("HTTP/1.0 404 Not Found"); mit übergeben wird. Mal sehenw as Google und die anderen damit machen. ;o)

Vielleicht fällt mir auch noch etwas anderes dazu ein.

[edvsb]

Zugriffskontroll-System, das ist eine Möglichkeit.

Aber mir fällt da was ein, so eine Überwachung habe ich für meine Fehler-404 Seite, damit ich weiß welcher Link zu dem Fehler führte. Zu deutsch, ein falscher Link wird an fehler404.php umgeleitet und mir eine Mail mit allen Daten gesendet, also wer, wo, woher etc.. Und da sende ich schon vor dem Umleiten einen Header 404 und in der eigentlichen Fehlerseite nochmal.

Dennoch "besuchen" Google und Yahoo diese Seite min. 2 mal am Tag direkt, also nicht über einen toten Link :-(

Gruß, Ingo