Sipder Trap taugt nicht immer
Willkommen zurück!
Von Mario auf die neue Version von Spider Trap aufmerksam gemacht worden, dachte ich mir “naja, einen Versuch kannst ja mal machen. Evtl. gibt es ja doch ganz viele böse Bots, die meinen Content clauen.”
Also schwups installiert. Nach 3 Tagen waren genau 3 Bots in die Falle gelaufen: nämlich der MSN, Yahoo und Google Bot (trotz Robots.txt Eintrag). Als ich dann eben noch die Meldung aus den Google Webmaster Tools gesehen habe
“Aufgrund eines HTTP-Fehlers (403) können wir momentan nicht auf Ihre Startseite zugreifen”, war es genug. Spider Trap ist nichts für mich und aufgrund einer eventuellen Fehlconfig. die Seite nicht mehr indexierbar zu haben, lohnt das für mich echt nicht. Da gehe ich lieber das Risiko böse Bots ein.
Mehr zu diesem Thema hier im Blog
jack on May 18th 2007 in Webmaster
Mario responded on 19 May 2007 at 08:47 #
Na Axel, da hast wohl was falsch gemacht, bei mir läuft das auf diversen Seiten ohne Probleme
anna responded on 28 Dec 2007 at 20:53 #
Die gleichen Probleme hatte ich auch. Den Fehler konnte ich auch nicht beheben. Scheint also so als könne man spider Trap nicht wirklich für jede Seite und jeden Content (cms, etc.) nutzen. Kennt jemand ein anderes Script in dieser Art?