[ ljubopitivi @ 24.06.2004. 10:35 ] @
Pregledavajući statistiku posjeta i potrošnje bandwitha ustanovio sam frapantnu činjenicu da su samo msn botovi potrošili skoro četvrtinu bandwitha!
Pored toga, na msn izlistava ko zna na kom mjestu našu stranicu, a broj posjetioca koji nam dolaze sa nje je svega jedan ili nijedan.

Ovo se zove zaista promašena investicija.

Može li ko pomoći kako da što hitnije ukinem njihovo pretraživanje.

Hvala unaprijed.
[ ljubopitivi @ 24.06.2004. 11:00 ] @
Ako još neko ima sličan problem, a vidio sam da se mnogi žale surfajući po google, evo i rješenja:

http://search.msn.com/webmasters/msnbot.aspx#5

Drugim riječima u robots.txt datoteci koju ćete ubaciti na root upišite slijedeće:

User-agent: msnbot
Disallow: /

Možete odabrati koje direktorije da ne lista pomoću disallow.
[ Gojko Vujovic @ 24.06.2004. 11:07 ] @
Na nivou apache-a ili web aplikacije proveravaj pre svakog ucitavanja user-agent string koji korisnik salje. Ukoliko pocinje sa msnbot*, nemoj mu prikazati stranicu, bilo redirekcijom na neki 404 dokument bez daljih linkova, ili nesto slicno tome.