[ Veljko @ 30.12.2004. 07:51 ] @
Da li je neko uspeo da 100% blokira msn bot-ove?
Ja sam zabranio celoj 65.54.188.* klasi pristup sajtu ali imam utisak da se i dalje probija i svakodnevno mi usisava sajt :(
Zabrana pristupa celom domenu msnbot.msn.com otpada jer bi usporila server extra.
[ broker @ 30.12.2004. 10:01 ] @
Meni je uspevalo sa robots.txt
[ Mister Big Time @ 31.12.2004. 10:21 ] @
pa da, samo mu u robots.txt ubaci user agent od MSN bot-a.

Samo, zasto da blokiras search engine bot-a? Ne jede ti leba..
[ broker @ 31.12.2004. 10:51 ] @
MSN ume da bude pravi monstrum kad se naklati na neki sajt.
[ Mister Big Time @ 01.01.2005. 23:15 ] @
Hm, u kom smislu to? Jede bandwidth? Pa jede ko' i svaki drugi bot...
[ Veljko @ 17.01.2005. 14:35 ] @
Podesio jos samo da vidimo da li se da upali ;)




http://www.robotstxt.org