[ bluesman @ 30.11.2004. 13:39 ] @
Pronasao sam informaciju da je u pitanju Alexa crawler medjutim meni mnogo zlokobno zvuci ;-)

http://pages.alexa.com/help/webmasters/

Da li neko mozes da potvrdi da je u pitanju Alexa ili je neki "archiver" tipa teleport... ili neki spambot.
[ boccio @ 30.11.2004. 15:27 ] @
alexa 100%... prilicno je mator, ima ga jos od 2003. ako se ne varam. A koliko sam uspeo da provalim glavna misija mu je da arhivira strane za archive.org, posto mislim da za glavni search koriste gugl...zato je verovatno toliko alav, pored gugla on mi pojede najvise bandwidth-a...primera radi, na jednom sajtu goglebot mi je ovaj mesec pojeo 66mb, alexa 46mb, a slurp 3mb :)

btw, pogledaj ovo: http://www.searchengineworld.com/spiders/ip_addresses tu mozes uvek da proveris kad ti je neki bot sumnjiv...
[ bluesman @ 01.12.2004. 00:40 ] @
napravio sam .htaccess da sve te "sumnjive" baca na disney.com pa rekoh, ako je aleksa - mozda mu i dam (bw mi nije problem imam 1k)