[ vatri @ 18.09.2008. 17:56 ] @
U poslednje vrijeme sam primjetio da mi ovaj BOT previse cesto posjecuje sajt. Evo recimo danas u roku od pola sata napravi mi 30 posjeta. E sad me zanima da li to opterecuje server (dosta sam povoljno nasao hosting tako da sumnjam da je neki jak serv.), a ako da, kako da ga zaustavim, ali da google i yahoo nastave sa indexiranjem?
[ ||NeX|| @ 19.09.2008. 05:27 ] @
Blokiraš bot putem robots.txt
[ vatri @ 19.09.2008. 09:17 ] @
A oce li raditi ako ovako stavim?

Code:

User-agent: pogodak
Disallow: /


Ili moze i da stavim IP adresu robota?

Ovo pitam da ne bi slucajno zaustavio google i ostale botove!
[ Dragana Vukajlovic @ 19.09.2008. 13:43 ] @
@vatri

User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100

Sa ovim ces povecati vreme izmedju dva requesta i tako ces smanjiti saobracaj.
pozz
[ vatri @ 19.09.2008. 14:49 ] @
Hvala Dragana, to mi cak i vise odgovara, da ga ne bi zaustavio skroz...
Evo sad sam gledao svoj robots.txt koji vec postoji. U njemu se nalaze vec folderi koje da ne prate botovi.

Code:

User-agent: * 
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
.
.
.



E sad sam ispod stavio:
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100

Jel utice ovaj zadnji dio na prethodno?
[ Dragana Vukajlovic @ 19.09.2008. 15:35 ] @
Ne, stavi na pocetak, obavezno sa jednim enterom izmedju crawl delay-a i user agent-a:

Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100

User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
[ vatri @ 19.09.2008. 16:41 ] @
Evo stavio sam, videcemo sta ce se desiti :)

Hvala jos jednom i pozdrav