[ Eridan @ 31.12.2005. 13:28 ] @
Pozdrav,
Nisam siguran dal ovo spada ovdje ali evo da pitam.
Naime, na sajtu mi je bandwith oko 7gb mjesečno, što najviše otpada na ameriku, tj. google botove i slične robote. tj. oni mi pojedu oko 4gb prometa (mislim da je malo pretjerano). dali se da nekako ograničit količina bandwitha koju oni uzimaju, ili zabranit im neki pristup ili kako već. Molim pomoć!
[ sasatomic @ 01.01.2006. 11:03 ] @
Mozes da ili smanjis velicinu svih stranica i tako smanjis ukupan protok ili ako to nije moguce zabranis pretrazivacima da uopste indeksiraju sajt (hint: google: robots.txt) ali ti ovo ne preporucujem jer ti se u tom slucaju sajt nece pojavljivati u pretrazivacima kao rezultat pretraga. Drugim recima kad neko ukuca kljucne reci tvoj sajt se nece pojaviti.
[ Vukan Karadžić @ 02.01.2006. 11:38 ] @
Najbolje resenje ti je da kupis jaci hosting paket.
Naravno da nije pametno zabraniti botove ...
[ Eridan @ 02.01.2006. 12:48 ] @
Hvala na odgovorima.

Host paket je dosta velik, ali ipak mi se činilo koda mi malo previše kradu roboti. Sada sam im zabranio pristup nekom sadržaju koji nije toliko bitan, tj. ostavio sve ono što se tiče glavne teme stranice i tako to. Pa ću vidjet koliko bude to pomoglo, ili odmoglo.
Hvala
[ The Sekula @ 04.01.2006. 08:11 ] @
A i proveri da sajt zna da prepozna If-Modified-Since u http requestu i da po potrebi kulturno odgovori sa 304.
[ Cartman @ 15.01.2006. 22:02 ] @
Ako ti se nalazi sajt pod Apache server-om, .htaccess fajl ti je pravi shvajcarski noz za te svrhe:

Naredba poput ove moze da blokira posetioca na osnovu njegovog User agent-a:

Code:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer
RewriteRule ^.* - [F]


Tako da ako primetis nekog bot-a koji mnogo krade bandwidth-a, pravac lista ;)

Neki evil botovi pristupaju sa praznim user agent-on, za njih moze da upali nesto slicno ovome
Code:
RewriteCond %{HTTP_REFERER}<->%{HTTP_user_agent} ^-<->|<->-$
RewriteRule .* - [F]

Poneko argumentuje da je ovaj poslednji postupak mnogo agresivan, ali odbijeni botovi su obicno pokusavali da menjaju 5-6 IP adresa za minut...
Koristim i sledece da bi blokirao posete sa odredjenih referer sajtova:
Code:
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?cttsd.net.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?wedib.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?epac.to.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?dddddd.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?1.am.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?discount-phentermine.1.am.*$ [NC]
RewriteRule \.*$ http://www.spammersgotohell.com [R,L]


Dokumentuj se, imas puno tutorial-a na tu temu. Valja testirati sta radi od toga, da se ne desi nesto poput greske 500.


Voilà, happy hunting :)