Ako hoces da zabranis pretrazivacima, onda se koristi robots.txt fajl. Potrazi na netu podesavanje.

Ako zelis nekome drugom, ko nije pretrazivac, onda moras da imas podesen apache (ako je on u pitanju) da ima opciju AllowOverride All, i da u .htaccess (obrati paznju na tacku na pocetku naziva fajla) dodas direktive za direktorijum - Allow All i Deny Ip adrese koje zelis da zabranis. Sve je lepo objasnjeno u dokumentaciji apache servera, npr:
http://httpd.apache.org/docs/trunk/howto/htaccess.html
ili nekom od drugih sajtova, npr.
http://perishablepress.com/pre.../01/10/stupid-htaccess-tricks/