U njemu treba da se nalaze definicije sta sme a sta ne sme da se indeksira, i kako. To je fajl koji otvara spajder kada pokusava da indeksira tvouju stranu (npr googlebot). Obican je tekstualni fajl, a njegov opis mozes da nadjes ovde: www.robotstxt.org

Pogledaj
http://www.searchengineworld.com/robots/robots_tutorial.htm

# Moj prvi pokusaj da nesto kazem robotima.....

User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /buttons/
# tu ima 200 flash dugmica i tu mi ne trebaju pauci ?!?

/*** Pogledah preporucene stranice i shvatih sa su to "roboti"...
zabranio sam im ova dva direktorijuma jer tu u principu nemaju sta da traze.
Koja je prednost ovoga zabranjivanja ? Jedina korist koliko sam ja skapirao je
nesto manja opterecenost sajta robotima koi ga pretrazuju...jer ne pretrazuje direktorijume u kojima nema sta da nadje korisno... Ima li jos neki drugi dobar razloga za postavljanje
ovog fajla na sajt ??? ***/

Naravno da ima razloga! Nemamo svi /data/ direktorij ispod dicumentroota pa moramo drzati data/passwordsghr5z5667.txt u nekom direktoriju gore... e sada ako slucajno spider prateci referale negdje nadje taj file bas bi bilo interesantno, naravno govorim o bezze fajlovima sa passwordima recimo za forum...

Loš dizajn i organizacija stranice ne opravdava upotrebu robots.txt. Čak, ukoliko je jedan ,,neinteligentni'' robot uspeo da pronađe taj fajl sa lozinkama, svakako će moći i ,,nadprosečna'' budala iz ljudskog roda.

Prema tome, prvi korak u zaštiti takvih fajlova su ,,chmod go-rw'' ako se skripte izvršavaju sa našim korisničkim identitetom, i ne postojanje reference na taj fajl u bilo kom fajlu (ali ovo je opet opasna ,,sigurnost pomoću zbrke'').

A robots.txt ima nekoliko osnovnih namena:
--- da spreči robote da preopterete server
--- da spreči posećivanje dinamički generisanih strana čiji sadržaj zavisi od posetioca (webmail klijenti i slično)
--- da omogući kontrolu ,,inteligencije'' robota, i da ih ne pustimo da idu na dinamičke stranice kojima nema kraja (npr. neki kviz baziran na slučajnom izboru i slično)
--- da omogući indeksiranje samo podataka koji se ne menjaju suviše često (inače će biti indeksirani neispravni podaci)

Ovo su najverovatnije i jedine opravdane namene za robote koji su dobro napravljeni (tj. koji poštuju robots.txt).

Toliko

http://www.robotstxt.org/wc/exclusion.html
http://hacks.oreilly.com/pub/h/220

http://www.google.com/custom?i...tesearch=www.elitesecurity.org

_{[Ovu poruku je menjao secret dana 17.12.2004. u 13:41 GMT+1]}

Linkovi:

http://www.sxw.org.uk/computing/robots/check.html
http://tool.motoricerca.info/robots-checker.phtml
http://www.searchenginepromoti...text-tester/robots-checker.php
http://www.invision-graphics.com/robotstxt_validator.html