[ Mitrović Srđan @ 10.10.2006. 20:29 ] @
Zanima me koliko je pouzdano koriscenje opcije meta robots u odnosu na robots.txt.
Tj koje je bolje i prakticnije koristiti.
[ Ivan Miladinović @ 10.10.2006. 21:13 ] @
Eh sto mrzimo taj google... :D

Ajd evo resenja ovde http://www.seoconsultants.com/meta-tags/robots/

mislim da ce ti biti jasno posto procitas to...

pozz
[ jablan @ 10.10.2006. 22:12 ] @
Citat:
aleksandrin: Tj koje je bolje i prakticnije koristiti.

Ukratko, robots.txt
[ Mitrović Srđan @ 11.10.2006. 06:58 ] @
Znam kako se koriste. Trebalo mi je vase licno misljenje koji koristiti.
Hvala :)
[ Aleksandar Marković @ 11.10.2006. 08:20 ] @
http://www.elitesecurity.org/p...rch&SubmitType=Ovog+foruma
[ bojan_bozovic @ 11.10.2006. 08:47 ] @
robots.txt. To je de facto standard od 1995 naovamo, dok je robots meta tag relativno nova stvar. Naime, i implementacija retrievera je komplikovanija u drugom slucaju, moras imati i HTML parser (iako npr. samo arhiviras stranice sa nekoga sajta). Dalje, robots.txt je kompletnije resenje jer mozes zabraniti pristup direktorijumima i faljovima koji nisu html, npr. slikama, rss, xml fajlovima, a i posebno za svaki user-agent (meta robots samo za google).
[ broker @ 11.10.2006. 10:43 ] @
Uz to, da bi procitao meta tagove crawler mora da ucita stranu, a sa robotrs.txt u jednoj datoteci sve pise tako da on uopste ne ucitava ono sto ne treba.
[ Mitrović Srđan @ 12.10.2006. 12:27 ] @
Hvala na potpunim odgovorima :)