[ agvozden @ 26.03.2007. 08:59 ] @
phpBB u svojim instalacijama nema robots.txt fajl
Zbog toga pretrazivaci vrlo dugo indeksiraju forume, vrte se oko istih stranica vise puta, a cak mislim (skupljajuci sa drugih foruma) da google indeksira odredjeni broj stranica foruma i onda "ide dalje"

nesto sto sam ubacio na svom forumu da bih resio ovo - robots.txt (forum mi je u root-u, za podfoldere ubacite /forum/...):

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /common.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /profile.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /updates-topic
Disallow: /stop-updates-topic
Disallow: /ptopic
Disallow: /ntopic
Disallow: /login.php
Disallow: /search.php
Disallow: /post-

To sam pronasao na ostalim forumima. Medjutim, ono sto bih jos hteo da redukujem jeste ... &view=previous, view=next i highlight= ... to su strane koje se dupliraju, a imaju drugaciji url

Da li je ispravno ubaciti ovako nesto:

Disallow: view=previous
Disallow: view=next
Disallow: highlight=

ili mozda neko ima drugacije resenje. Znaci, treba traziti deo u url-u.