[ Guardian OfThe Blind @ 15.11.2004. 12:40 ] @
Yahoo search mi je indeksirao stranu www. putovanja.info/agencija za pretragu "turisticke agencije u beogradu" na koju ne linkujem nigde na sajtu. Lista agencija mi je na www.putovanja.info/turisticke_agencije a podaci o pojedinačnim agencijama na adresama tipa http://www.putovanja.info/agencija/Jolly_Travel/15. Yahoo je valjda video da su to "direktorijumi" pa je krenuo da se penje gore i indeksirao stranu http://www. putovanja.info/agencija/ . Ono što je loše je što pri PRIKAZU rezultata izostavlja kosu crtu na kraju (kada se pogleda cached vidi se da je indeksirao SA kosom crtom) i to je posetioce vodilo na 404 not found (mod_rewrite mi nije predviđao ovakvu situaciju). Čim sam primetio ovo stavio sam 301 permanent redirect medjutim on i dalje u indeksu prikazuje po starom, ali bar posetioci sada stižu na pravo mesto. Uopšte mi nije jasno zašto ovo radi...

[Ovu poruku je menjao Guardian OfThe Blind dana 29.11.2004. u 09:41 GMT+1]
[ mordor @ 15.11.2004. 13:15 ] @
da imam i ja vrlo slican problem... ali ne sa jednim ili dva linka vec je smislio oko 100 linkova...
npr u arhivi clanaka koja je organizovana http://.../1997/9/.../
prvo normalno spideruje pa onda! http://.../1997/9/1997/9.../ , pa http://.../1997/9/9/1997/.../ pa http://.../1997/9/1997/9/1997/9/.../

itd...

zna li neko o cemu se ovde radi?
[ boccio @ 15.11.2004. 18:31 ] @
Niste jedini. Problem se javio kad je Y! pustio Slurp da crawluje (ranije su se oslanjali na guglovo spajderovanje). Navodno to se desava samo sa truncatovanjem vrlo dugih dinamickih URL-ova, ali ocigledno u praksi nije tako :)