[ Gojko Vujovic @ 13.05.2003. 01:31 ] @
Da li gugl sluša direktive iz robots.txt fajla?

Ipak je posetio i keširao ove stranice: http://216.239.33.104/search?q...itesecurity.org/tema/18589.txt

Iako mislim da sam lepo rekao pravilom da ih ne posećuje i ne kešira:
Disallow: .txt

Možda treba regexp ili nekako drugačije da se složi ovo?
Ili ću morati da zabranjujem svemu sa googlebot.com domena da pristupa tim txt adresama?
[ Gojko Vujovic @ 13.05.2003. 01:32 ] @
I drugo pitanje, zašto ne kešira CSS i slike:

http://216.239.33.104/search?q...w.elitesecurity.org/tema/18589
[ Veljko @ 13.05.2003. 11:21 ] @
Mislim da google-u ne mozes da bas objasnis sta da ne kesitra.
On je skoro postao najveci spy servis na netu.
Cak pretrazuje word i excel dokumente, a mozda i njih kesira.

Sto se tice css i slika i konkretno onog drugog linka meni prikazuje normalo mozda sto ih imam u kesu.
Evo sta sve google pretrazuje:
Adobe Portable Document Format (pdf)
Adobe PostScript (ps)
Lotus 1-2-3 (wk1, wk2, wk3, wk4, wk5, wki, wks, wku)
Lotus WordPro (lwp)
MacWrite (mw)
Microsoft Excel (xls)
Microsoft PowerPoint (ppt)
Microsoft Word (doc)
Microsoft Works (wks, wps, wdb)
Microsoft Write (wri)
Rich Text Format (rtf)
Text (ans, txt)
[ Gojko Vujovic @ 13.05.2003. 12:06 ] @
+ sve to isto gzipovano!
[ Shadowed @ 13.05.2003. 17:25 ] @
Ma, bre, oni mlate lovu da bi unapredili spijunsku tehniku a cilj im je da izvuku sve moguce informacije. Koliko je samo nedozvoljenih pristupa bilo kad je postojao neki bug u serverskom software-u...

P.S. Ovo je moje misljenje nemam ama bas nikakvih dokaza ;)
[ filmil @ 13.05.2003. 18:45 ] @

Pa ajde da probamo da pronađemo posredan dokaz. Ako se prošetate do stranice tipa koji se zove Piter Norvig (Peter Norvig), a koji je inače vodeći svetski AI istraživač i koautor knjige Artificial Intelligence, A Modern Approach (u stručnim krugovima zvane kratko: the Bible), videćete da on radi u Guglu.

A šta je broj jedan istraživanje u modernoj veštačkoj inteligenciji? Upravo data mining, odnosno na našem: bunarenje podataka. Dakle pretraživanje svega i svačega i iz toga izvlačenje samo ključnih informacija. Ako se dakle pitate da li vas Veliki Brat posmatra, odgovor je potvrdan. Štaviše, veliki brat je življi i oseća se bolje nego ikad.

f
[ turncoat @ 13.05.2003. 19:45 ] @
Citat:
Gojko Vujovic:
I drugo pitanje, zašto ne kešira CSS i slike:

http://216.239.33.104/search?q...w.elitesecurity.org/tema/18589


Pogledaj source tvoje strane:
Code:

(...)
<base href="http://www.elitesecurity.org/">
(...)
<link rel="stylesheet" title="new" href="stil1.css" type="text/css" />
(...)


A pogledaj šta je google keširao:
Code:

<base HREF="http://www.elitesecurity.org/tema/18589">
(...)
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<base href="http://www.elitesecurity.org/">
(...)

Čini mi se da pošto je base element dvaputa ispisan i on traži css fajl relativno u odnosu na prvu adresu (adresu strane), umesto u odnosu na tvoju (adresu sajta)...
Ako pogledaš http://216.239.33.104/search?q=cache:http://insomnia.bgserver.com primetićeš da se css elementi lepo vide:
Code:

<base HREF="http://insomnia.bgserver.com/">
(...)
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html lang="sr">
<head>
<link rel="stylesheet" title="Paper (Default)" href="paper.css" type="text/css">

Kod mene i nema dva base elementa, ali pošto je stranica index.html google je za base useo korenu adresu...
Ne znam da li je u pitanju bug kod google-a ili nešto drugo...

[ Aleksandar Marković @ 17.12.2004. 12:41 ] @
http://www.robotstxt.org/wc/exclusion.html
http://hacks.oreilly.com/pub/h/220

http://www.google.com/custom?i...tesearch=www.elitesecurity.org
[ shoba @ 28.12.2004. 01:31 ] @
Moguce da gresim, a mozda nesto od sledeceg i ima nekog rezona

Citat:
Gojko Vujovic: Da li gugl sluša direktive iz robots.txt fajla?


Googlovci kazu da nece kesirati ono sto mu kazes da ne kesira. Mozda to stavlja na posebno mesto (da se nadje )mada ne verujem! Ako je i kesirao nesto pre ce biti da je greska u algoritmu ili propust u podesavanjima sa klijentske strane.

Citat:
Veljko: Cak pretrazuje word i excel dokumente, a mozda i njih kesira.


Google se trudi da bude pretrazivac informacija a ne html/php/asp stranica, pa shodno tome sve sto sadrzi informaciju preuzme i pokusava da poveze u smislene celine.

Citat:
Shadowed: Ma, bre, oni mlate lovu da bi unapredili spijunsku tehniku a cilj im je da izvuku sve moguce informacije.


Ne bih bas rekao, mada ... Oni mlate lovu na reklamama (AdWords i AdSense). A za reklame koje su u vezi teksta u vasem mejlu na gmailu kazu da se generisu u hodu dok gmail salje mejl sa servera klijentu...

Pozdrav!
[ Radovan__III @ 28.12.2004. 21:37 ] @
hmm http://www.google.com/robots.txt

oni ga koriste :)