[ glamoc @ 24.01.2011. 17:17 ] @
Da li je moguce da google provali da mu neki robot salje zahteve i da mu kao rezultat vraca pogresne podatke.
Ja sam napravio nekog robota koji preko operatora od googla zahteva neke metrike ( koristim php + curl) i rezultat koji mi vrati preko curla se drasticno razlikuje od onoga koji dobijem preko browsera.
Ako neko zna nesto o ovome neka pise
[ Miroslav Ćurčić @ 24.01.2011. 17:29 ] @
Pre par godina kad sam se time bavio G. mi je lepo vraćao podatke ali kad bih preterao i poslao preko 1000 zahteva tog dana vraćao mi je stranicu s natpisom "previše zahteva s ovog IP-a, vi ste izgleda robot."
[ glamoc @ 24.01.2011. 18:54 ] @
Pa nisam bas siguran da google limitira broj upita po danu za odredjenu IP adresu, moje siskustvo je da ukoliko mu prebrzo saljes zahteve onda on
posumlja da si robot i vrati ti stranicu sa CAPTCHA-om, i ne dozvolja va ti da mu saljes upite dok ne ispunis CAPTCHA.
Ukoliko si u pravu da te ogranici da mozes da saljes samo 1000 upita dnevno ne znam kako sa tim izlaze na kraj velike mreze koje na net izlaze preko proxy-ja
[ Milos911 @ 24.01.2011. 19:07 ] @
Citat:
glamoc: rezultat koji mi vrati preko curla se drasticno razlikuje od onoga koji dobijem preko browsera.
Ako skriptu pokreces na serveru, a ne u lokalu, onda ti google prilagodjava rezultate prema ip adresi servera. Takodje, kad radis pretragu preko browsera, google sigurno uzima u obzir stranice koje si ranije posecivao (a identifikuje te preko kolacica)...
[ glamoc @ 24.01.2011. 21:05 ] @
Skriptu sam testirao na mom racunaru i rezultati su zacudjujuci.
Pokretao sam isti upit vise puta i ponekad mi vrati isti rezultat kao iz browsera a nekad i je to drasticno razlicit rezultat.

Npr: za upit
Code:
allintitle:neka rec
iz browsera mi vraca npr 42,000 rezultata (zapravo od cjele stranice koju mi google vrati meni je bitno koliki je rezultat pretrage) , dok kad taj upit posaljem iz php-a ponekad mi vrati npr 91,000 a ponekad isto kao i iz browsera.

Ne znam sta u upitu ovakvog tipa moze da zavisi od mojih prethodnih pretraga
[ Miroslav Ćurčić @ 24.01.2011. 21:40 ] @
Preneo sam svoje iskustvo od pre par godina, moguće da je sada drugačije.

Što se tiče razlike, probaj da umesto u google, svoj skript usmeriš ka nekom svom serveru gde ćeš prihvatiti i zapisati HTTP parametre u neku txt datoteku, pa uporedi razlike u zaglavljima, pokušaj da što više simuliraš browser.
[ Mobtel @ 24.01.2011. 21:51 ] @
Jbt o cemu vi govorite?

Jel moze malo objasnjenje,mislim skripte,zahtevi i to?
Mislim znam za to roboti capta i to ali mi nije jasno zasto bi to neko radio uopste i cemu to sluzi?

Sorry laik sam,pa ako bi malo objasnili,mozda i ja hocu da napravim robota?
hehehe
[ flylord @ 25.01.2011. 09:07 ] @
hmm, a zar ne postoji google search API ? I sto ne probas sa njim?
[ Shadowed @ 25.01.2011. 11:37 ] @
Ako se dobro secam i API dozvoljava max. 1000 zahteva dnevno u besplatnoj varijanti.
[ glamoc @ 25.01.2011. 12:42 ] @
Koliko ja znam API za pretrazivanje cjelog interneta vise ne postoji, ono sto pruza google API je jako ograniceno
[ glamoc @ 25.01.2011. 19:12 ] @
Citat:
Mobtel: Jbt o cemu vi govorite?

Jel moze malo objasnjenje,mislim skripte,zahtevi i to?
Mislim znam za to roboti capta i to ali mi nije jasno zasto bi to neko radio uopste i cemu to sluzi?

Sorry laik sam,pa ako bi malo objasnili,mozda i ja hocu da napravim robota?
hehehe


Pa zamisli da imas neku bazu zanimljivih reci za koje zeli da pratis broj pojavljivanja u naslovima ili bazu nekih stranica za koje zelis da pratis
koliko se drugi pozivaju na taj sajt(linkuju ga), onda napravis robota koji prikuplja te podatke sa googla.
Lepo zvuci ali je malo tesko ostvarljivo posto google namece ogranicenja cim posumlja da ga neko bombarduje upitima, a kao najsavrseniji didtribuirani sistem nije bas podlezan nekim greskama koje bi se mogle iskoristiti
Toliko za sada ako te zanima jos nesto pitaj
[ Miroslav Ćurčić @ 25.01.2011. 19:29 ] @
Obrati pažnju da Google svojim TOS-om zabranjuje objavljivanje derivata rezultata svojih pretraga.
Dakle sve tablice i top-liste koje tako dobiješ su samo za tvoju upotrebu, ne smeš ih javno objavljivati.
Toliko o legalnosti.
[ Milos911 @ 26.01.2011. 00:13 ] @
Jel preko js-a moguce ucitati neku stranicu u varijablu? Ako jeste, mogao bi da napravis da korisnikov browser ucita podatke, posalje ih tvojoj php skripti, ti ih obradis i vratis mu ih. Tako neces imati nikakva ogranicenja jer ce google videti samo korisnikov ip a ne tvoj...
[ IcemanX @ 28.01.2011. 20:49 ] @
Ja bih se pre pitao da li je moguće da google nesto ne provali ;)))