Izvlacenje podataka sa sajta.....?

[ vladakru @ 11.07.2011. 22:17 ] @

Hteo bih da koristim podatke vremenske prognoze sa hidmet.gov.rsda mi prikazuje u conky-u, da li jeto nekako izvodljivo?
da li je uopste izvodljivo da se bilo kako "cupaju" podaci sa sajta?

[ combuster @ 11.07.2011. 22:44 ] @

Iz samog conky-ja ne nativno. Ako mozes da napravis bash skriptu koja ce ti skidati neki html, grepovati neophodne informacije - onda tu skritpu mozes da pozoves iz conky-ja.

[ vladakru @ 11.07.2011. 22:53 ] @

jel moze neka smernica kako da napisem skriptu ili ako ima neka gotova koju bih prepravio?
nisam bas strucnjak ali nisam ni laik.

[ combuster @ 11.07.2011. 23:00 ] @

http://ubuntuforums.org/archive/index.php/t-1279682.html

Evo primer kako je lik odradio, ako mi verujes nisam ni citao :)

[ vladakru @ 11.07.2011. 23:07 ] @

hvala. cini mi se zadovoljavajuce, pokusacu nesto da odradim...

[ vladakru @ 15.07.2011. 16:11 ] @

nisam uspeo da odradim sa predhodnom primeru,
evo sta mi konkretno treba:

iz predhodnog predloga iskoristio sam skriptu koja mi slimi ceo html kod sajta u file, u tom fajlu pored ostalog stoji i ovo sto mi je potrebno da se izvuce

<tr>
<td class="bela75 levo" style="font-size:13px; line-height:1.3;"> Ćuprija</td>
<td class="bela75" style="font-size:18px;">36</td>
<td class="bela75" style="font-size:13px;"> 998.7</td>
<td class="bela75" style="font-size:13px;"> SE</td>
<td class="bela75" style="font-size:13px;"> 2</td>
<td class="bela75" style="font-size:13px;"> 36</td>
<td class="bela75 orange" style="font-size:13px;"> 42</td>
<td class="bela75" style="font-size:13px;"> <img src="../../repository/ikonice/osmotreni/19.gif" alt="Vedro" width="57" height="36" /></td>
<td class="bela75" style="font-size:13px;"> Vedro</td>
</tr>
a ovo crveno treba da se izvuce i html koda.

[ neur0 @ 16.07.2011. 22:59 ] @

Evo kako bi to izgledalo "quick and VERY DIRTY" jer mi AWK nije prijatelj:

Ako imas vec taj html fajl napisi u skripti da ti prvo grepuje zeljenu liniju, to pajpujes u cut
NPR. za prvi podatak "Cuprija" bi bilo nesto tipa

cut -f 4 d ';'

pa onda to pipe u novi cut tipa

cut -f 1 d '<'

Sve to bacis u neki fajl tipa "grad" koji cat-ujes za conky ili u varijablu pa samo onda sa echo pozoves vrednost u conky (conky nisam pipnuo nekolko godina)
dakle cela kobasica bi bila nesto tipa:

GRAD=`grep '<td class="bela75 levo" style="font-size:13px; line-height:1.3;">' index.html | cut -f 4 d ';' | cut -f 1 d '<'`

echo $GRAD

Napomena1: Stvari se malo komplikuju ako grep izbaci vise redova, ali verujem da ces se snaci, za debug prvo vidi sta ti izbacuje grep, pa grep + prvi cut pa kompletna kobasica.
Napomena2: Sve ovo sigurno moze krace, efikasnije ili stagod, ali za to treba imati ili rutinu ili gledati po dokumentaciji (awk, sed ...) to je uostalom lepota linuxa - sve moze kako god hoces osim onako kako ne moze

[ vladakru @ 18.07.2011. 22:27 ] @

ovo je malo komplikovanije nego sto sam mislio, a jos i nisam imao mnogo dodirnih tacaka sa bash naredbama,
evo sta sam uspeo da napravim od skripte ali i dalje mi nije to to, jer kada pozovem skriptu u conky mi izbaci grad i temp jedno ispod drugog kako sam i hteo ali na kraju mi stoji simbol (pravougaonik [], kao prazan kursor)

evo je skripta pa ako moze mali pregled i sugestija...

Code:
#!/bin/bash

RESULT_FILE="/tmp/conky-prognoza-inf.result"
ANSWER_FILE="/tmp/conky-prognoza-inf.answer."`date "+%d%m%y%H%M%S"`
CUT_FILE="/tmp/conky-prognoza-inf.cut"

# Remove old file
rm ${RESULT_FILE} 2> /dev/null

# Get the HTML file from server
curl --silent --output ${ANSWER_FILE} "http://www.hidmet.gov.rs/latin/osmotreni/index.php"

# Check if the file was returned
if [[ ! -f ${ANSWER_FILE} ]]; then
    echo "No answer from server" >> ${RESULT_FILE}
    exit 1
fi

# Parse the file and get info
GRAD=`sed '360,368!d' ${ANSWER_FILE}`
echo " ${GRAD} " >> ${RESULT_FILE}

PROGNOZA=`grep '<td class="bela75 ' ${RESULT_FILE}| sed 's/<[^>]*>//g'  | sed -e 's/ //' | sed 's/^[ \t]*//'`
echo " ${PROGNOZA} °C" >> ${CUT_FILE}

[ Zeromicin @ 01.08.2011. 09:29 ] @

Pogledaj na railscast sajtu, emisija Nokogiri.

Ako ti odgovara da sa ruby-jem cupas podatke...