Napraviš shell ili još bolje Perl skript koji ima petlju od 1 do n (gde je n max broj clanka) i koji u svakoj iteraciji skida članak čiji je redni broj jednak i. Po želji, sadržaj koji preuzmeš obrađuješ i smeštaš u neku bazu.

wget ne može, ali curl može:

$ curl -O http://linuxjournal.com/article.php?sid=[0001-6999]

Eto vidiš, za to nisam znao. Ali ako hoće da ih obrađuje i smešta samo tekst članka u neku bazu, onda je ono gore bolje rešenje. Hm...

[quote]Ixqq:
Napraviš shell ili još bolje Perl ;) skript koji ima petlju od 1 do n (gde je n max broj clanka) i koji u svakoj iteraciji skida članak čiji je redni broj jednak
</quote>

Hm, a kako da napravim petlju koja broji od 0001 a ne 1?

Pa lepo. Samo na trenutni broj dodaš onoliko nula koliko je dovoljno da taj broj (string) bude dužine 4 karaktera. Npr. u Perl-u:

Ako neko skine sve te članke, jel može da stavi negde tarrball da se skine?

Evo, recimo, ti skineš i okačiš to negde. A, šta kažeš?

Kažem da ima puno više ljudi sa stabilnijim i bržim vezama ka internetu nego ja te će oni to mnogo brže završiti.

Sudeci po velicini do sada skinutog, ceo linux journal ce biti oko 150MB (u html-u).
Kad bi se pobrisali svi nepotrebni tagovi + kompresija to bi moglo da se svede na
neku razumnu cifru za dl. Ja cu skinuti sve clanke, samo mi pomozite da
prvi deo odradim automatski (sed mozda?). Pogledajte jednu stranu.
Recimo od ove linije:

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=ISO-8859-1">

moze da se brise sve do

<!-- END HEADER -->

To ukupno bude oko 230 linija, tj. preko 12KB. 6000 strana * 12KB = 72000KB

Pravljenje programa za skidanje je najmanji problem. Samo treba obratiti pažnju na to da LinuxJuornal možda blokira IP posle određenog broja zahteva, te zahteve treba ciklično slati kroz par različitih proxy-a. E sad, zaista treba neko sa bržom konekcijom da skida to... Ja zaista nisam imao pojma da je sve to ukupno toliko veliko.