Prva stvar koja je meni pala napamet je da to rade preko RSS feedova, ali sad sam pregledao par siteova s kojih skidaju podatke i, koliko sam vidio, niti jedan nema RSS feed (makar mi ih Firefox nije prikazao). Moguće je da su, u suradnji s tim siteovima, dobili neki RSS feed koji nije javan.

Budući da većina news siteova ima RSS feedove (makar vani, ovdje situacija nije baš tako sjajna, ali valjda će i oni doći pameti), možeš odabrati nekoliko takvih siteova tematike koja te zanima i napisati neki jednostavan parser za RSS ili koristiti već gotovi. To je najlakši i najbezbolniji način - može se i drugačije, ali onda moraš pisati parser za svaki od siteova koji želiš pratiti, a to je upitno isplativo.

O RSS-u više na ovim stranicama:
http://www.xml.com/pub/a/2002/12/18/dive-into-xml.html
http://en.wikipedia.org/wiki/RSS_(file_format)
http://www.webreference.com/authoring/languages/xml/rss/intro/

Ja mislim da to nema veze sa RSS feedovima, postoji i domaci sajt naslovi.net i koliko mi je poznato on vesti prikuplja preko "crawlera" , kao sto pretrazivaci traze informacije tako i ti sajtovi prave za svaki portal odredjeni crawler za prikupljanje vesti i onda ih po alogritmu sortira po vaznosti. Prvo, na tim sajtovima se prikazuju i slike uz vesti a koliko mi je poznato nije moguce objavljivati slike preko RSS-a tako da je sigurno neki crawler u pitanju.

Treba:

1. Rad sa socketima
2. Poznavanje HTTP protokola
3. XML i (pozeljno) XSLT

Posaljes HTTP GET zahtev remote serveru, polupis izlaz, i parsiras XML u telu (body) http odgovora i prebacis u HTML (najbolje sa XSLT)

Neke od ljudi znam lično i nebih rekao da imaju znanje da to odrade. Više mi ovo baš smrdi na RSS, ali pošto sam nisam nešto upućen u RSS ne znam dokle je moguće tako.

Znači ovakvo što pogotovo nema free za skinuti negdje kao skriptu?

Na http://www.24casa.com se koriste RSS ako su dostupni, a ako nisu sistem sam pravi RSS od sadrzaja ciljnog sajta. Dakle, uzima se veb strana/strane i parsira i to zavisi od izvora do izvora. Ne vjerujem da za ovo ima besplatna skripta :)

A putanje do istih?

I slike se moraju skinuti na lokalni server, eventualno promijeniti velicina i optimizovati i onda koristiti, jer nije lijepo na svom sajtu koristiti slike koje leze na tudjem serveru...

@zira

I to moze da se odradi sa socketima i GD nema problema. Pitanje je sto bi se iko mucio toliko da automatski vuce content sa nekog sajta, ako ne misli da pravi feed to blog skriptu za spamere ;-)

Pojma nemam sto bi se neko mucio :)

Meni je trebalo na www.24casa.com da bi prikazivao vijesti iz domacih izvora tako da ne postoji urednik vijesti i da se vijesti same i pomocu posjetilaca rangiraju po vaznosti. O domaci mediji po pravilu nemaju RSS, cast izuzecima. Slicno rade i naslovi.net i google news.

Koliko vidim, NeX-u treba specijalizovani servis i to ima smisla, da kad odes na njegov sajt sa temom X vidis sta referentni ili srodni sajtovi o toj temi X pisu. Vrijedi li truda praviti i odrzavati to, ne znam.

Svaka čast. U čemu si napravio? PHP?

Lično mislim ako se kvalitetno želi raditi site, onda bez ljudskog selektivnog rada nema ništa?
Ukoliko se želi napraviti news site koji privlači sve ljude, onda kupljenje čitavih feedova i nije loše.

Ja sam želio da napravim sebi skriptu u koju bi ja gurao članke onako copy paste,
ona mi je prevela koristeći profi toolse i onda sve to prebacila u utf-8 i postavila na stranicu automatski.
Naravno bi i slike ubacivao druge i automatizovao optimizaciju.

Kada sam shvatio da to mi se ne isplati raditi, onda sam mislio da to odradim ovako, a da ručno onda unpublishujem preko CMS-a ono što mi se ne sviđa.
Međutim, eto i to nije automatizovano (javno), a ja nisam neki ekspert u RSS-u, a vidim da i tu treba zaista puno vremena, koje mogu efektivnije da iskoristim. :)

Kakvo je stanje novinarstva i publikacije u Svijetu, zaista mislim da samo čovjek može ovoliko sranja da filtrira i da ocjeni valja li to čemu.