Baš lepo :)

Znači sledeći put kad budeš trebao da napraviš superkompjuter, obavezno uzmi linux, nikako windows.

P.S. A i windows koji se vrti na tih pet superračunara, sigurno nema mnogo dodirnih tačaka sa onim koji ti koristiš...

A i linux na tim racunarima je sigurno "out of the box" Ubuntu... ili bilo koji drugi mainstream linux... aha, kako da ne.

Kad smo kod toga, koji se koristi za ove sisteme? Mislim, to su sve math-crunching masine, bottleneck je razmena informacija izmedju nodova i to verovatno ide preko specijalizovanih drajvera, sa tim u vidu zar nije manje vise svejedno koji se koristi? Kad stripujes GUI i ostavis kernel+spec drajveri to je manje vise neki novi distro.

To je u stvari Linux, kernel + shell + app koji se vrti. A to moze da se customize-uje do koske, bitno je da linux podrzava sve te divne arhitekture i da se na tim zverima vrti Linux kernel :)

Ja vjerujem da su to uglavnom sistemi uradjeni na foru LFS-a.
Ako se negdje i koristi neka gotova distribucija, mislim da to ne ide van kruga Debiana i Red Hata.

http://www.ubuntu.com/cloud

khm khm :)

nije bas superracunar, ali i cloud po logiki nije daleko :)

Pa dobro, niko nije ni sporio da je Linuks dobar za ove stvari.
Linuks se dâ prilagoditi i olakšati maksimalno, jezgro se može naštimovati i utegnuti, radi na gotovo svim platformama - RISC/CISC itd, nema licencnih zavrzlama.
Verovatno onaj njihov MS-ov HPC koriste oni koji imaju specifične MS-oriented zahteve...
Sa cloudom su nešto petljali Azureom - ne znam dokle će to stići.
//edit: sad videh da Windows Server 2008 HPC Edition daju preko MSDNAA.


_{[Ovu poruku je menjao maksvel dana 05.06.2010. u 22:30 GMT+1]}

Problem nastaje kad ovakvi ljudi, koji ne vide dalje od svog nosa, dođu na rukovodeće položaje.

Uporedi svoju i njegovu zaradu pa proceni ko dalje vidi :)

Problem nastaje kod ljudi koji ne umeju da alat prilagode poslu, već posao prilagođavaju alatu...

Ljudi koji su najdalje videli, obično nisu pripadali džet-setu (dobro, ponekad jesu). Reci mi koliko hoćeš primera da ti nabrojim.

Ko to ovde radi? Pišeš nešto što nema veze nisačim.

Usput nabroj i koliko su sami koristi od toga imali :)

Inace cenim da se igrate gluvih telefona, al to je samo moj utisak :)

Moj utisak je da odoste u off maksimalno - a mislim da je ovo jako plodna oblast za diskusiju :D



Ma nema sanse da se koristi neki distro - makar ne u onoj ponudjenoj formi, tu custom kernel gotovo mora da ide radi tuniranja tickova, preempcije, procesorske ahitekture, svlacenja nepotrebnih gluposti, uglavnom zezancija oko schedulera je tu vitalna - sve zavasi i od namene super kompjutera...

Kakve to veze ima sa ovom temom i prvim postom?

E, to je ono o čemu pričam - tvoja kuća i tvoj posao su za tebe ceo svet i ne vidiš dalje od toga.

Imperial College u Londonu ima neki ogroman klaster, mogu da pitam lika koji ga bejbisituje sta vrte ne tome.

Namena superkompjutera su brze kalkulacije nad ogromnom kolicinom
podataka uglavnom, a osnova je da racunari koji su povezani u taj sistem
to sto efikasnije rade zajedno.

Danas je Linux kernel prilicno veliki (mainline), ali pola toga su drajveri,
a sto se tice upoterbe na superkompjuterima, i ona druga polovina moze
da se stripuje maksimalno od nepotrebnih stvari sem izbacivanja svih tih drajvera.

To je verovatno jako lagan kernel, sa dodatnim optimizacijama okrenutim ka
konkretnom hardveru tj. super-racunaru i ka aplikaciji koja se tu vrti za neku usku namenu.

Za HPC potrebe, najbolje resenje je specijalizovan kernel + specijalizovan aplikativni nivo.

I statistika upravo reflektuje to resenje - right tool for the right job.

Microsoft je jako kasno uopste usao u tu HPC igru - pre 2 godine ako ne gresim. Do tada si sta, morao da kupis 1000 licenci Windows Servera za cluster? LOL - pa to bi kostalo ko Sv. Petra kajgana vs. $0.00 za Linux opciju.

Da ne pricamo o tome da su to obicno jako specijalizovane arhitekture, za sta je potrebno adaptirati kernel kako bi se izvuklo najvise performansi. Sa Linuxom je to vrlo lako izvodljivo - sa Windows-om je to ili nemoguce, ili je potrebno imati specijalnu licencu sa MSFT-om koja bi vam dozvolila da menjate kernel source.

Tako da - ono sto je cudno u toj prici je kako Windows tu ima i tih 1% uopste.

^Pa lepo je čovek naslovio temu "čak 1%..."

Dobar info:
http://news.bbc.co.uk/2/hi/technology/10187248.stm

Operating system used by the top 20 supercomputers
Rank Computer Vendor Operating System
1 Roadrunner IBM Linux
2 Jaguar (Cray XT5) Cray Linux (CNL)
3 JUGENE IBM Linux (CNK/SLES 9)
4 Pleiades SGI Linux (SLES 10 + SGI ProPack 5)
5 BlueGene/L IBM Linux (CNK/SLES 9)
6 Kraken XT5 Cray Linux (CNL)
7 BlueGene/P IBM Linux (CNK/SLES 9)
8 Ranger Sun Linux
9 Dawn IBM Linux (CNK/SLES 9)
10 JUROPA Bull SA Linux (SLES 11)
11 Franklin Cray Linux (CNL)
12 Jaguar (Cray XT4) Cray Linux (CNL)
13 Red Storm Cray Linux (UNICOS/SUSE Linux)
14 Shaheen IBM Linux (CNK/SLES 9)
15 Magic Cube Dawning Windows (Windows HPC 200
16 GPC IBM Linux
17 Encanto SGI Linux (SLES 10 + SGI ProPack 5)
18 EKA HP Linux
19 Juno Appro International Linux (Redhat)
20 Jade SGI Linux (SLES 10 + SGI ProPack 5)

Znači, uglavnom, SUSE
Lista je stara godinu dana. Ako neko nađe noviju neka postavi pa da uporedimo ima li bitnije razlike
http://royal.pingdom.com/2009/...f-linux-as-a-supercomputer-os/

http://www.top500.org/stats/list/35/os

i


http://www.top500.org/stats/list/35/osfam

Sad gledam, izgleda mi i da Cray XT5 fura SLES, kako li se oni bore sa dep resolvingom da mi je znati :D :D :D

Furas 768 Opterona da bi ti onaj krs izbacio: Can't install mc due to unresolved dependancy - glib2 2.24.1 required but missing (2.22.1 installed).

Oh the agony... :D

Hehe, na tim superkompjuterima se sigurno ne instalira previse paketa uz taj kernel,
pa se SuSE nekako snadje da razrezi dep-ove izmedju 5 paketa...

Sto puta se zapitam zasto jednostavno ne prepisu kod za dep resolving od Debian-a recimo.

Sve su to sistemi prilagođeni superkompovima, počev od kernela. nema šta da se SUSE snalazi sa depovima, već imaju čoveka koji zna da instalira šta treba i superkomp se isporučuje u paketu zajedno sa softverom.

Ma zezamo se malo ;-)

Mislim da se trendovi vise krecu ka cloudu, i distribuiranom computingu nego ka super kompjuterima, jer jeftinije je uzimati standardne servere i samo ih dodavati u cluster nego uzimati superkompjuter. A i super kompjuter kao takav je opet ogranicen po pitanju procesorske snage, memorije dok je cluster nesto sto mozete da prosirujete non stop.

Jok, pre ili kasnije (a pre bude pre) naletis na bottleneck u komunikaciji izmedju nodova u clusteru. Superkompjuter danas i jeste cluster ali je problem intra-node komunikacije resen alternativno (direktno high-performanse povezivanjem umesto recimo povezivanje ethernetom gde svako parce informacije ima OSI overhead). Superkompjuteri se prave za specijalne namene, kostaju adekvatno i kupuje ih onaj kome treba. Ili to ili da prosjace od naroda za CPU cikluse ko SETI.

Mešaš babe i žabe. To su različite stvari namenjene različitim potrebama. Niti je superkompjuter zamena za klaud, niti obrnuto.

@mmix - tako je.

HPC i cloud nemaju puno veze - to su vrlo razlicite aplikacije, gde u HPC slucaju latencija izmedju nodova igra presudnu ulogu, dok u slucaju clustera latencija nije kriticni faktor i moguce je tolerisati drasticno vecu latenciju u dizajnu algoritma.

Kome latencija nije bitna, taj ce naravno koristiti cloud tj. hrpu jeftinih x86 kutija - nekada se to zvalo cluster, sada je fensi da se kaze cloud...

Ali svejedno, cloud/cluster pristup ne mogu da budu zamena za HPC resneje u slucaju potreba gde latencije igraju kriticnu ulogu.

kolko ja znam MPI kao de facto standard za razvoj aplikacija
i InfiniBand za komunikaciju

minus infiniband za siroke narodne mase i zderanje brojeva moze da pocne :)

definitivno je jasno znasto je linux u prednosti u HPC domenu

Kao sto rece Ivan latencija je najbitnija. Mada zbog troskova se sve vise koristi Gigabit ethernet. (naravno, ne u top 500)

I kao sto rece EArthquake, mpi je de facto standard za komunikaciju, s tim da je tendencija da se zbog sve vise multicore procesora koristi hibridni model, gdje se na jednom racunaru izmedju procesa koristi OpenMP a izmedju nodova MPI.

Ne treba ni zaboraviti IBM-ove cell processore, koji totalno drugaciji i zajebano teski za programiranje.

Mislim da optimizacija kernela i drajvera nije toliko i bitna, koliko sama aplikacija, jer se optmizacijom kernela ne moze postici toliko, koliko upotrebom biblioteka koje dobro iskoristavaju kes, kao npr. BLAS.

Najveca prednost linuksa je to sto je besplatan

Mislim da je u zadnje vreme map/reduce uzeo primat.