[ dany12 @ 14.10.2010. 11:06 ] @
Londonska berza od 1. novembra uvodi linux-based sistem za trgovanje,prvi test se pokazao uspesnim.O tome kako ce ovo da bude najbrzi sistem na svetu mozete procitati ovde:

http://www.computerworlduk.com...mpletes-first-live-linux-test/
[ mmix @ 14.10.2010. 11:34 ] @
To je bilo za ocekivati. Mene vise interesuje dal ce MS nesto da nauci iz ovoga ili ce i dalje da nastavi da slusa svoje fanboje koji ga tapsu po ramenu za svaku glupost koju uradi.

Da se ne lazemo, LSE je za MS epic fail, isto kao sto je swiss gov epic fail za linux. Ni jedno ni drugo nisu bile havarije u tehnologiji vec havarije u politici, odlucivanju i implementaciji. Sistem baziran na bilo kojoj tehnologiji koji ima propusnu moc od 500 transakcija u sekundi je SMESAN i moze biti samo rezultat ljudske nesposobnosti, neznanja i lowest-bidder tendera u s/w industriji. Ne moze banda koja ne zna nista sem apstrakcije da pravi ovakve sisteme, to je debela greska u proceni, ne mozes praviti paltforme u kojima i jeftina neuka radna snaga moze programirati a onda ocekivati da ta ekipa napravi high-volume stock trading sistem.

[Ovu poruku je menjao mmix dana 14.10.2010. u 13:09 GMT+1]
[ combuster @ 14.10.2010. 11:35 ] @
Heh, sacekacemo 1-vi novembar :D
[ mmix @ 14.10.2010. 12:09 ] @
Ne sumnjam ja da ce ovo raditi, problem mzoda eventualno nastane kod nekih trader-a, ali sam siguran da je nakon MS fijaska neko obratio paznju u samom LSE-u sto se tice metrike, testiranja i prijema projekta.
[ Java Beograd @ 14.10.2010. 12:19 ] @
Čekajte, polako. Neće OS da obavlja transakcije već neka aplikacija i verovatno neka baza iza toga. Takođe, ma kakav bio OS, mrežna infrastruktura i administracija mreže za ovakve IT projekte imaju ključnu ulogu.
Dakle, sve u svemu, bitno je kakva će biti aplikacija, kakva baza i kakav hardver iza svega.

Nesumnjivo je da su i Win i Linux dovoljno dobri da na njima može da se vrti aplikacija ovog ranga.

Primer (da se nadovežem na mmx-ov post) zamisli da kojim nesrećnim slučajem angažuju nedovoljno dobrog DB admina (pod pretpostavkom da aplikativni softver intenzivno radi sa bazom). Ne podigne potrebne indexe, i/ili ne rasporedi tabele, indexe i ostale storage space consuming objects valjano po diskovima (storidžima) i - eto beleja ! I povoda da zluradi kažu: Ne valja taj linux, lepo smo vam govorili !
[ Goran Rakić @ 14.10.2010. 12:30 ] @
Ja ne znam o čemu ti pričaš, ali dopada mi se ovo i Win i Linux dovoljno dobri da na njima može da se vrti aplikacija ovog ranga. To je poenta. Dosta više sa propagandom kako Linuxu nema mesta, jer "ko će pružati support". Pružaće onaj koga platiš (interno ili eksteno) i gotovo.
[ NastyBoy @ 14.10.2010. 13:39 ] @
Citat:
i Win i Linux dovoljno dobri da na njima može da se vrti aplikacija ovog ranga


Ne ako je ta aplikacija pisana pod .Net-om.
[ mmix @ 14.10.2010. 13:56 ] @
Pricas o stvarima u koje se ne razumes mnogo. Mozda bi trebao da popricas sa ljudima iz Pexima recimo i da pitas njih kolika je propusna moc .NET adaptera u 24x7 sistemu ili routing queue-ova. Nista ne fali .NETu i ako se sistem isprojektuje i isprogramira dobro radi posao vise nego odlicno. Ovo nije fail tehnologije, ovo je fail ljudi koji su je koristili ponasajuci se kao da je ovo jedan projekat velike aplikacije za vodjenje video klubova.

Trading transakcija od 0.140ms je 7200 transakcija u sekundi, najobicniji consumer level single core procesor obavi 30GIPSa tj ima na raspolaganju oko 4.2 miliona instrukcija da kompletira transakciju, a trading sistem sasvim sigurno nije radio radio na kancelarijskoj masini. Ako optimizovani C++ kod odradi posao u tom periodu JITovani runtime CLIa uz server-GC na dedicated core-u ne moze da bude nista sporiji. Ali ako sampioni krenu da se takmice u ludosti i pumpanju koda (da se nabiju radni sati) i ako je arhitekta tu da prima platu dok mu transakcije vise u lockovima onda te nikakav kompajler ne moze spasiti. Ej, njihov .NET sistem je obradjivao transakciju 2ms. 2ms?!?
[ NastyBoy @ 14.10.2010. 15:41 ] @
Neka bude da se ne razumem u posao kojim se bavim i u IG Index-u i u Barcap-u (ali OK, neka Pexim bude reper ako nema boljeg). Nemam preterano volje da se upustam u tehnicke rasprave koje pocinju naivnim brojkama. Samo vi razvijajte high frequency aplikacije u .net-u, bukvalno poklanjate pare mojim klijentima.
[ mmix @ 14.10.2010. 16:06 ] @
Pa nek bude da se ne razumes ako kazes. Pexim sam ti naveo jer je eto aplikacija koja se vrti ovde i ljudi imaju vise kontakta nego sa high-perf aplikacijama koje sam ja dizajnirao i pravio a koje ne mogu da prezentujem pa ne mogu ni da ti dokazem da smo postizali brzine od oko 0.05ms po transakciji sa sve skladistenjem. Al sasvim sam siguran da niko od mojih klijenata nije presao ka tvojima, ljudi koji su dosli ka vama su ljudi koji imaju iskustva sa .NET sampionima.

Postoji threshold u kojem cisti native C++ prevazilazi mogucnosti .NETa ali ta granica nije nigde blizu 7000 transakcija u sekundi, mozda negde na par miliona u kojima je svaki ciklus vazan a za to ti treba jos kvalitetniji kadar. Ne postoji NIJEDAN razlog da .NET ne moze da odradi 7200 finansijskih transakcija u sekundi, pa spinuj ga kako god hoces. Ovde su uska grla prisutna u lose koncipiranoj organizaciji i protoku informacija, NE u izboru programskog jezika ili OSa. Narocito ne serijalizovanih trading transkacija grupisanih oko stockova koje su dusu dale za skaliranje. MS definitivno nije operisan od FUD-a ali ni vi mu ne ostajete duzni, sve ste bolji kako vreme prolazi, a ovakvi sampioni kao sto su autori TradeElecta vam vaistinu idu na ruku.

Ili je mozda ova diskusija jos prozaicnija pa cemo da udjemo u .NET vs Java i kako Java sije .NET po svim duzinama? Ne brini, necu tvrditi da Java nije dostojna ovom zadatku, cak i Java moze da svari 7000 transkacija u sekundi
[ NastyBoy @ 14.10.2010. 18:18 ] @
Ma 7,000/sec je nista. Mozda je OK za neki mali hedge fund koji ne prati suvise pozicija.

Citat:
ne mogu ni da ti dokazem da smo postizali brzine od oko 0.05ms po transakciji sa sve skladistenjem

Lepa brojka. Ali, iskreno, tvoji trejderi verovatno gube pare ako se igraju u Londonu ili NY-u.

Citat:
MS definitivno nije operisan od FUD-a ali ni vi mu ne ostajete duzni, sve ste bolji kako vreme prolazi

Ko smo "mi" i "vi"? Ja koristim ono sto daje najbolje rezultate u mom obimu posla, gde samo Reuters pumpa po 200K ticks/sec.
Ni ja ne mogu bas da brbljam na cemu radim, shop-talk brojke i price za "on the tiles" priliku, sto bi se reklo :)
[ ventura @ 15.10.2010. 11:43 ] @
Citat:
NastyBoy: Ma 7,000/sec je nista. Mozda je OK za neki mali hedge fund koji ne prati suvise pozicija.

Khm... Nikkei (Tokyo Stock Exchange), koji je veći od Nasdaq-a radi u proseku oko 100.000 transakcija u sekundi, tako da 7.000 transakcija u sekundi nije baš tako malo...
[ mmix @ 15.10.2010. 12:04 ] @
Stockovi se trguju u pitovima, mozes komotono da paralelizujes operacije naloga dva razlicita stocka, ali moras da serijalizujes dva naloga za isti stok. Ukupan broj transakcija u sekundi za celu berzu lako mozes da postignes horizontalnim skaliranjem sistema i bacanjem para u isti. Serijalizovane trgovine se medjutim tesko ako ne i nikako paralelizuju i radi ih isti hardver /softverkoji kontrolise trgovinu, to je usko grlo na SE i na to se odnosi izlozena numerika.
[ dejanet @ 15.10.2010. 12:26 ] @
Sve sto se vrti u memoriji, moze se u stvari drzati u bazi..

Npr. web aplikacije koje se vrte na serverima u gridu, jedino mogu da funkcionisu ako se sesije drze u bazi..

Gomila takvih detaljcica odlucije da li ce nesto raditi ili ne, tj da li ce sistem kostati 5 ili 25 miliona..
[ Izvoljski @ 17.10.2010. 10:18 ] @
a kako se testira koliko Linux brzo obavi neki program ?
[ newtesla @ 17.10.2010. 10:43 ] @
Pa valjda pustiš da se obavlja nonstop (loop), pa prebrojiš koliko se puta obavio u sekundi... mislim, wtf???
[ mmix @ 17.10.2010. 12:25 ] @
Metrika je uvek neizostavni deo takvih sistema, narocito metrika vezana za opterecenost i propusnu moc, sluzi za sijaset stvari, od identifikovanja uskih grla do trendovanja rasta i formiranja planova za horizontalno i vertikalno skaliranje.
[ Izvoljski @ 17.10.2010. 13:17 ] @
nesto konkretno ?
[ mmix @ 17.10.2010. 13:51 ] @
Nemam neka konkretna iskustva sa time na Linux sistemu ali iz razgovora sa Srdjanom mislim da se na Linuxu koriste virtuelni fajlovi za te svrhe (npr /lseserver/perfmetric ili slicno)
[ Srđan Pavlović @ 17.10.2010. 14:14 ] @
Heh... moje znanje oko toga uzmi sa veeeeeelikom rezervom
[ mmix @ 17.10.2010. 14:16 ] @
Pa dobro, sacekacemo da vidimo sta ce combuster i zare da kazu po pitanju standardizovanog performance monitoringa ali nema ni razloga zasto virtuelni fajlovi ne bi radili (doduse zavisi koliki je overhead ukljucen u otvaranju i iscitavanju istih)
[ Dejan Lozanovic @ 20.10.2010. 14:45 ] @
http://www.computerworlduk.com...nux/?cmpid=sbycombinatorrplant

izgleda su oborili rekord :)
[ tarla @ 20.10.2010. 18:28 ] @
Ima ona jedna stara programerska...

There are three kinds of lies: Lies, damned lies, and benchmarks.
[ nikola22222 @ 20.02.2011. 01:06 ] @
http://www.computerworlduk.com...ediately-at-millennium-launch/
[ mmix @ 20.02.2011. 08:22 ] @
Ops, izgleda da ipak imam razloga da sumnjam

Gde je sad neko iz linux komune da potvrdi da je sistem sa odzivom od 125µs koji ne vraca NISTA bolji od sistema sa oizvom od 2ms
[ ventura @ 20.02.2011. 08:38 ] @
Ovi linuksovci izgleda da ne mogu baš ništa da odrade kako treba...

Super je to što su napravili odlične benchmarkove, brzine su odlične, sve super... Samo nisu obratili pažnju na to da li stvar uopšte radi. Klasično linux razmišljanje.
[ Tyler Durden @ 20.02.2011. 09:01 ] @
hhehehehe, jedva ste docekali.

samo sto nije problem do linuxa, nego do nekih pajserskih partnera/vendora koji izgleda nisu uradili onako kako im je receno ;)
[ ventura @ 20.02.2011. 09:16 ] @
Citat:
Tyler Durden
samo sto nije problem do linuxa, nego do nekih pajserskih partnera/vendora koji izgleda nisu uradili onako kako im je receno ;)

A to nije bio problem i sa prethodnim rešenjem?

Ili, kada je u pitanju Microsoft onda je za sve kriv softver, a kada je u pitanju Linux, onda su krivi vendori...

Na kraju krajeva, nemaju šta da brinu, uvek mogu da se izvade da sve radi kako treba, a to što cene kasne ili ih nema, to nije problem u kernelu, prema tome sve ok..
[ Tyler Durden @ 20.02.2011. 09:23 ] @
Jeste ventura. Sta god :)
[ mmix @ 20.02.2011. 09:43 ] @
Taking the high road, a?

Dzaba, providno je
[ Tyler Durden @ 20.02.2011. 10:06 ] @
Ma nije, nego nemam zivaca da odgovaram venturi :)

Vidjecemo kako ce prica dalje da se razvija...
Ali ovo je skroz glupo.
[ Ivan Dimkovic @ 20.02.2011. 10:26 ] @
Naravno da nije problem u Linux kernelu, vec u ogromnom kodu koji je verovatno pun kojekakvih bagova - isti tip problema kao i sa predhodnim resenjem (.njet)

Svi ti enormni projekti su generalno slicni i skoro nikada ne budu kompletirani sa zadovoljavajucim kvalitetom u nominalnom roku...

Tako i tom Linux resenju verovatno slede meseci (godine?) peglanja - a mozda i neki totalni outage kao sa proslim resenjem.

Samo pitanje OS-a je totalno irelevantno ovde - svaki moderan OS (tu ubrajam Linux, Windows Server, BSD, Solaris itd..) moze komotno postici te latencije od 100-njak mikrosekundi na jakom hardveru pod uslovom da su drajveri i softverski stack optimizovani kako treba.

Ako je neko mislio da ce upotrebom Linuxa da smanji broj problema u ovakvim projektima taj je samo malo - bas malo, naivan - OS kernel je verovatno poslednje mesto gde ce biti gro bagova ;-)
[ mmix @ 20.02.2011. 10:55 ] @
Razumemo se kompletno, samo to nije svojevremeno sprecavalo Linuxovce da peglaju Windows oko iste te stvari ;)

Payback is a bitch :)
[ javash @ 20.02.2011. 12:32 ] @
Citat:
Samo pitanje OS-a je totalno irelevantno ovde - svaki moderan OS (tu ubrajam Linux, Windows Server, BSD, Solaris itd..) moze komotno postici te latencije od 100-njak mikrosekundi na jakom hardveru pod uslovom da su drajveri i softverski stack optimizovani kako treba.


Ne bih se bas slozio sa ovim. Nemam nista protiv Windowsa (na klijentu) ali valjda postoji razlog zasto se mnogo, mnogo cesce koristi Linux/Unix ili Solaris na serveru. Znam primere iz velikih investment banaka gde im nije ni palo na pamet da sistem prebace na Windows. Nego, Windows se koristi za development (npr Informatica PowerCenter) ali zato Oracle i Informatica serveri su na Linuxu. Isto to vazi za telekom (uglavnom Solaris i Linux). Samo jednom sam video u banci da koriste Windows servere - ali to je bilo vrlo mucno i svodilo se na dosta kliktanja.

Ili se mozda ja krecem u takvim krugovima i pamtim samo takve price?!
[ Goran Rakić @ 20.02.2011. 13:21 ] @
Iz ove novinske vesti nije jasno da li je problem u sistemu za trgovanje ili sistemu za distribuciju tekućeg stanja korisnicima. Tu verovatno ima nekoliko pretvaranja radi interoprebilnosti sa nasleđenim sistemima. Vest navodi da su problem osetili samo pojedini distributeri podataka/trgovci, da li su možda to upravo oni koji nisu na vreme testirali svoje sisteme?
[ combuster @ 20.02.2011. 22:48 ] @
Citat:

Observers suggested there were two possible causes. “Either the vendors have set up their connections and their coding incorrectly, or the exchange has cacheing problems,” one said.

Thomson Reuters message to clients blamed "an issue at the exchange". The LSE later issued a statement that "unfortunately a couple of market data vendors have experienced some specific issues aligning to the new Millennium Exchange platform”, while “all other” participants were “trading successfully”.

Others have raised concerns that – while the exchange’s year-long technical pamphlets were extensive and clear on connections, networking and coding – somewhere between certain vendors and the LSE there had been significant technology misunderstandings, which have not been fully overcome.


Hmph, ja bih rekao da se ovde radi o razbijanju starih navika pre svega :)
[ nowa @ 21.02.2011. 08:33 ] @
Začuđujuće neozbiljno. Jel moguće da su baš toliko zabrljali? Ja bih sačekao jos mesec ili dva da vidim ko će iz svega ovoga da izvuče masan profit na štetu svih ostalih :)
[ Goran Rakić @ 21.02.2011. 08:38 ] @
@nowa, možeš li nama da objasniš u kom delu sistema uopšte postoji greška?
[ nowa @ 21.02.2011. 08:59 ] @
Citat:
Goran Rakić: @nowa, možeš li nama da objasniš u kom delu sistema uopšte postoji greška?


Kad ovako važan sistem koji donosi toliko keša crkne tek tako, meni to samo liči na sabotažu. Eto "greške".
[ Goran Rakić @ 21.02.2011. 09:05 ] @
Znam ja da je ovo neozbiljan deo foruma, ali ja nigde nisam pročitao da je sistem "crkao tek tako". Zato te i pitam da li si negde pročitao šta se uopšte ovde dogodilo?
[ Mister Big Time @ 21.02.2011. 09:22 ] @
Citat:
combuster: Hmph, ja bih rekao da se ovde radi o razbijanju starih navika pre svega :)


Word.

Citat:

Behind the scenes, signs of growing frustration are clear. Staff at the vendors said they did not want to publicly blame anyone, and even accepted there were likely errors on both sides, but expressed concern over what was happening.

Pametno.