Bojane, a ne misliš da bi to moglo mnogo bolje da se uradi bez „virtuelizirajućeg“ softvera, uz samo chroot okruženja, i odgovarajući softver za „virtuelne servise“? To bi koristilo mnogo manje memorije i procesorskog vremena, mada opet postoji problem da se svi programi usklade kako bi mogli odgovarajuće da rade.

Mislim da je najbolje rešenje tipa L⁴Linux (pokreneš Linux jezgra na L4 mikrokernelu nesmetano uz ostale programe :-).

problem je sto samo chroot-ovanje apache-a ne resava problem hostinga, najbezbolnije resenje za "virtuelizaciju" jeste patch-ovanje kernela i dodeljivanje privilegija korisnicima da bind-uju portove ispod 1024-og za odr. ip-eve. kao referencu pogledati odlican chp-ov vipl (http://vipl.sourceforge.net/). tako nesto ima cenu koja se placa vecim komadima adresnog prostora (1 ip po korisniku ili korisnickoj grupi), kao i odr procesorsko-memorijsku cenu po npr. svakoj instanci apache-a (pogledati i npr. /usr/src/linux/net/ipv4/af_inet.c). mislim da bi patch-ovanje samog apache-a umesto kernela moglo biti mnogo slozenije i bolnije iskustvo, ali ne mogu da tvrdim, a ovime postizes univerzalno resenje za sve servise koje zelis u potpunosti da odvojis.



hmm... ne znam kako bi se tako nesto ponasalo u produkcionim uslovima. potpuna "virtuelizacija" na nivou kernela, kao i kontrola nad "vidljivoscu" socket-a u chroot-ovanom okruzenju bi bilo ultimativno resenje u kombinaciji sa gore pomenutom idejom, ali sama realizacija nije bas banalna.

Sve je to lepo, ali glavni problem ostaje što je bandwidth jezivo skup kod većine provajdera i to je zapravo glavna stavka u dedicated hostingu / server housingu. Koliko sam video, većina ga računa po ceni istoj kao i za zakupljene linije, tipa 50-100 € po gigabajtu, bez obzira što većina saobraćaja kod hostinga zapravo ostaje u domaćem delu interneta.

A što se tiče virtualizirajućeg softvera, nisam siguran koliko bi VMWare bio dobro rešenje, ali SWSoft je jedna od vodećih firmi za "virtuelne" servere (http://www.sw-soft.com/en/products/virtuozzo/). Nedavno su kupili i Plesk koji pravi jedan od popularnijih hosting kontrol panela.

mikis, kako je to moguce ?
zar hosing/dedcated provajderi ne mogu da ti "rade" accounting samo za inostrane ip adrese ?

Ne, u stvari ... ljudska glupost je beskonacna ... zar im nije prostije meriti te na tvom virtuelnom ethercap/tun interfejsu l;(


ipak ce ova tematika biti nepoznanica kod nas jos nekoooo vreme.

Pa baš je zato i zanimljivo ;-)



Hm, a da uzmeš jedan IBM-ov zSeries (ili koji im je ono model), i da poćeraš par stotina (hiljada) GNU/Linux-a, ne verujem da bi i dalje mislio da je SWSoft „jedna od vodećih firmi za ‘virtuelne’ servere“ ;-)

Pazi, i ja se pitam kako je moguće. Ovo pričam iz ličnog iskustva sa jednim od domaćih provajdera. Naravno da mogu, ali pitanje je da li si dovoljno uporan i ubedljiv :) Pogledaj recimo cenovnik za housing SCnet-a: mesečna pretplata za držanje servera 6000 din, plus ostvareni mesečni protok po ceni 1520 din po 1 Kbps AIR, ili oko 75€ po prenetom gigabajtu. Onda kod EUneta, mesečni zakup 10710 din (bez poreza) u šta je uračunato 24 kbps odlaznog i 8 kbps dolaznog saobraćaja (7,5GB/2,5 GB). Cene za prekoračenje nema, ali recimo u cenovniku za hosting stoji da se prekoračenje plaća 15 din po megabajtu!! (230 evra po gigabajtu?!?) Ako je i besplatan domaći sadržaj, to nigde ne piše. Većina ostalih provajdera se nije ni potrudila da stavi cenovnik na mrežu :(


[Ovu poruku je menjao mikis dana 20.06.2003. u 23:21 GMT]

HM, last time I checked, IBM zSeries su spadali u Mainframe servere, što će reći da im se cena piše sa više od 6 cifara Što se baš i ne može porediti sa 1500-2000 dolara za jedan Dual Xeon server sa brdom RAM-a i verovatno još pola od toga za SW-Soft Viruozzo licence, a takva mašina je više nego dovoljna za više desetina virtuelnih host platformi. Uostalom, mi ovde i pričamo o "virtuelnim serverima" pre svega za web hosting, odnosno kao zamenu za "skupe" dedicated servere, a ne o svemirskoj tehnologiji koju ćemo verovatno videti samo na slikama U tom domenu sam pominjao SW kao jednog od lidera, a što se IBM-a tiče njima samo kapa dole

naravno :)



hmmm... malo mi je cudna racunica sa tih "vise desetina virtuelnih host platformi"... da li je neko od vas testirao virtuozzo u stvarnosti pod razumnim load-om?

Ne, iskreno rečeno samo nagađam. Uostalom reselleri regularno hostuju po više stotina sajtova na takvim mašinama, pa ne vidim zašto bi 10-ak virtuelnih servera bilo problem. Ono što čini mi se najviše ubija web servere su baze podataka i razno razni forumi koji sa njima rade, sam Apache je dečija igra.

U svakom slučaju, daleko, daleko je jeftinije od IBM mejnfrejma ;)

I nije me mrzelo da proverim: SWsoft tvrdi da Virtuozzo for Hosting Service Providers može da skalira do preko 800, pa čak i do 2000 VPS (virtuelnih privatnih server), odnosni da ih može biti koliko i običnih šerovanih prezentacija. Sad, pominju se tu i neke mašine sa 16 procesora i 64 GB RAM, pa ne znam koliko to veze ima ;) Koga više zanima: http://www.sw-soft.com/en/products/virtuozzo/hsp/

zato sam i pitao, posto nije nikakv problem servirati staticke stranice, ali problem nastaje sa crappy sw-om kao sto su php i narocito mysql koji se veoma lose ponasa pod visokim load-om, a ne mozes racunati na uvidjavnost korisnika prema tvojim resursima kada je on kupio "uslugu" od tebe.



svakako, ali za enterprise potrebe moras imati i enterprise hw, mada ja opet sumnjam uda je intel platforma sa linux-om dorasla enterprise trzistu.



... odn. na 16 proc budzevinu posto se intel arhitektura ne skalira na vise od 4 procesora. opet ulazimo u igru visokih brojeva, zar ne?

Pa upravo tu prednosti softvera za virtuelizaciju dolaze do izražaja, jer ti možeš svakom korisniku viruelne mašine ograničiti resurse, tako da ne može (bar u teoriji) da se desi da ti jedan korisnički proces zauzme 100% procesorskog vremena i potpuno blokira procese ostalih korisnika. Opet, SW tvrdi da korisnici ga koriste i za teranje Oracla i SAP-a npr. pod virtuelnim mašinama, tako da ni MySQL ne bi trebao da predstavlja problem.



Pa počeli smo priču o jeftinom rešenju koje bi bilo alternativa dedicated hostingu, tako da tu enterprise hardver nema šta da traži :)



Pa Intel itekako skalira na više od 4 procesora, čemu služi onda Windows Server Datacenter Edition. Pogledan na primer one Unisisove zveri.

E sad, ako i uzmemo kao pretpostavku da je rezultat od 800 VPS na jednoj mašini postignut baš na toj sa 16 procesora, i ako pretpostavimo da performanse skaliraju linerno sa povećanjem broja procesora (a svi znamo da nije tako), uz malo računice dolazimo do cifre od 50 virtuelnih mašina po jednom procesoru, a to se uklapa u moju pretpostavku o "nekoliko desetina VPS-ova na dual CPU mašini" :)

mislim da tu postoje 2 problema... naime, pretpostavljas savrsen scheduler koji savrseno ogranicava i deli resurse sto je u praksi daleko od istine. linux je daleko od sampiona u tom pogledu i iz veoma visokih load-ova (800-1200) ima sanse da se iscupas samo ako imas jako stabilan hw (npr. superfork je dobar test za to, posto u situacijama kada vise nemas slobodnih file descriptor-a i navalu forkovanih procesa desavaju se veoma zanimljivi fenomeni). drugi problem je u tome sto ukoliko imas previse malo resursa po virtuelnom serveru nista nece raditi kako bi trebalo. npr. ako otvaras permanentne konekcije ka bazi, sto je cesta praksa, imaces cesto problema sa konekcijama koje hang-uju, itd. kao sto rekoh, mene brinu one desetine i stotine.



virtuelni hosting nije najjeftiniji hosting, samo je jeftiniji od dedicated servera, ali je opet dosta skuplji od "hajmo deco svi na jedan apache".



mozda u NUMA fashion-u, ali trebalo bi da malo bolje pogledas prilicno neprijatna ogranicenja vezana za intel arhitekturu. ne znam da li se nesto promenilo sa itanijumima, tako da ne bih ulazio suvise duboko u raspravu.
sto se tice brojki, teoretski, ako imas dovoljno memorije, mozes podici neogranicen (odn. broj ogranicen samom platformom) broj virtuelnih okruzenja. ono sto mene malko buni jeste kako se to ponasa u realnim uslovima, a ne na promotivnom materijalu za virtuozzo.

Zanimljivi su ti rezultati sa Intel serverima.

Evo, npr. IBM u eksperimentalnim uslovima na svom zSeries-u sa 16 procesora jedva postigne 1000 virtuelnih Linux-a (v. ovde), i to sve uz „lagano opterećenje“ Apache servera (1–2 zahteva po sekundi, ili oko 100.000 zahteva dnevno). Ovo znači da u praksi najviše 200 njih može da radi bar približno kao običan server, a oni postižu 50 VM-a po jednom Intelovom procesoru!

Ih bre, gde ima taj Intel da se kupi, pa da ga i ja isprobam ;-)

Ako hoćeš S/390, ovde je nešto povoljniji ;-)

Nije, ali pogledaj opet prvu Bojanovu poruku, od čega smo krenuli: nešto jeftinije od dedicated ali sa virtuelnim root-ovima. VPS tu negde upada, a naravno postoje i daleko jeftinija rešenja od pomenutih, tipa VServer (http://freshmeat.net/projects/vserver/ , Free/GPL, nažalost izgleda da je nešto zamro).,



Pazi, ako su lagali mene... :) Njihova mušterija kaže:

"Virtuozzo [SWsoft's virtualization software] is the only product that allows us to put 200 virtual private servers on a single hardware platform," said Jochen Berger, Server4free president and co-owner. "Plus, we needed a platform we could sell aggressively—for 10 euros a month—with a full root access."

Oni sami kažu da su rezultat od 2000 Linux virtuelnih mašina postigli na Dell 8450 PowerEdge mašini sa RedHat Linuxom 7.2, dakle ništa previše ekstravagantno.

Inače, da neko ne misli da sam portparol SWsofta ;) jednostavno sam se slučajno za njih interesovao, ne znači da ne postoje druga (i jeftinija rešenja). Na primer, IBM koji smo ovde pominjali, za veb hosting solucije tog tipa, nećete verovati, ne prodaje zSeries nego kombinaciju VMWare + Sphera :)

Opet, neko je negde kao rešenje pominjao FreeBSD i njegov jail, ali stvarno nisam ekspert za to niti sam preterano obraćao pažnju :)

Par interesantnih linkova:
http://isp-planet.com/hosting/2003/swsoft.html (SWsoft je ruska firma, inače)
http://isp-planet.com/equipment/2002/hsbcomplete.html
http://www.sphera.com/
http://www.ensim.com/

Evo ovde: http://www.dell.com/us/en/esg/...kmain_servers_1_pedge_8450.htm

Rekoh, nisam ekspert za te stvari pa samo nagađam: možda se ova dva rešenja razlikuju u osnovnom principu rada? Npr, pretpostavljam da kod IBM-a i tih 1000 Linuxa svaki od njih je mašina za sebe, odnosno svaki ima svoj kernel, pa možeš istovremeno da imaš pokrenuto nekoliko različitih verzija kernela i/ili operativnih sistema? Opet, prilično sam siguran da kod Virtuoza imaš samo jedan kernel, a da on u stvari "vara" korisnike tako da svako od njih ima svoj virtuelni root?

virtuozzo i zseries su lov u mutnom za vserving kod nas definitivno, i ne verujem da bi bilo koji provajder bio spreman da zagrize njihovu cifru.

Probao sam uml-linux, i mogu reci da sam odusevljen mogucnostima za takav rang softvera. Podigao sam 10 instanci od po 32MB za svaki uml kernel. I sasvim su lepo radili.
Koliko bi to bilo stabilno - ne znam, trebalo bi proveriti na vremenskoj osnovi i u realnim uslovima.

ostali ?
jel' neko probao nesto od sveg ovog software-a sto smo nabrojali ?

mislim da bi bilo prilicno dobra ideja odraditi benchmarking i testirati stabilnost svakog od pomenutih resenja rokaj-snimaj metodologijom. tako bi dobili najbolju sliku o svakom resenju ponaosob posto ovako samo nagadjamo.

Bojim se da mi nikada nećemo ni videti taj zSeries, osim na slici, a kamo li ga testirati :)) U našim uslovima verovatno je i Virtuozzo preskupo zadovoljstvo.

E, ali oni nemci što ga koriste, www.server4free.de su vrlo interesantni likovi. Pogledajte im cene -- skoro su povoljnije nego u USA! Tipa, Dedicated Duron 800 sa 40GB HDD i 100GB transfera, za samo 30€ mesečno! (plus 150€ setup i plaćanje unapred za godinu dana, ali ima i drugih varijanti)

A vServer sa 1GB prostora i 15GB transfera košta 10€ mesečno, s tim što kako oni kažu "Im jedem Server shlagen 4 XEON-Herzen", odnosno serveri su im 4-procesorske Xeon mašine, a na svakoj je oko 200 vservera.

Interesantno je i uporediti cene housinga: 37,5€ mesečno sa uključenih 100GB transfera... Što bi po gruboj računici kod jednog od pomenutih domaćih provajdera koštalo oko 2500€ ;)

U našim uslovima hardver je džabe i posvećen server se može sklopiti za manje para nego što bi koštala licenca za bilo koje od pomenutih rešenja. Glavni problem je u ceni internet saobraćaja :(

nisam konkretno mislio na zSeries, mislio sam na testiranje samog virtuozzo-a na nekoj razumnoj masini (koliko vidim nude demo order), na nekom razumnom load-u i posmatranje kako opadaju performanse (recimo vreme koje je potrebno da se odradi jedan razumno nasilan ab) u zavisnosti od broja virtuelnih servera i sve to u zavisnosti od kolicine memorije (nekoliko grafika bi dalo lepu generalnu sliku o upotrebljivosti). jos zanimljivije bi bilo opteretiti i fajl sistem kod vServera, zanima me kako bi se ponasao kada bi desetine vServera krenule aktivno da maltretiraju diskove, posto su obicno diskovi usko grlo svakog servera.

sto ce tice cena housing-a kod nas, mislim da su daleko preduvane, bez obzira na cenu bandwidth-a. uostalom, pravilo je da ukoliko zelis isplativ server housing, a nije ti bitna fizicka lokacija servera ides tamo gde je link najjeftiniji, a to je trenutno USA. iskreno, ja bih pre dao tih 30€, pre nego stekario i platio 10€ za vServer.

Nisam primetio da može da se skine demo verzija Virtuoza? Ajd baš ću da pogledam. Ono što me malo buni je cena tog rešenja. Na sajtu naravno mudro ćute, dok recimo na Pleskovom sajtu imaju "specijalnu" ponudu:



Nadam se da cena uključuje i hardver (servere) :)

Što se performansi tiče, verovatno se i oni kao i kod shared hostinga uzdaju u statistiku da neće baš svi korisnici krenuti istovremeno da maltretiraju server, nego da uvek imaš veliku većinu koja se pristojno ponaša i plaća za daleko više resursa nego što joj je stvarno potrebno, i par "crnih ovaca" koje ostalima zagorčavaju život ;)

vserver ili dedicated? Zavisi od potreba. Kod vservera sve ti je instalirano i na tacni, i neko drugi se brine za apdejtovanje OS-a, Apača i ostalog softvera, sigurnost, bekap i sve ostalo. Kod dedicated, sve je na tebi. Jedino što možeš očekivati za dž je da ti resetuju server ako nešto zabrljaš.

Umm, ne znam bas za to ... ispod vservera je zapravo jedan obicni file za root.fs i jos jedan za swap.fs.
Pretpostavljam da vserving kompanije imaju neku vrstu template-a za novog klijenta, i samo mu promene IP adresu, i ceo sistem je spreman.

Znaci, prema nahodjenju sta si trazio ( redhat, suse, stavec ) uradi se jedan cp templates/redhat-root.fs ~client0021322/ i na njemu imas _default_ OS koji posle *klijent* odrzava.

Kako se FreeBSD 5.1 uklapa u ovu priču?

Sa http://www.freebsd.org/releases/5.1R/announce.html:


Neko zna nešto više, ima iskustva?

Nasao sam nesto vrlo primitivno: jailctl


... iskustva uskoro.

podosta se uklapa... secam se neke davne price o tome, kao i da su vec postojali individualni forkovi fbsd-a vezani za vservere jos pre podosta vremena. verovatno je u pitanju tek alfa verzija, ali se cela prica uklapa sa kernel threading-om i boljom smp podrskom (trenunto je tcp stack sa APIC-om veoma nestabilan, meni se desavaju veoma neobicni efekti na 2 proc. masini od verzije 5.0).

Promakla mi je ova poruka. Elem, našao sam potvrdu onoga što sam pretopstavljao u Virtuozzo faq-u (u vezi razlike između IBM zSeries i VPS rešenja):



Prema tome, zSeries (a i običan PC sa VMWare-om) može da potera više (hiljada) virtuelnih mašina, od kojih svaka može da ima sopstveni, potpuno nezavisan OS. Kod VPS-a, kao što je Virtuozzo, svi virtuelni serveri dele isti OS.

Bacite pogled ovde: http://www.sw-soft.com/en/products/virtuozzo/ve/

Prema tome, sumnjam da korisnik može da u svom virtuelnom root-u pečuje kernel i tome slično? Za većinu korisnika i to je sasvim dovoljno, u poređenju sa šerovanim rešenjima kao što je Cpanel ili Ensim.

pa mislim da je ovo bilo jasno od samog pocetka, ili mozda gresim?



ensim je prica za sebe i bilo koji trag "virtuelizacije" sastoji se samo u chroot-ovanim cgi okruzenjima. sa cpanel-om nisam nikada radio, ali ensim smatram jako losim resenjem gde su svake intervencije prilicno bolne. sa druge strane on je "prijateljski" nastrojen ka krajnjem korisniku te je stoga i prilicno popularno i cesto nudjeno resenje.