1.thick je bolji sa stanovišta performansi, ali pitanje je da li vrtiš takve servise da bi mogao da osetiš tu razliku. rekao bih da je za 95% mašina koje se vrte u srbiji :) thin sasvim ok opcija, posebno zato što ti dozvoljava da overcommituješ raspoloživi storage prostor. za visokoperformantne servise, najpoželjnija opcija je eager-zeroed thick kod koga vsphere osim što odmah alocira sav prostor za disk, njega popuni i nulama. koliko se sećam, on nije dostupan iz gui-ja u 4.1, a možeš ga napraviti tako što mašini daš thin disk, onda browsuješ datastore na kome se nalazi, nađeš .vmdk diska, desni klik i inflate

3. najbolje isčitaj http://www.vmware.com/files/pd...er/vsp_41_perf_memory_mgmt.pdf
u osnovi, sa novijim os-ovima i procesorima, mašine će zauzeti onoliko memorije hosta koliko si im dodelio iako ih iznutra vrlo verovatno ne koriste. ako postoji frka za memorijskim resursima (preko 94% opterećenje memorije servera), vsphere će pokušati da memoriju uštedi, prvo kroz TPS, onda ballooning, kompresiju i na kraju ako ništa ne uspe, swapovanje memorije virtuelnih mašina na disk. do tih 94%, videćeš da mašine sa win2008, win2008r2, win7 itd uzimaju svu fizičku memoriju koja im je dodeljena. ako je mašina ugašena, naravno da je ta memorija oslobođena i mogu je koristiti druge mašine

4. treba ti neki backup alat koji podržava Changed Block Tracking (CBT). ne znam da li ih ima besplatnih, a vmware data recovery, tj vsphere data protection od vsphere 5.1 su uključeni u sve nivoe vsphere licenciranja od essentials plus pa naviše i koriste CBT

1. Ako su SAS _HDD_ovi, vremenom ce se primetiti razlika izmedju prealloc i alloc-on-demand (thick i thin) u korist thick alokacije. Ako je SSD storage u pitanju, uvek thin.

2. Koji NET adapter je podesen za VMove i koji je fizicki adapter na host masini?

Vrlo si me zainterssovao za tacku 1. Na vmware forumu sam procitao da je thin sasvim ok sa stanovistva performansi. Posebno si me zainteresovao za taj ager-zeroed thick, ako mi malo vise mozes reci o tome, za sta koristiti koje servise na Windowsu i slicno. Mislim da sam te razumio kako cu kreirat to pokusat cu cim budem na poslu samo me zanima vise detalja za sta ga sve koristiti, kakve su to "bolje" performanse?

Sto se tice backupa, posto koriostim ESXi 4.1. besplatan treba mi bilo kakav nacin da pravim inkrementalni backup pa ako ko zna...

Sto se tice memorije, sve to znam, ali evo razlog zbog kojeg sam to pitao. Imao sam na serveru 32 GB RAM-a, 6-8 masina kojima sam dodijelio sve zajedno nekih 30 GB RAM-a. vSphare status mi je bas tako i pokazivao, 30 popunjeno od 32 GB, sve jasno. Ali onda dodam na taj server jos RAM-a, tacnije 64 GB RAM-a, i sta se desava, odjednom mi vsphare na glavnom manu-u pokazuje da ze zauzeo nekih 50 GB. To mi je cudno, kao da je "povecao" RAM svim masinama na neki nacin.



U pitanju su SAS diskovi. Sto se tice NET adaptera, koristim defaultni E1000, a fizicki hm.. ne znam sad al dolazi sa HP DL360 serverom, standardni koji dolazi nije nista "lijevo". Googlanjem sam to primjetio da preporucju zamjenu drivera od NET adaptera, medjutim, brzina transfera je uzasna i kada se obavlja kopiranje fajla sa jedne virtualne masine na drugu a na istom ESXi serveru! To me brine, jer nije problem u mrezi vec nesto drugo.

NET PHY na hostu moze da utice i na guest iz nekog glupog razloga, ako nije Gbit NIC. Ali na tom serveru su svi Gbit, pa nije to.

servisi koji su kandidati za eager-zeroed su npr. baze podataka kojima je potrebno dosta iopsa, exchange i sl. za takve servise je najbolje odvajanje os-a, baze i logova na posebne diskove, korišćenje zasebnih pvscsi adaptera za db i log diskove itd. imaš ovde poređenje različitih tipova diskova po performansama - http://www.vmware.com/pdf/vsp_4_thinprov_perf.pdf

Super dokument. Ostaje mi jos backup i ovaj problem sa brzinom prenosa. hvala svima

Što se tiče memorije, mislim da je za ESXi (besplatan) max. memorija 32GB.

To možeš proveriti tako što ćeš u vSphere Client-u selektovati Host (server na kom se vrte VM), sa desne strane odabrati karticu Configuration i kliknuti na Software\ Licensed Features. Tu ti su ti prikazana ograničenja.

Nevjerovatno. Uradim copy/paste fajla na istoj virtualnoj masini u drugi folder znaci sve radim na istoj masini copy/paste i brzina prenosa mi je 6 MB/s. Ne kontam kako? Sta mi je usko grlo?

Jedno glupo pitanje? Da li si proverio jesu li ti ispravni svi diskovi u raid-u? Takođe raid 5 ti je lošiji sa performansama od raid 10, pogotovu kada je u pitanju pisanje. Ako ti količina prostora nije toliko bitna i to ti je testna mašina možeš da probaš i 10, pa da uporediš. Naravno i sa tom postavkom bi performanse trebalo biti dosta bolje.

Da ispravni su oprema je sva nova.Znam da je RAID 5 ima losije performanse ali ovo je uzas od performansi. Zanimljivo, uradim copy/paste na svom laptopu (noviji laptop) i brzina mi sa 50 MB/s spadne na 20 MB/s. Ovo nema nikakve veze sa serverom cisto me je zanimalo kako ce se ponasat na drugoj masini npr na laptopu. Kopiram fajl od 2 GB.
Naravno radim copy/paste fajla na istom laptopu u drugi folder.

Što se tiče brzine mnogo toga može biti u pitanju:

Da li mi ovdje govorimo o lokalnom storage-u na jednom serveru?
Koji server je u pitanju tačnije koja mrežna karta i koji RAID kontroler?
Ukoliko mrežne karte nisu stariji Intel-i (e1000 ili e1000e) da li su instalirani najnoviji OoB driveri sa VMware site-a na ESXi?
Verzije BIOS-a na serveru, verzija firmware-a na NIC-ovima, varzija RAID firmware-a, da li je cijela firmware infrastruktura update-ovana?
Da li RAID kontroler ima cache RAM, bateriju, kakva su podešavanja za read/write cache?

Sve je na jednom serveru.

RAID contoller: HP Smart Array P410i/256 MB Controlle + HP 256MB P-series Cache Upgrade
Mrezna 2x HP NC382i Dual Port Multifunction Gigabit Server Adapters

Sve je upgradovano, sto se tice mreznih drivera na ESXi-u, probao sam i e1000 i vxnet3, sve isto s tim d ami na vxnet3 prikazuje na windows mreznog interfejsu da je 10 Gb/s.

Nemaš bateriju (ili bar je nisi pomenuo) što sa RAID5 nije baš pametno upravo zbog nižih brzina upisa, pri čemu ne možeš koristiti write cache.
Da li si instalirao OoB Broadcom driver sa
http://h20000.www2.hp.com/bizs...p;taskId=135&swEnvOID=4091
ili još bolje sa
https://my.vmware.com/web/vmwa...2x-17254v411&productId=230

samo da se ispravim ovde, dostupan je ako se izabere support clustering features (fault tolerance) pri kreiranju diska

a što se tiče sporog kopiranja, ne verujem da ima veze sa firmverom / drajverima mrežne kartice, pošto loše radi i između mašina na istom hostu (pretpostavka da su mašine na istom vswitchu) i unutar mašina, tako da je najverovatnije problem taj kontroler bez baterije kao što je pomenuo nenad. najbolje ti je da uzmeš dodatnu bateriju (462969-B21 :)

Hvala, nije problem uzet cu sta god, ako treba preci cu i na RAID 10, samo mi treba sto vise utemeljenih strucnih savjeta da ne lutam. Upravo tako, problem je i transfer izmedju masina na istom vswitchu. Jucer sam defaultni mrezni driver na virtutalnim masinama sa defaultnog e1000 zamjenio sa vxnet3, ista stvar, s tim da mi na Windowsu pod postavkama mreznog adaptera vise ne pise 1 Gb vec 10 Gb brzina. Jos bitna stvar, na pocetku svakog kopiranja (bilo preko mreze ili na ISTOM HOSTU copy/paste) brzina zakuca, krene ocekivano (oko 500 Mb/s) i onda se nakon par sekundi exponencijali spusti do nekih 5-6 MB/s i "pati" se s tim do kraja. To mi isto pokazuje i graf za network na vSphare-u, a graf za datastore i disk isto, samo sto je u miliskundama pa ga ne znam protumacit, nemam osjecaj sta da gledam. Ista stvar bilo preko cifs-a, ftp-a, remote desktopa.....


@Nenad, hm.... pa sad ne bih znao reci da li je sve to instalirano, al kako vidim release date ovog drivera onda definitivno ovo nije instalirano. Mislim, ok ako je bas do toga instalirat cu (al sumnjam posto se desava i na istom hostu) jer mi je na tom serveru produkcija pa sve moram pogasit, a konto sam i upgradovat na ESXi 5.1, al kazem cisto sumnjam da je to problem.

_{[Ovu poruku je menjao Alex_bonny dana 18.09.2012. u 20:35 GMT+1]}

Da li mozes da rasturis RAID5 u RAID0 privremeno pa da isprobas da li tada radi isto?
10MB/s je previse niska cifra za _SAS_ diskove, bez obzira sto nema write caching u samom kontroleru. Za SATA diskove bi bila druga prica, ali SSD ili SAS (osim ako nije neki kvazi-SAS tipa Seagate Constellation serija) bi morali da daju bolje rezultate.

Ili... ako imas puno RAM-a, napravi, fore radi, ogromne RAM diskove u dve masine, i probaj da kopiras medju njima. Ako moze da odrzi stabilan throughput onda je do diskova. Ako ne moze - do mreznih.

Primjetio sam da malo brkaš drajvere u host-u i guest-u...

Drajveri u guest-ovima bili oni e1000 ili vmxnet2/3, nemaju prevelike veze sa ovim. Bitni su drajveri u host-u, a oni sa kojima dolazi ESXi instalacija su živi užas. Obavezno ako već nisu instaliraj proper Broadcom drajvere sa jednog od onih linkova!

Nešto što još možeš pogledati u međuvremenu:
Kakvo je opterećenje CPU-a u hostu kada pokreneš kopiranje?

Skini npr hdtune (http://www.hdtune.com/files/hdtune_255.exe) ili CrystalDiskMark (http://crystalmark.info/software/CrystalDiskMark/index-e.html) i napravi test protoka na jednoj jedinoj mašini. Ako sluačajno imaš jednu Linux virtuelnu mašinu onda to možeš odraditi sa "hdparm -t /dev/sda"

Napravio sam benchmark sa navedenim alatima (hvala). Evo rezultata

Sa CrystalDiskMark:

CrystalDiskMark


Ovo se desava na vSphareu-u za tu masinu kada je pokrenut ovaj alat:




vsphare graf

Sa hdtune:



hdtune

jos jednom:
hdtune



Evo i preko linuxa, s tim da mi svaki put daje drugacije rezultate:



Svaki alat sam pokrenuo posebno a ne paralelno ako te kakve veze ima.

Sto se tice CPU opterecenja, nikakvo, nema nikakve razlike kad kopiram sve normalno.

Poredjenja radi, ako pokrnem hdtune na svom laptopu na kojem je SATA disk, dobijem transfter avarage 60 MB/s a Burst rate 80 MB/s (sta mu to znaci)? Cisto poredjenja radi, koliko bi trebao dobiti na svom "obicnom" laptopu i na ovakvom serveru, koje su to vrijednosti koje se trebaju pojaviti?

@Dexic, kako mislis da napravim ogromne RAM diskove na dvije masine? Mislis da dodijelim puno RAM-a na te dvije masine? Imam RAM-a koliko hoces, koliko da stavim?

_{[Ovu poruku je menjao Alex_bonny dana 19.09.2012. u 09:28 GMT+1]}

Sad jedno jako glupo pitanje, koliko mašina i kakvih (web, DB serveri i slično) se vrti na tom ESXi-u trenutno?

Ima svega raznih masina (u ovom trenutku ukupno 13 od toga: 7 Windows servera 2008, 2 windows 7, 1 linux, 3 ostalo) sve aktivno

Sve skupa, nema nekog opterecenja na tim masinama (fakticki par korisnika sve to koristi).

_{[Ovu poruku je menjao Alex_bonny dana 19.09.2012. u 09:42 GMT+1]}

Sa 13 mašina na jednom LUN-u ne možeš očekivati puno bolje od toga što imaš. Windows i kada se apsolutno ništa ne radi ima pristupe disku i troši IOPS-ove i disk bandwidth.
Moj rekord (na RAID1 od 2 x 15k diska) je 10-ak mašina prije nego IOPS krene da ubija LUN u smislu timeout-a od cca 2-3 sekunde. Ti imaš 3 diska ("4"-ti ne učestvuje u IOPS-u), a nimalo ne pomaže što nemaš bateriju.
Provjeri da li ti je bar uključen read cache na kontroleru. Write cache na HP SmartArray ne možeš uključiti bez baterije i ništa se pri upisu ne kešira u on-borad RAM-u.

Ovo sve možeš dodatno potvrditi ako pogledaš latencije u performance/datastore. Oni brojevi koje si već pominjao su ti latencije upisa/čitanja i za lokalni disk nije dobro da u dužim intervalima prelaze 20-30ms. Ako tu imaš pikove onda je to to. Max mogućnosti storage-a.

PS: Daj screenshot prozora sa latencijama podešenim na period od recimo zadnja 3-4 sata. Otkači sve osim write i read latencije za pomenuti LUN.

To se vrlo lahko moze provjerit, sve cu pogasit i ostavit 5 Windows server masina. Interesuje me, mozes li mi protumacit gore navedene testove? Jel mislis na graf datastore na vsphareu? Evo ga za masinu na kojoj sam radio testiranja:

datastore graf

I evo ga za sve ukupno, u pitanju su 3 datastore-a:


datastore graf

Sto se tice read cache-a jel ukljucen, nemam pojma, moram sve pogasit pa uci u BIOS da vidim.

Sad su stvari puno jasnije.

Kao prvo praksa kaže, možda se neko neće složiti ali to je tako: Jedan datastore per LUN!!! Sve drugo će prije ili kasnije postati problematično.

Imaš jako velike write latencije i u tome ti je problem. Previše je to mašina za jedan RAID 5 LUN. Doduše ako se situacija ne poboljša značajno kada obaviš testiranje sa samo jednom upaljenom mašinom imaš još nekih problema.

Nađi način da ovo razdvojiš u 2 x RAID1 LUN-a i samo dva datastore, po jedan na svakom LUN-u, ali bez upotrebe extent-a nećeš ništa postići. Zatim podijeli mašine po datastore-ima.

Daj ovdje i screenshot performance/disk i to countere:
Average read requests per second
Average write requests per second

Promjena RAID-a mi je zadnja opcija, dakle ako nista ne pomogne mjenjat cu RAID jer moram sve backupirat i ponovo radit. Ostavit cu 5 upaljenih masina pa cu onda vidjeti. A sta kazu testiranja sa onim programima, onaj hdtune pokazuje da je transfer u prosjeku skoro 1 GB/s, to je lose ili dobro??' Sto se tice LUN-ova, malo mi je besmisleno to sto govoris, ali pojma nemam mozda je i do toga, evo LUN-ova:

LUN-ovi

Ovako sam morao ici jer svaki LUN mora biti manji od 2 TB inace ga vmware ne vidi zbog RAID-a (iz nekog razloga). Znaci imam 3 LUN-a po 1,9 TB + cetvrti od 30 GB. Znaci ti predlazes da svaki LUN ima svoj datastore sto znaci da svaka vritualna masin bude na posebnom datastore-u? Znaci ako imam 10 masina da mi treba 10 LUN-ova i 10 datastore? Cinjenica je da sam vec cuo savjet da ne treba sve drzat na jednom datastore-u (mada mi niko nije objasnio razloge) al sad opet... Ne znam sta da radim.

Evo trazenih grafova ovaj put za masinu gdje mi je domain controller:

DC

Evo ukupno:

SVE

Hdtune sam pomenuo zato što je najlakši za uporebu ali često daje rezultate kao ove na VM (protok reda GB). Zanemari ga zasad.

Pomenuo si da imaš 4 diska ukupno?
Po kapacitetu shvatam da imaš 4 x 2TB SAS 7k2 diskove, koji su BTW sa IOPS i bandwidth strane isto što i obični SATA 7k2 disk sa dodatkom dual port-a i nekih SCSI komandi.
Na tim diskovima će sve preko 5-6 mašina praviti probleme. Bez obzira što si izgleda napravio više LUN-ova (što će napraviti gore stanje nego samo jedan LUN) ovdje i dalje važe fizičke karakteristike tih diskova a one su cca 100-120MB i 80 IOPS po disku. Šta prije dostigneš počeće praviti probleme.

Na kraju svega ono što ostaje je da sa jednom upaljenom mašinom vidiš protok i uvjeriš se da li negdje postoji hardverski problem. Takođe obavezno provjeri i read cache na kontroleru, izgleda mi kao da nije uključen pa svi requesti bombarduju direktno diskove. Baterija za write cache je takođe poželjna.

EDIT: Da te ne bi previše dalje zbunjivao, problem je što za stavljanje više mašina na jedan datastore/lun moraš imati ili puno više diskova ili diskove od 15k da ne kažem SSD-ove. Za ozbiljnu virteulizaciju su nažalost bez obzira šta proizvođači pričali 7k2 diskovi praktično neupotrebljivi.
I da 256MB RAM-a (to je 410i/ZM + 256 a ne 512 ukupno ako se ne varam) je premalo za toliki kapacitet datastore-ova da bi on-board cache došao do izražaja u potpunosti.

_{[Ovu poruku je menjao Ned123 dana 19.09.2012. u 14:53 GMT+1]}