Jeste gledali Lustre?
Ono sto ja ne bih preporucio jeste GFS. Iskren da budem, ne znam kakva je verzija 2 (trebalo bi da bude bolja, jelte) ali performanse GFS su poprilicno lose.

Sto je selinux toliki must? Jer ono malo sto sam probao glusterfs mi je izgledalo jako dobro.

E, hvala ti, pogledacu lustre.

Izvini, i mislio sam na GFS2, zaboravih to da napomenem. Svasta smo nesto probali, pa se ne secam tacno sta se desavalo. Znam da nisam uspeo da napravim logical volume, iz nekog razloga nodovi nisu uspevali da se vide kroz CLVM.

A selinux je bas must, shef nam ne moze bez njega. Lako bih ja kad bismo mogli da ga ubijemo :)

Podigao sam mail cluster na GFS2 i na kraju odustao jer je bio spor do neupotrebljivosti...

I GFS2? To je stvarno razocaravajuce...

Da, stvarno je razocaravajuce ako je situacija takva, dosta sam pozitivnih stvari cuo/procitao o gfs2.

@Tyler,
jesi li imao prilike da radis sa ovom Lustre-om? Kakvi su ti utisci? Prosao sam dokumentaciju, deluje sasvim ok, probacu cim nahvatam neke 2 masine.

Mi se trenutno igramo sa GlusterFS. Izasla nova i dosta izmenjena verzija, moze da se zaobidje fuse, izgleda da cemo ipak uspeti nesto da namuljamo sa njim :) Javljam utiske..

Nisam nažalost, ali stekao sam utisak da je čitav sistem malo bloated, i čini mi se da je overkill u slučaju manjih instalacija i sistema (do ~10 mašina).
Plus, ja nekako najviše volim stvari koje su u mainline kernelu, a ne da moraš da patchuješ kernel sa nekim njihovim dodatcima.

Primjera radi, na GFS2 cluster-u sa dva node-a ls -la na direktorijum u kojem je bilo oko 10k fajlova trajao je 4 minute!!! Dakle, za mail server GFS2 se pokazao kao totalno neupotrebljiv, dok recimo za bazu podataka itekako moze da posluzi jer je citanje i pisanje fajlova bilo skoro isto brzo kao na ext3.

Cluster je bio na HP Blade-u/VMWare sa optickim multipath pristupom do HP Storage-a.

Koje masine imate za servere?



RHCS je integralno resenje, enterprise ready, ja bi reko da to treba da radi ko sat. Sta je bio problem sa GFS?

U medjuvremenu smo probali novi GlusterFS. Dosta su ga izmenili, pojednostavili su konfiguraciju i, sto je (barem nama) dosta vazno, integrisali su nfs i uspeli da zaobidju fuse. Podigli smo glusterfs izmedju 2 test masine, sve radi odlicno, jedino je problem sto nije moguce menjati selinux contexte tek tako. Posto nam selinux bas treba, morali smo da odustanemo od glustera. Ali, eto, kome selinux nije neophodan, cini mi se da je glusterfs sasvim fino resenje :)



Imamo IBM x226 i x236, ali sva testiranja radimo na radnim stanicama, IBM Thinkcentre A50. Ako se dobro secam, problem sa gfs je bio taj sto nismo mogli da napravimo logical volume unutar lvm-a. Radili smo po ovome:
http://www.linuxdynasty.org/howto-setup-gfs2-with-clustering.html

Vise se ne secam tacno greske, ali je znacenje bilo da se nodovi nisu videli izmedju sebe. Probao sam nekoliko resenja koja su ljudi predlagali, ali nije pomoglo. Priznajem da GFS nismo stigli da istrazimo do kraja, stigao je predlog da probamo nesto drugo, pa je ostalo tako "na pola". RHCS jeste enterprise resenje i verujem da treba da radi bez problema, ali mi bismo da izbegnemo postojanje dodatnog noda (za fensing, i sta jos ono bese..). Ograniceni smo hardverski, plus je zahtev da ucestvuju samo 2 masine (ona 2 ibm servera). Mozda nesto sa virtuelnim masinama, al ne znam kako bi radilo..

U sustini, ovo sto mi pokusavamo da nasrafimo jeste neko shatro cluster okruzenje, tj treba nam distribuirani fajl sistem. Naisli smo na nekoliko resenja, a vidim da dosta hvale AFS (tj, OpenAFS) i CODA.

Znate li nesto o njima?

pozdrav

RHCS je možda cool rešenje za RHEL i CENTOS distribucije, dok na Fedori već neko vreme unazad stalno postoje neki problemi u radu sa njime. Recimo sada u FC14 web interfejs Luci za konfigurisanje cluster.conf fajla jednostavno ne radi. Takođe i ako je uključen selinux pri podizanju sistema svi nodovi se spucaju na joining fencing domain. Ok, uspeli smo nekako da konfigurišemo cluster.conf, što ručno što preko lucija koji i dalje radi na FC13, ali pošto iz nekog jako čudnog razloga na sistemu mora da radi selinux, ne možemo nikako da zaobiđemo problem sa spucavanjem nodova. Takođe i RHCS zahteva postojanje nekog network storage devicea ili barem postojanje trećeg noda koji će da izigrava network storage preko iSCSI-ja. Ovo nama ne znači ništa pošto nam treba rešenje sa 2 noda i fajl sistem koji može da radi u distribuiranom režimu ili distribuiranom režimu sa replikacijom. GlusterFS nam ispunjava sve te uslove, problem je samo što SELinux blokira xattr nad Fuse fajl sistemima u Fedorama, a GlusterFS koristi Fuse. Doduše u Centosu 5.5 još uvek radi kako treba GlusterFS sa uključenim SELinuxom, ali pitanje je da li će tako ostati i u Centosu 6 kada izađe, ili će ovaj novi SELinux sići u RHEL 6 i Centos 6 i zeznuti stvar sa Fuseom kao i u Fedori.

Zbog ovih gore navedenih problema odlučili smo da probamo još i sledeće fajl sisteme: OpenAFS, Coda, Lustre. Svaka informacija i pomoć oko njih je dobro došla, a sve rezultate testiranja ćemo postaviti ovde :)

Ok probali smo i GlusterFS na RHEL 6tici. Naravno i na 6tici SELinux blokira Fuse, tako da GlusterFS otpada xD

Ako sve radi kako treba, ali nema polise, generisite ih sami pomocu audit2allow. Ako sam dobro shvatio u cemu je problem...

Samo da dodam, GFS2 katastrofa. Nema sta nisam probao i radio i mogu reci samo da je otuzan. Ne znam sto ne poslusah ljude nego izgubi mesece budzenja. Toliko.

probajte heartbeat. Ako vec imate samo dve masine. Izuzetno je lak za podesavanje, e sad kakve su performanse sa velikim bazama - ebem li ga.

Moram da ti skrenem paznju da ovo nije do samog GFS2 nego do loseg podesavanja istog. Ti ga verovatno nisi tjunovao, a GFS2 nije user frendly i ne radi out-of-the-box. Potrebno je odredjeno znanje da ga napakujes kako treba.

Pa gdje moze da se pogledaju ti tutorijali i uputstva za tjuniranje?

man gfs2_tools :)

Zavisi za sta ti treba i koji problem trebas da debagujes.

Npr ovaj post na koji sam odgovorio se resava na sledeci nacin.


konkretno u RHEL-u "by default" system je konfigurisan da koristi aliases u /etc/profile.d/colorls.sh i colorls.csh:

# alias | grep 'ls'
alias l.='ls -d .* --color=tty'
alias ll='ls -l --color=tty'
alias ls='ls --color=tty'

Ovo je (veliki) problem za GFS* (--color). da ne objasnjavam zasto.. u svakom slucaju ovo se resava tako sto se upise u /etc/profile:


alias ll='ls -l' 2>/dev/null
alias l.='ls -d .*' 2>/dev/null
unalias ls

I to je to. GFS* vise nije spor za ls komandu.

EDIT: e da knjige. Definitivno treba krenuti odavde:

http://docs.redhat.com/docs/en...lobal_File_System_2/index.html
ovo je malo bajato ali moze da posluzi http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_tuning

Must read stivo za debugging http://kernel.org/doc/ols/2009/ols2009-pages-311-318.pdf

za sve ostalo https://www.redhat.com/courses...tering_and_storage_management/ (mada se ovde obradjuje samo GFS1)


_{[Ovu poruku je menjao Stator dana 25.03.2011. u 15:41 GMT+1]}

Tjunovan je, radjeno je sve sto je redhat naveo u dokumentaciji u vise kombinacija, nije pomoglo, izmedju ostalog file stat je bio uzasno spor, koji je jako bitan za Maildir.

To menja stvari, GFS2 je daleko od idealnog resenja za mail server.

@Stator
Pa cini mi se da sam i pomenuo da je u pitanju bio mail server, u mom prvom postu koji si citirao :)