Da li kompresija na hard disku ubrzava rad i poboljšava performanse ?

[ Aleksandar - @ 08.02.2019. 15:34 ] @

Ako uradimo kompresiju hard diska, da li će to ubrzati pokretanje aplikacija, otvaranje dokumenata, performansi uopšte ili samo rasterećuje prostor .

A kako utiče na pokretanje i rad naprimer autocada, Solid Works, Inventor, ..., ako uradimo kompresiju samo onog foldera za njega u c://.../Program Files/Autocad*

Da li će bar malo uticati na ubrzanje konkretnih programa i datoteka, a kako ako komprimujeno ceo hard disk ?

Hvala.

[ bachi @ 08.02.2019. 15:43 ] @

Koja je ovo godina?

[ dusans @ 08.02.2019. 15:46 ] @

Generalno neće... Ali SSD + brži CPU sigurno hoće

[ Aleksandar - @ 08.02.2019. 15:55 ] @

Pa naravno to je davno poznato, da je trajno rešenje Hardver, ali dotle kako je stanje sa kompresijom ?

[ Branimir Maksimovic @ 08.02.2019. 16:18 ] @

Ja koristim zfs in on podrzava vise razlicitih kompresija. Ne znam dal je brze, al sporije nije. Al to je zfs...

[ ademare @ 08.02.2019. 16:35 ] @

A jesi li ubrzao Win 7 sa carobnim Besplatnim programima ?

Kao sto si njega ubrzao , tako ces i sa kompresovanjem Hard diska , sa Carobnim besplatnim programom, da dobijes za Dz, duplo veci ! Plus ces isto kao ubrzanje Win 7 da ostvaris i ubrzanje Harda i da mu poboljsas perfomanse

Sta je sledece ?

Carobni besplatni program koji od Celerona , pravi i9 ?

Ili od svakog metala - Zlato

Dzabe izmisljas Trol teme !

[ Branimir Maksimovic @ 08.02.2019. 16:42 ] @

Kompresija svakako da moze da ubrza, ali kazem ne znam kako se ponasa FS koji nije sa time pravljen, kazem ZFS je u dizajnu takav da radi kompresiju po defaultu.

[ bojan_bozovic @ 08.02.2019. 17:28 ] @

Moze i na NTFS da se koristi kompresija file systema, i da, ubrzava, cak i gzip/deflate, a da se ne govori o nekom algoritmu specificno stvorenom za takve stvari poput lz4 ili lzo.

Ja medjutim malo imam potrebe za time, vecina fajlova koji su mi na disku su vec kompresovani (jpeg slike, filmovi itd).

[ Aleksandar - @ 08.02.2019. 17:36 ] @

Znači hoćete da kažete da je poželjno da se uradi, pa koliko pomogne pomogne, a kažete da neće sigurno sporije da radi od toga. Ili kako ?

[ bojan_bozovic @ 08.02.2019. 17:40 ] @

Vidi Aleksandre po default-u je u Windowsu 10 to iskljuceno jer su fajlovi uglavnom vec kompresovani - u takvim slucajevima ne dobija se bas nista. Ako imas mnogo tekst fajlova na disku, recimo nekakav sors, onda bi se isplatilo, mada su diskovi danas vrlo velikog kapaciteta, moj je 2 Tb a idu sve do 16 Tb, to je tesko ispuniti.

[ Aleksandar - @ 08.02.2019. 17:43 ] @

Ja na primer imam Windows 7, i nemam baš toliko hard diska .

Na C particiji imam 137 GB .

Windows 10 serviseri računara kod mene bar i ne preporučuju nešto da nikako je ne instalirati, izbegavati .

[ Branimir Maksimovic @ 08.02.2019. 18:19 ] @

a gle:

Citat:

~ >>> zfs get compressratio
NAME PROPERTY VALUE SOURCE
bmaxa_data compressratio 1.49x -
bmaxa_data/Steam compressratio 1.35x -
bmaxa_data/Steam@001 compressratio 1.35x -
bmaxa_data/boinc compressratio 2.17x -
bmaxa_data/cache compressratio 1.85x -
bmaxa_data/clang compressratio 3.39x -
bmaxa_data/config compressratio 1.93x -
bmaxa_data/gcc-trunk compressratio 2.89x -
bmaxa_data/ghc compressratio 5.33x -
bmaxa_data/go compressratio 2.30x -
bmaxa_data/go@001 compressratio 2.30x -
bmaxa_data/local compressratio 2.77x -
bmaxa_data/misc compressratio 1.00x -
bmaxa_data/misc@001 compressratio 1.00x -
bmaxa_data/mysql compressratio 2.68x -
bmaxa_data/postgres compressratio 14.44x -
bmaxa_data/projects compressratio 2.95x -
bmaxa_data/projects@001 compressratio 2.90x -
bmaxa_data/public compressratio 1.12x -
bmaxa_data/rust compressratio 3.29x -
bmaxa_data/thunderbird compressratio 2.18x -
bmaxa_data/viber compressratio 1.85x -

Samo na igrama sam ustedeo jedno 300GB!!!

[ Aleksandar - @ 08.02.2019. 19:10 ] @

a dobro a da li je i malo bar brže ?

[ ademare @ 08.02.2019. 19:23 ] @

Za brzu kompresiju , potreban je brz kompjuter .

Pokretac teme ima neki Laptop mobilni Pentium star 8 godina , koji ima brzinu kao desktop Pentium E2XXX 775 !

Brankov kompjuter je 10 Puta Brzi , kod kompresije mozda i vise !

E sad dal se to moze porediti kod kompresije u realnom vremenu ?

Branko mozda nesto i dobije , posebno kod programa koje ne upotrebljava cesto .

Pokretac teme sa starim laptopom , moze da dobije samo usporenje .

[ Branimir Maksimovic @ 08.02.2019. 19:23 ] @

Moze da bude brze na hdd-u ukoliko se manje pomera glava, inace isto, sa time da u zavisnosti od algoritma procesor bude opterecen, sto sad i nije neki problem.

edit:
da ademare, ako je slab proc, moze da trza, tj da se oseti 'seckanje'.

[ anon70939 @ 08.02.2019. 23:19 ] @

Meni je nekako logičnije da kompresija može samo da uspori, jer pre korišćenja treba da se dekompresuje.

[ Branimir Maksimovic @ 08.02.2019. 23:37 ] @

Mnogo brza je kompresija od diska. Znaci samo to sto manje imas da citas sa diska ubrzava. Zavisi naravno i od algoritma koji se koristi, ali generalno ne mogu da zamislim
varijantu u kojoj bi disk bio brzi.

[ Zlatni_bg @ 09.02.2019. 02:44 ] @

Hm, ovo je pitanje koje je i mene zanimalo duzi period, mada eto, nisam imao neki problem sa prostorom, ali SSD prostora danas ipak niko od nas nema na pretek.

Windows ima njegovu standardnu kompresiju koja moze da se ukljuci za svaki FAT32/NFTS/itd disk zasebno. Neka ideja kako da testiramo ovo, da ne ostane na recima? Zivo me zanima koliki cpu usage moze da ima ta kompresija u realnom radu. Tacnije, da li bi uticala na performanse toliko da se oseti to "stucanje", sa nekim prosecnim danasnjim racunarom?

Znaci ja temu okrecem ka smeru SSD, a ne HDD, jer znamo da se na HDD uvek najvise ceka, a SSD nema taj problem.

Sta bi mogli da pokrenemo a da je kompresabilno, da natera CPU malo da radi, a da traje 5-10 minuta izvrsavanje toga? Pa da uporedimo sa razlicitim HW kakva su iskustva u slucaju kada je kompresija ukljucena, a kada je iskljucena.

[ Branimir Maksimovic @ 09.02.2019. 07:40 ] @

Pa evo:

Citat:

Compression

Internally, ZFS allocates data using multiples of the device's sector size, typically either 512 bytes or 4KB (see above). When compression is enabled, a smaller number of sectors can be allocated for each block. The uncompressed block size is set by the recordsize (defaults to 128KB) or volblocksize (defaults to 8KB) property (for filesystems vs volumes).

The following compression algorithms are available:

LZ4
New algorithm added after feature flags were created. It is significantly superior to LZJB in all metrics tested. It is new default compression algorithm (compression=on) in OpenZFS[1], but not all platforms have adopted the commit changing it yet.
LZJB
Original default compression algorithm (compression=on) for ZFS. It was created to satisfy the desire for a compression algorithm suitable for use in filesystems. Specifically, that it provides fair compression, has a high compression speed, has a high decompression speed and detects incompressible data detection quickly.
GZIP (1 through 9)
Classic Lempel-Ziv implementation. It provides high compression, but it often makes IO CPU-bound.
ZLE (Zero Length Encoding)
A very simple algorithm that only compresses zeroes.

If you want to use compression and are uncertain which to use, use LZ4. It averages a 2.1:1 compression ratio while gzip-1 averages 2.7:1, but gzip is much slower. Both figures are obtained from testing by the LZ4 project on the Silesia corpus. The greater compression ratio of gzip is usually only worthwhile for rarely accessed data.

Citat:

LZ4 compression

Set compression=lz4 on your pools' root datasets so that all datasets inherit it unless you have a reason not to enable it. Userland tests of LZ4 compression of incompressible data in a single thread has shown that it can process 10GB/sec, so it is unlikely to be a bottleneck even on incompressible data. The reduction in IO from LZ4 will typically be a performance win.

http://open-zfs.org/wiki/Performance_tuning

Znaci zafisi od algoritma. Ako se koristi recimo gzip algoritam CPU ce se prziti samo tako kad se nesto kopira vece ;p
Ja kod sebe sam stavio gzip.
E sad ne znam koji algoritam se koristi na Windows-u.

[ Branimir Maksimovic @ 09.02.2019. 07:52 ] @

Aha, evo ga za Windows:

Citat:

The NTFS file system volumes support file compression on an individual file basis. The file compression algorithm used by the NTFS file system is Lempel-Ziv compression.

Znaci mrka kapa sto se tice slabijih i srednjih procesora na SSD-u...

[ nkrgovic @ 09.02.2019. 08:26 ] @

Citat:

CoyoteKG:
Meni je nekako logičnije da kompresija može samo da uspori, jer pre korišćenja treba da se dekompresuje.

OK, ovo bi trebalo da znas kao admin ;)

Kompresija standardno ubrzava mehanicke diskove, pre svega tako sto smanjuje broj IOPS-a potrebnih za dovlacanje X kolicine data-e. Jednostavno, da bi sa diska A podigao X, gde X ima nekih n blokova, sa kompresijom imas n/c blokova (gde je c faktor kompresije). Kad disk ima mali broj IOPS-a ovo moze biti znacajno.

Da bi kompresija radila, CPU mora da je podrzi. U pitanju je trade-off koji donosi ubrzanje diska trosenjem vece kolicine CPU-a. Na dedicated storage uredjaju, tipa FreeNAS ili neki NetAPP filer to je cesto znacajno, posebno, kazem, sa mehanickim diskovima koji imaju od 50-tak do max. 200 IOPS-a (poredim NL-SAS i 15krpm SAS, kucni SATA je jos sporiji, posebno sto je SATA half-duplex protokol). Algoritmi za kompresiju su zgodni za akceleraciju, to moze Bane bolje od mene da objasni, ali generalno zelite procesor sa novim instrukcijama, kao i dovoljno memorije da radi kao buffer.

Na kucnom racunaru stvari su dosta komplikovanije, jer je CPU zauzet i drugim stvarima, plus je, obicno, memorija puna. Samim tim, tradeoff je teze predvideti. Na novim multi-core procesorima to ima mnogo vise smisla, na starim racunarima kao sto je OP spomenuo, bi trebalo da ima manje smisla - samim tim, moze i da uspori. Sve zavisi od tipa fajlova, kao i zauzeca procesora.

[ Branimir Maksimovic @ 09.02.2019. 08:28 ] @

Pa ovo to je jedan od glavnih razloga da imas sto vise jezgara. Recimo kod mene kad pocnem nesto da pisem po SSD-u svih 8 jezgara na 100% ;)

[ nkrgovic @ 09.02.2019. 08:34 ] @

O da... :) Probao da pravim GlusterFS na 3 servera, sa 10GBit mrezom pre jedno godinu dana. Svaki server je imao RAID od SSD-ova.

Da bi dogurao SSD-ove do 100% IOPS used morao sam da napravim po 3 bricka na svakoj SSD particiji... ;) Znaci 3 direktorijuma na istom mount point-u, da bi paralelizovao rad. Pri tom, dual Xeon HPe masina sa 128GB RAM-a je bila. I onda smo, koliko smo mi videli, i mrezu bili nalozili.... LACP 2x10Gb, bilo je bogami... lepo optereceno. :D CPU-ovi su bili, koliko se secam, 2x8-core (neki sto jevtiniji, uzeli smo Xeon E5 v5 samo zbog RAM-a), i islo je do tako.... 700-800%.

[ Binary Mind @ 13.02.2019. 21:16 ] @

Koliko sam ja razmeo pokretača teme, njemu nije glavni cilj poboljšanje performansi računara, već manjak prostora na HDD-u i kako ga povećati.

@Aleksandar -

Zahebi kompresiju... Nisu skupi hard diskovi, a ni SDD-ovi.

[ ademare @ 13.02.2019. 23:06 ] @

Citat:

Aleksandar -:
Ako uradimo kompresiju hard diska, da li će to ubrzati pokretanje aplikacija, otvaranje dokumenata, performansi uopšte ili samo rasterećuje prostor .

Meni izgleda , da mu je vazno i jedno i drugo . S tim sto ubrzanje perfomansi nece dobiti , jer je u pitanju Stari laptop Pentium mobilni gen 1 .

U onoj drugoj temi sam mu napisao da zameni procesor i3 kod Kineza je ispod 3 $ , ali to njega ne zanima . Samo soft resenja.

[ Branimir Maksimovic @ 14.02.2019. 02:12 ] @

Citat:

Binary Mind:
Koliko sam ja razmeo pokretača teme, njemu nije glavni cilj poboljšanje performansi računara, već manjak prostora na HDD-u i kako ga povećati.

@Aleksandar -

Zahebi kompresiju... Nisu skupi hard diskovi, a ni SDD-ovi.

Pa ja imam SDD od terabajt pa mi opet dobro dodje 500GB sto dobijem kompresijom ;p
Isto vazi i za HDD od 2TB...

[ Zlatni_bg @ 14.02.2019. 03:51 ] @

Mislim da je najbolje dalji tok da ide kompresija vs performanse. To je ono sto svakoga verovatno interesuje.

Kako najbolje da testiram 8-core FX@5GHz?

[ Miroslav Cvejić @ 14.02.2019. 04:58 ] @

Držite se teme, ako nije problem.

[ Branimir Maksimovic @ 14.02.2019. 08:00 ] @

Citat:

Zlatni_bg:
Mislim da je najbolje dalji tok da ide kompresija vs performanse. To je ono sto svakoga verovatno interesuje.

Kako najbolje da testiram 8-core FX@5GHz?

Da koristis zfs, bilo bi ti super. Za Windows nisam bas siguran, posto je to tamo uradjeno tako da ne mozes os instalaciju da
kompresujes... rezultat je ocigledan posto se za zfs preporucuje kompresija a za ntfs ne.
U svakom slucaju ces naci gomilu papira na temu zfs kompresije i kako ona doprinosi i u performansama i u zauzecu, dok za
windows neces...

[ bachi @ 14.02.2019. 08:29 ] @

Može na Windowsu da se kompresuje sistemski disk.

[ Branimir Maksimovic @ 14.02.2019. 08:39 ] @

Malopre sam procitao da ima problema. Mislim da je fazon da ne moze da se apgrejduje ako je kompresovan ili tako nekako.