[ Branimir Maksimovic @ 24.08.2020. 16:57 ] @
Konacno i ovo ima. zstd bi trebalo da ima slicni ratio kao gzip ali sa vecim performansama.
Doduse tako sam uposljavao 8 jezgara bolje, ali sad ako moze da izgura 100mb/s kada gzip moze 20-30
tu se povecava brzina diskova...
[ nkrgovic @ 24.08.2020. 20:22 ] @
Moze neki info:

- Je'l to 100 mbit/s ili 100mbyte/s? Read ili write? Sa kojim block size? Je'l to maksimum, ili samo "dnevna doza" i koliko je maksimum?
- Koliko diskova, koliko vdev-ova, imas zil ili l2arc na ssd/nvme?
- Koliko je CPU opterecenje kad ga opteretis do kraja?
[ Branimir Maksimovic @ 24.08.2020. 20:55 ] @
1.100 megabajta.
2. write
3. maksimum zavisi od broja jezgara
4. i ssd i obicni diskovi ali ne raid, nego koristim pojedinacno
5. kad se optereti do kraja ako izaberem 19 nivo kompresije komp se smrzne vrteci na 16 threadova kompresiju
i prakticno nista drugo ne moze da se radi u toku kopiranja.
znaci taj neki default koristim koji daje nekih 33% na igre iz Steam-a.

edit:
velicina bloka na disku ili ashift? ashift je defaulni ne znam ni kolko je, a diskovi 512 bajtova logicki 4096 fizicki.
[ Living Light @ 24.08.2020. 22:58 ] @
Idi bre Branimire,
Kao da si reka o "ZOL"!
Odmah me poseti na Zol kontrolu u Gerrmany
kada su neke turke navatali,
i slikaki sa 3 strane,
jer polažu kablove na "Crno", i to nocu.

EBT, uplasio si me, mada nemam razloga za to.
Ali, znas kako, kada se kaže: Zoll Kontrole!
Svi radnici ostanu u mestu!
Kao da ce da nastupi "Streljanje"

Barem je tako izgledalol dok smo radili u DE,
i kada nas opkolili sa nemačkim ovčarima,
i svako treba lice uz zid.

A ono, tražili Turke, koji radili na "Crno",
EBT, ....Mi se uboGaljili od straha, šta će sada da nam rade?

Ma, idi bre, ehhhbemti rad u nemačkoj,
ZZmilion papira,
2 miliona osigurania,
radi, radi, radi i samo radi,
dok ne lipšeš, ili dok ne naidje" Zelena trava".



[ Branimir Maksimovic @ 14.11.2020. 14:38 ] @
Au ala je brzi TPS i kod postgre i kod mysql sa ovom kompresijom (default nivo).

postgre 3x
Code:

~ >>> pgbench -U postgres -c 16 -j 16 -T 30 test                                                                                                                                                                 
starting vacuum...end.
transaction type: <builtin: TPC-B (sort of)>
scaling factor: 600
query mode: simple
number of clients: 16
number of threads: 16
duration: 30 s
number of transactions actually processed: 99965
latency average = 4.803 ms
tps = 3331.267979 (including connections establishing)
tps = 3332.024638 (excluding connections establishing)


mysql 2x:
Code:

~ >>> sysbench /usr/share/sysbench/oltp_read_write.lua --threads=16 --events=0 --time=30 --mysql-host=127.0.0.1 --mysql-user=root --mysql-password=NewPassword --mysql-port=3306 --tables=1 --table-size=1000000 --mysql_db=test --non_index_updates=10 --index_updates=10 --delete_inserts=10 --range_selects=off --db-ps-mode=disable --report-interval=1 run 
sysbench 1.1.0-bd4b418 (using bundled LuaJIT 2.1.0-beta3)

Running the test with following options:
Number of threads: 16
Report intermediate results every 1 second(s)
Initializing random number generator from current time


Initializing worker threads...

Threads started!

[ 1s ] thds: 16 tps: 710.96 qps: 37460.94 (r/w/o: 7283.30/28735.76/1441.88) lat (ms,95%): 44.98 err/s: 3.99 reconn/s: 0.00
[ 2s ] thds: 16 tps: 847.20 qps: 44196.67 (r/w/o: 8520.06/33977.20/1699.41) lat (ms,95%): 36.89 err/s: 5.00 reconn/s: 0.00
[ 3s ] thds: 16 tps: 786.99 qps: 41121.65 (r/w/o: 7916.93/31628.73/1575.99) lat (ms,95%): 40.37 err/s: 2.00 reconn/s: 0.00
[ 4s ] thds: 16 tps: 666.99 qps: 34730.36 (r/w/o: 6692.88/26700.51/1336.98) lat (ms,95%): 53.85 err/s: 3.00 reconn/s: 0.00
[ 5s ] thds: 16 tps: 557.97 qps: 29154.47 (r/w/o: 5599.71/22436.83/1117.94) lat (ms,95%): 65.65 err/s: 2.00 reconn/s: 0.00
[ 6s ] thds: 16 tps: 618.04 qps: 32063.09 (r/w/o: 6211.40/24611.60/1240.08) lat (ms,95%): 66.84 err/s: 5.00 reconn/s: 0.00
[ 7s ] thds: 16 tps: 709.00 qps: 37210.83 (r/w/o: 7155.97/28630.87/1423.99) lat (ms,95%): 61.08 err/s: 5.00 reconn/s: 0.00
[ 8s ] thds: 16 tps: 282.99 qps: 14845.24 (r/w/o: 2850.85/11427.42/566.97) lat (ms,95%): 539.71 err/s: 1.00 reconn/s: 0.00
[ 9s ] thds: 16 tps: 921.06 qps: 47878.00 (r/w/o: 9236.58/36796.30/1845.12) lat (ms,95%): 38.25 err/s: 3.00 reconn/s: 0.00
[ 10s ] thds: 16 tps: 1059.00 qps: 55264.84 (r/w/o: 10632.97/42507.88/2123.99) lat (ms,95%): 27.17 err/s: 6.00 reconn/s: 0.00
[ 11s ] thds: 16 tps: 930.01 qps: 48355.53 (r/w/o: 9361.10/37130.41/1864.02) lat (ms,95%): 32.53 err/s: 4.00 reconn/s: 0.00
[ 12s ] thds: 16 tps: 741.99 qps: 38741.64 (r/w/o: 7437.93/29816.72/1486.99) lat (ms,95%): 62.19 err/s: 4.00 reconn/s: 0.00
[ 13s ] thds: 16 tps: 973.00 qps: 50800.01 (r/w/o: 9786.00/39063.01/1951.00) lat (ms,95%): 30.81 err/s: 5.00 reconn/s: 0.00
[ 14s ] thds: 16 tps: 985.00 qps: 51599.05 (r/w/o: 9921.01/39701.04/1977.00) lat (ms,95%): 33.12 err/s: 6.00 reconn/s: 0.00
[ 15s ] thds: 16 tps: 95.00 qps: 4812.76 (r/w/o: 963.95/3657.82/190.99) lat (ms,95%): 802.05 err/s: 1.00 reconn/s: 0.00
[ 16s ] thds: 16 tps: 1434.08 qps: 74708.02 (r/w/o: 14371.77/57464.10/2872.15) lat (ms,95%): 16.71 err/s: 4.00 reconn/s: 0.00
[ 17s ] thds: 16 tps: 1171.23 qps: 61040.96 (r/w/o: 11772.28/46921.23/2347.46) lat (ms,95%): 18.95 err/s: 5.00 reconn/s: 0.00
[ 18s ] thds: 16 tps: 1435.95 qps: 74832.62 (r/w/o: 14399.55/57556.17/2876.91) lat (ms,95%): 16.12 err/s: 5.00 reconn/s: 0.00
[ 19s ] thds: 16 tps: 1360.99 qps: 70721.56 (r/w/o: 13589.92/54408.66/2722.98) lat (ms,95%): 16.71 err/s: 3.00 reconn/s: 0.00
[ 20s ] thds: 16 tps: 334.87 qps: 17314.04 (r/w/o: 3418.63/13222.68/672.73) lat (ms,95%): 71.83 err/s: 1.00 reconn/s: 0.00
[ 21s ] thds: 16 tps: 822.32 qps: 43349.97 (r/w/o: 8283.24/33416.08/1650.65) lat (ms,95%): 71.83 err/s: 6.00 reconn/s: 0.00
[ 22s ] thds: 16 tps: 1096.00 qps: 57087.98 (r/w/o: 10980.00/43913.98/2194.00) lat (ms,95%): 26.20 err/s: 2.00 reconn/s: 0.00
[ 23s ] thds: 16 tps: 1450.03 qps: 75261.55 (r/w/o: 14524.30/57834.19/2903.06) lat (ms,95%): 16.12 err/s: 3.00 reconn/s: 0.00
[ 24s ] thds: 16 tps: 1346.98 qps: 70190.77 (r/w/o: 13492.76/54001.06/2696.95) lat (ms,95%): 16.71 err/s: 3.00 reconn/s: 0.00
[ 25s ] thds: 16 tps: 897.00 qps: 46697.88 (r/w/o: 9032.98/35865.90/1799.00) lat (ms,95%): 18.61 err/s: 5.00 reconn/s: 0.00
[ 26s ] thds: 16 tps: 482.00 qps: 25392.03 (r/w/o: 4840.00/19586.02/966.00) lat (ms,95%): 69.29 err/s: 2.00 reconn/s: 0.00
[ 27s ] thds: 16 tps: 1144.81 qps: 59551.11 (r/w/o: 11479.09/45778.40/2293.62) lat (ms,95%): 21.89 err/s: 4.00 reconn/s: 0.00
[ 28s ] thds: 16 tps: 1339.74 qps: 69640.64 (r/w/o: 13454.42/53499.74/2686.48) lat (ms,95%): 17.32 err/s: 8.00 reconn/s: 0.00
[ 29s ] thds: 16 tps: 1380.49 qps: 71944.65 (r/w/o: 13833.93/55344.73/2765.99) lat (ms,95%): 15.55 err/s: 5.00 reconn/s: 0.00
[ 30s ] thds: 16 tps: 1333.99 qps: 69585.54 (r/w/o: 13405.91/53506.65/2672.98) lat (ms,95%): 17.01 err/s: 4.00 reconn/s: 0.00
SQL statistics:
    queries performed:
        read:                            280480
        write:                           1119562
        other:                           55980
        total:                           1456022
    transactions:                        27932  (930.69 per sec.)
    queries:                             1456022 (48514.59 per sec.)
    ignored errors:                      116    (3.87 per sec.)
    reconnects:                          0      (0.00 per sec.)

Throughput:
    events/s (eps):                      930.6930
    time elapsed:                        30.0120s
    total number of events:              27932

Latency (ms):
         min:                                    4.49
         avg:                                   17.19
         max:                                  972.12
         95th percentile:                       33.72
         sum:                               480047.35

Threads fairness:
    events (avg/stddev):           1745.7500/20.09
    execution time (avg/stddev):   30.0030/0.00


Samo ne znam kolko je fairness ovde jer ovo je postgresov bench a ovo drugo external tool.
Inace SSD je za baze majka mara. Mislim ono na HDD-u je do 100TPS, a ovde 1000+
[ nkrgovic @ 14.11.2020. 15:08 ] @
Raid 10 od 4 NVMe-ova, uzmes masinu sa 4x1.9TB NVMe, 128GB RAM, Skylake-W na Hetzneru za manje od 250 EUR mesecno. Baza SVIRA. Sa MySQL enteprise, imam:

Code:
Uptime: 19447468 ... Queries per second avg: 1958.465


Uptime dajem da vidis da nije "burst" - to ide osetno vise. :D
[ Branimir Maksimovic @ 14.11.2020. 19:13 ] @
Pa i nije impresivna cifra sa obzirom da ja imam pola od toga sa obicnim SSD-om ;)
Inace sta bih ja sa tom masinom? ;)
[ nkrgovic @ 14.11.2020. 19:45 ] @
To je average, masina je 80-90% vremena na oko 10% iops-a... ;) pricamo o average velicin za zadnjih 7-8 meseci, na produkcijskoj spravi ;)

Sustina je, ako imas projekat, ima bam-badava masina da se uzmu - ako ti treba. Cene pale, samo tako. Realno, ako imas da cepas i ovoliko, tj. ako imas 2000 query/s, tj. recimo da imas 5% toga kao finansijske transakcije - ti sa 100 transakcija u sekundi ovo platis za ... manje od 5 minuta, ako su ti transakcije od 1 USD. :). Ostatak meseca potrosis na nesto drugo.