[ bjevta @ 30.01.2014. 12:13 ] @
nocas je prsla produkcija, blokirala aplikacija (tomcat+java+mysql). najverovatnije baza nije bila preopterecena nego je zez nesto drugo ali:

1. da li ikako mogu iz binloga ili bilo cega drugog da vidim sta se desavalo s bazom? trebalo bi da vidim, na primer, broj aktivnih konekcija ili neki drugi (koji?) pokazatelj stanja baze.

2. da li i sta treba da ukljucim da bih mogao da vidim dijagnostiku u zadnja, recimo 24h? da li ima svrhe da ukljucujem performance schema-u?
[ bogdan.kecman @ 30.01.2014. 13:18 ] @
1. iz binloga nikako

2. namestis monitoring, ako nisi imao monitoring iz logova eventualno
nesto iz http loga mozes da izvuces mada i to tesko
- za sistem upalis SAR i imas load informacije zadnjih n dana
- za mysql upalis neki monitoring, najbolje MEM ako imas subscription za
support (2k$ godisnje, jbg ja kazem da se isplati mnogostruko) a ako
nemas mem imas brdo skripti za monitoring mysql-a preko ZABBIX-a (nagios
i ostalu patetiku preskoci)

2a performance schema ti nece pomoci za post mortem, performance schema
sluzi za development i za runtime debugging produkcije, za post mortem jok
[ tarla @ 30.01.2014. 20:10 ] @
I nemoj samo gledati MySQL...

Pogledaj messages i ostale logove... Riknjava disk, ddos na server itd itd... puna particija, prepunjen broj inod-ova...

[ bjevta @ 31.01.2014. 08:14 ] @
ma, teska posla da je baza, vise sam 'teo da pitam da li-sta-kako.... neki sistem za notifikaciju je upao u stalling, nema tu sporih upita koji bi napravili njesra. gledamo i druge logove, dobicemo dump sa produkcije pa da reprodukujemo, itd... thx!
[ bogdan.kecman @ 31.01.2014. 10:23 ] @
namontiras lepo zabbix da ti monitoruje sve, i mysql i apache i ... i
onda mozes da izvrtis sta je bilo nekad ... imas na linux forumu dosta
ljudi iskusnih sa zabbixom za detalje kako sta da namontiras, mada nije
tesko
[ bjevta @ 31.01.2014. 11:05 ] @
dobio sam dump baze na oko 15 min pre no sto je pocelo njesra, ucitava se trenutno. imacu i binlog. treba da teram po binlogu i gledam sta se desilo.

gledao sam pre neki mysql-ov alat za cackanje po binlogu. je l ima neka dobra praksa, preporuke za ovakve operacije?
[ bjevta @ 31.01.2014. 11:29 ] @
i sad ne mogu da importujem db dump jer kaze da ne moze da kreira FK na 496-liniji. backup je pravljen za ceo VM, radi se na svakih sat vremena. je l moguce da je mysql "uhvacen sa skinutim gacama" tj da je backup napravljen na pola transakcije ili sta vec?
[ bogdan.kecman @ 31.01.2014. 11:52 ] @
kako je pravljen bekap?
[ bjevta @ 31.01.2014. 12:01 ] @
prekjuce u 14:00, prethodni u 13:00, sledeci u 15:00. automatski na 1h. dump je iz 14h backup-a, nekih 15 min pre no sto je pocelo njesra

PS: izvinjavam se, lepo pise "kako" a ja u zurbi procitao "kada". dakle, binarno kopiranje celog VM-a, imaju neki cron task

[Ovu poruku je menjao bjevta dana 31.01.2014. u 13:20 GMT+1]
[ bjevta @ 31.01.2014. 13:06 ] @
uspeo sam da importujem dump. posizim kad na pocetku dump-a ima USE <database> jer onda import ode tamo gde je autor nameracio a ne tamo gde meni odgovara....

ok, vracamo se na problematiku, sad treba da vidim sta se desavalo od 14:10-14:20. ima neki tip?
[ bjevta @ 31.01.2014. 15:02 ] @
imam log. snasao sam se. idemo dalje...
[ bogdan.kecman @ 31.01.2014. 19:28 ] @
Citat:
bjevta:
binarno kopiranje celog VM-a, imaju neki cron task


hm, na taj nacin, da, vrlo lako moze da se uhvati mysql u nekom polustanju, tj ti tu uvek imas stanje kresiranog mysql-a.
jbg sad zvuci kao da reklamiram firmu za koju radim ali ovo je razlog zasto je oracle enterprise subsription bitan i koristan i ...

1. bekap, jbg jeste truba sto nije open source, ali mysql enterprise backup je do jaja alatka, pravi konzistentan bekap, inkrementalni bekap etc etc ... i dobijes ga dzaba uz support subscription
2. merlin, mysql enterprise manager je isto truba sto nije open source ali je bolji monitoring nego sto sam ja licno video za bilo koji db sistem na planeti, to tako bezobrazno dobro radi i toliko je korisno da ja ne mogu da objasnim, a kada ti se desi tako neki zabod i treba da istrazis zasto i kako a nemas pojma ko je sve sta dzarao po sistemu, tek tada vidis koliko je to neophodan sistem za imati (posebno u kombinaciji za query analyzerom)
3. support, super su forumi, ima ovde super ljudi koji hoce da pomognu i slicno, ali znas sta je kada imas mega iskusne ljude na poziv/mail

i sve to dobijes za celu godinu dana jeftinije nego sto bi platio dobrog dba

ok kapiram ja stednju, zabbix odradjuje posao "dovoljno dobro", ima raznih opcija da se bekap uradi "dovoljno dobro", support moze da se uzme i od konkurencije .. perkona je za one-off pricu najbolja na planeti, za on site konsalting takodje perkona uz fromdual i severalnines za klaster ... sky ima odlican support, konsalting im je los (isto kao i oraklov za obican mysql ako niste ogroman klijent) no problem je sto uz njihov support ne postoji added value koji dolazi od orakla ..

svakako, ja ti ozbiljno savetujem da razmislis da predlozis to firmi, suvise su to male pare .. kreni samo od toga da imaju "nedobar" bekap .
[ bogdan.kecman @ 31.01.2014. 19:29 ] @
mysqlbinlog pa ekstrahujes sve promene u tom vremenskom periodu .. problem je sto ne vidis select-e a oni mogu da prave mnogo veci problem
[ after @ 02.02.2014. 17:04 ] @
@Bjevta, jesi li saznao nesto vise. Pretpostvaljam da nije OS ubijao mysql jer bio se to videlo u OS logovima (OOM kill mysql ili tako nesto ako je zbog ram) kao i u error logu mysql-a.

Mali off vezano za Zabbix. Bas na osnovu preporuka sa ovog foruma i Bogdanovom iskustvu sa istim, implementirao sam Zabbix i to stvarno lepo radi. Cak za monitoring baza (MySQL, MSSQL, Oracle, PostgreSQL) ne koristim gotove template kojih stvarno ima dosta, vec napisem sql/shell skriptu za odredjenu specificnu stvar stvar koju hocu da monitoriram, "ubacim" u zabbix i tako postane standarni deo zabbix sistema. Mogucnosti su stvarno neogranicene za monitoring svega i svacega uz pomoc powershell, sql, shella. Zavisno od ciljanog sistema - Win/Linux ili tipa baze.
[ bjevta @ 03.02.2014. 08:16 ] @
jedino sto sam do sada saznao jeste da se do 14:15 (sracunato vreme pocetka fail-a) nije desilo nista znacajno. svi insert/update/delete su odradjeni za 0-1 ms. mogu jos da ukljucim sloq query log, to je sve.

kad sam davao preporuke, ja rekao 8GB za VM sa MySQL-om, min 6G, oni stavili innodb_buffer_size=1G. samo indexi su approx 4G. podsistem koji je je blokirao ima najvece indexe a cuva mrtve podatke, itd. skup RAM, valjda...

zabbix sam predlagao ali rekose mi nesto u stilu "vec smo kupili/instalirali/podesili,itd" nagios...

za sada, problem se javio samo jednom (pre neki dan) i ne vise.

javicu ako saznam nesto novo.
[ bogdan.kecman @ 03.02.2014. 10:15 ] @
> vec smo kupili/instalirali/podesili,itd" nagios

pa kad su namestili neka iz njega izvade datu sta se desilo i zasto

> za VM

to ti je dodatni problem, nadam se da imate neke podatke sta se sa vm-om
desavalo, iz mog iskustva (koje je poprilicno) 95% slucajeva kada se
mysql zakuca a sedi u vm-u krivac je vm. da ne spominjem da jos treba da
vidim sistem gde stavljanje mysql-a u vm ima smisla
[ bjevta @ 03.02.2014. 15:50 ] @
do daljnjeg ostaje misterija ;)
[ farmaceut @ 06.02.2014. 10:19 ] @
Imamo slicnu situaciju "tomcat + java +mysql", i slicna iskustva:

1.) za***i virtualnu masinu za produkciju na MySQL, to ti je najveci izvor zla...dobio si bazu za dz., ispruzi se za neki server, vidim da se radi o masini sa 8GB rama... takav server danas dobijes za sicu...
2.) obavezno odvoji tomcat na drugu masinu, ako vec nisi (tomcat moze i na virtuelnu). Lakse skuzis probleme kada do njih dodje. Stavi neki monitoring za tomcat.
3.) backup sa mysqldump po meni nije upotrebljiv za nista osim baze website-a lokalnog kluba ljubitelja kornjaca.... Ako bas hoces mysqldump, napravi replikaciju na slave server pa na njemu ides skriptom "stop slave" pa "mysqldump" pa opet "start slave" - da ti se dump uradi nad "konzistentnim" podacima.
4.) da ne bude reklama, ali imamo dobro iskustvo za beckup - Perconin "Xtrabackup". Bez problema sprizmo 40Gb bazu "u po radnog vremena", sa 500korinika i 200querija po sekundi... lag bude 1-2s, na kraju skripte, prilikom zavrsnog skeniranja loga. Korisnici ne osjete.
[ bogdan.kecman @ 06.02.2014. 11:46 ] @
nije reklama, xtrabackup radi "mega do jaja dobro"