GlassFish se zabode na 800CPU i ne oporavlja se iz toga

[ zimbra @ 28.02.2013. 12:41 ] @

Pozdrav drugari, imam problem koji već neko vreme ne mogu da rešim i dovodi me do ludila.

Setup je sledeci
- procesor sa 4 jezgra + HT (dakle linux kaze 8 cpu-a)
- centos
- glassfish 3 (relativno skoro rađen update tako da je valjda najnoviji)
- na glassfish-u se vrti jedna jedina aplikacija, http-listener1 koji sluša na portu 8080 (admin listener je i dalje tu, https je ugašen)
- ima pool koji se kači na bazu

Sve radi extra danima i onda se zabode:
- load ode na 400
- cpu usage java procesa ode na 800
- gf prestane da servira strane, ili ih servira extremno sporo
- okačim se na admin listener (port 4848) i tamo sve radi ok
- okačim se profajlerom, sve deluje ok ali ne mogu da nađem šta je zabolo

Ja više nemam ideju gde da gledam i kako da pronađem problem. Deluje da kada odjednom puno korisnika dođe na sajt bude taj "zabod" ali je problem što se posle toga, i bez ijednog posetioca, gf nikad ne "povrati".

Ima li neko ikakvu ideju sa koje strane da ga napadnem?

[ ivan.mojsilovic @ 28.02.2013. 12:50 ] @

To se nama nekad desi sa Jboss i takodje nemamo pojma zasto. Doduse desi se jednom u 6 meseci ali i dalje cakcamo da provalimo sta je.

[ zimbra @ 28.02.2013. 13:15 ] @

Mene to muči već godinu dana. Sa Glassfish V2 to nije bio problem. Pričao sam sa dosta ljudi koji se kao razumeju, brdo njih ima isti problem ili je imalo pa je nestao, ali niko nema ideju kako da reši problem.

Ja sam povezao problem sa loadom na sajtu. Kako se poveća load tako se to desi. Ja bih razumeo da mi velika poseta poveća load na GF ali bih očekivao da ako nema poseta 2h da load siđe na nula a ne da ostane ukucan.

Što mi je najgore, uđem profajlerom na taj GF koji je zaboden, i ne vidim šta se dešava, GF je kao "ok" ali ja ne vidim koji proces uzima sav taj cpu, kao da ga nema.

[ ivan.mojsilovic @ 28.02.2013. 13:23 ] @

Nama se desi nevezano za broj usera. Zadnji put se desilo tokom noci kad sam ja bio jedan jedini na serveru.

[ zimbra @ 28.02.2013. 14:25 ] @

Vrlo je moguće da nema nikakve veze sa loadom ali desava mi se na nekoliko različitih servera sa 2 različite aplikacije. Jedino što je zajedničko je GF3. Nemoguće da niko nema ideju kako pronaći šta je problem?

[ bantu @ 28.02.2013. 14:37 ] @

A šta je sa memorijom?

[ ivan.mojsilovic @ 28.02.2013. 14:51 ] @

Nista specijalno u mom slucaju. Ona je na istom nivou kao kad je sve u redu.

[ zimbra @ 28.02.2013. 15:51 ] @

Ista priča, memorija je ok.
Mislili smo prvo da je GC ali namešten je da radi non stop

Code:

        <jvm-options>-XX:CMSIncrementalDutyCycle=10</jvm-options>
        <jvm-options>-XX:CMSIncrementalDutyCycleMin=10</jvm-options>
        <jvm-options>-XX:+CMSIncrementalMode</jvm-options>
        <jvm-options>-XX:+CMSIncrementalPacing</jvm-options>
        <jvm-options>-XX:+UseConcMarkSweepGC</jvm-options>

no ono što je poražavajuće je da ga ostavim 7 dana i za 7 dana se ne povrati (prazna mašina bez ijednog hita, taj gf se vrti na tom max load-u) tako da ako je GC valjda bi za 7 dana završio šta ima

[ bantu @ 01.03.2013. 08:10 ] @

To definitivno smrdi na neki bug. Koju javu koristite, ima li neka veza sa time?

[ ivan.mojsilovic @ 01.03.2013. 08:33 ] @

Java 1.6.x

[ zimbra @ 01.03.2013. 10:32 ] @

1.6.0_31
1.6.0_29
Mada ima i drugih verzija, svuda identicna priča (svuda je 1.6)

[ zimbra @ 01.03.2013. 13:05 ] @

Ja ne znam više kuda osim da prestanem da koristim javu. Pustim test, 2000 tredova istovremeno gađa server, sve radi normalno, ne mogu da ga srušim, pustim ga online nekad posle par sati, nekad posle par dana, nekad posle par nedelja - on zabode. U logovima ništa korisno, admin konzola radi, ali http ne odgovara i load je na max koliko mašina može. Šta je pri tome zanimljivo, linux koji ima 600 load i 800% cpu usage radi "normalno", normalno se ssh na njega, mašina je potpuno "responsive", što se ne bi očekivalo od mašine koja ima takak load. Ja više nemam ideja.

[ bantu @ 04.03.2013. 07:14 ] @

Jesi li pokusavao da mu pridjes preko JMX-a da vidisi, mozda se moze nesto zakljuciti?