CPU iowait 100% problem

[ jogurt @ 15.09.2006. 11:24 ] @

Zdravo svima!

Imam od pre par dana gadan problem sa performansama na serveru na kome se vrti Redhat Linux 3 (kernel 2.4.21-4.ELsmp). Sve je bas sporo i svi servisi se izvrsavaju otezano...

Izlaz top komande kaze da je procesor najvise vremena gubi na cekanju na upis na hard disk, tj. iowait je vecim delom vremena blizu 100%

Code:

12:03:21  up 18 min,  2 users,  load average: 10.90, 10.61, 6.94
106 processes: 105 sleeping, 1 running, 0 zombie, 0 stopped
CPU states:  cpu    user    nice  system    irq  softirq  iowait    idle
           total    0.4%    0.0%    0.2%   0.0%     0.0%   99.2%    0.0%
           cpu00    0.1%    0.0%    0.0%   0.0%     0.0%   99.8%    0.0%
           cpu01    0.7%    0.0%    0.5%   0.0%     0.0%   98.6%    0.0%
Mem:  1028472k av,  264152k used,  764320k free,       0k shrd,   13744k buff
       188940k active,              13848k inactive
Swap: 2096472k av,       0k used, 2096472k free                   78164k cached

  PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM   TIME CPU COMMAND
3578 spamd     15   0 20932  20M  2288 S     0.1  2.0   0:00   1 spamd child
3631 nobody    15   0 26380  25M  1716 S     0.1  2.5   0:03   0 (squid)
    1 root      15   0   504  504   448 S     0.0  0.0   0:04   0 init
    2 root      RT   0     0    0     0 SW    0.0  0.0   0:00   0 migration/0
    3 root      RT   0     0    0     0 SW    0.0  0.0   0:00   1 migration/1
    4 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 keventd
    5 root      34  19     0    0     0 SWN   0.0  0.0   0:00   0 ksoftirqd/0
    6 root      34  19     0    0     0 SWN   0.0  0.0   0:00   1 ksoftirqd/1
    9 root      25   0     0    0     0 SW    0.0  0.0   0:00   1 bdflush
    7 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 kswapd
    8 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 kscand
   10 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 kupdated
   11 root      25   0     0    0     0 SW    0.0  0.0   0:00   1 mdrecoveryd
   17 root      15   0     0    0     0 DW    0.0  0.0   0:00   0 aarich watchdog
   18 root      25   0     0    0     0 SW    0.0  0.0   0:00   1 scsi_eh_0
   21 root      15   0     0    0     0 DW    0.0  0.0   0:00   0 kjournald
   77 root      21   0     0    0     0 SW    0.0  0.0   0:00   0 khubd
2983 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 kjournald
3292 root      15   0   572  572   492 D     0.0  0.0   0:00   0 syslogd -m 0
3296 root      15   0   452  452   392 S     0.0  0.0   0:00   1 klogd -x
3306 root      15   0   440  440   384 S     0.0  0.0   0:00   0 irqbalance
3421 root      15   0  1328 1328  1116 S     0.0  0.1   0:00   0 /usr/sbin/sshd
3435 root      24   0   884  884   768 S     0.0  0.0   0:00   0 xinetd -stayalive -pidfile /var/run/xinetd.pid
3466 root      15   0   616  616   548 S     0.0  0.0   0:00   0 crond
3496 xfs       15   0  3180 3180   820 S     0.0  0.3   0:00   1 xfs -droppriv -daemon
3507 daemon    15   0   556  556   492 S     0.0  0.0   0:00   1 /usr/sbin/atd
3516 root      15   0  1572 1572  1308 S     0.0  0.1   0:00   0 sshd: root@pts/0
3519 spamd     16   0 19608  19M  2144 S     0.0  1.9   0:00   0 /usr/bin/spamd -x -u spamd -H /home/spamd -d
3521 root      15   0  1352 1352  1148 S     0.0  0.1   0:00   0 -bash
3570 qscand    15   0 15696  15M  1004 S     0.0  1.5   0:00   1 /usr/sbin/clamd -c /etc/clamd.conf
3576 spamd     15   0 20940  20M  2284 D     0.0  2.0   0:00   1 spamd child
3577 spamd     15   0 20788  20M  2260 S     0.0  2.0   0:00   0 spamd child
3579 spamd     15   0 20704  20M  2252 S     0.0  2.0   0:00   0 spamd child
... ostatak isecen...

Da li neko ima ideju gde bih mogao da trazim problem? Server u ovoj konfiguraciji radi neprekidno 2 godine, pri cemu nista od hardvera nije menjano, a sto se tice softvera, takodje nista kljucno nije dirano - OS, kernel je isti...

Pozdrav
Zoran

[ Tyler Durden @ 15.09.2006. 12:49 ] @

Pogledaj malo po log fajlovima... Mozda je do hardvera? HD, kontroler?

[ random @ 15.09.2006. 13:09 ] @

Hm, kucaj ps axw ili top, pa u koloni STAT potraži procese koji su u stanju "D". Najverovatnije je "krivac" neki od njih. Pokušaj da sumnjivce ubijaš jedan po jedan, ili da im šalješ STOP signal, i sistemom eliminacije gledaj da li će iowait load da spadne.

[ jogurt @ 16.09.2006. 22:26 ] @

Hvala na savetima! Izgleda da je zaista problem negde u hardveru. Sumnjam na diskove, a jos verovatnije mi izgleda da je krivac RAID kontroler. U logovima nema nista sumnjivo... Za pocetak probacu sa drugim diskovima.

Trenutno je vikend i server je mrtav ladan, prakticno ne radi nista i sve deluje ok, medjutim, zadam mu najobicniji updatedb i evo ga, iowait skoci na 98%, a proces updatedb je u stanju "D"!!? :-(

Inace, svi servisi koji se trenutno vrte na serveru, vreteli su se i ranije bez ikakvih problema, sve do pre par dana kada je CPU load poceo da luduje, a server poceo da cvrci.

Pozdrav
Zoran

[ jogurt @ 05.10.2006. 10:25 ] @

Zdravo!

Evo posle nekog vremena, konacno sam nabavio par brzih Raptor diskova i planiram za vikend da sistem preselim na njih. Ne znam samo da li da nastavim da koristim hardverski RAID kontroler (koji je takodje sumnjiv) ili da jednostavno predjem na softverski raid 1? Kakva su iskustva sa softverskim raidom? Koje su mu mane/prednosti u odnosu na hardverski? Hvala unapred!

Sto se tice hardverskog kontrolera u pitanju je neki Adaptec AAR-ICHx i interesantno je da je njegov watchdog proces stalno u stanju DW i da load na masini nikada nije ispod 1.0 1.0 1.0 (verovatno zbog njega).

Code:
17 root 15 0 0 0 0 DW 0.0 0.0 0:00 1 aarich watchdog

Napomenuo bih jos sto se loada tice, da je masina bila u takvom stanju (1.0 1.0 1.0) od samog starta i da je godinu i po tako radila bez problema!? Pretpostavljam da ovaj proces aarich watchdog ne bilo pametno ubijati.

Zoran