[ nikol@c @ 20.05.2010. 10:37 ] @
Pozdrav,

imam jednu udaljenu serversku masinu na kojoj su podignute dvije virtuelne masine.
Jutros sam primjetio da virtuelne masine nisu dostupne. Posto koristim XEN za virtualizaciju, pogledao sam xen list i vidio da su virtuelme masine ugasene, razlog tome moze biti da ih neko direktno ugasi ili kada se restartuje home masina. Siguran sam da je razlog ovo drugo, ali moram da budem siguran sta je uzrok restarta, da li je neko rucno resetovao, ili je nestalo struje pa je naknadno upaljen, nigdje ne vidim da je izvrsena komanda za restart ili init 0.

Ovo sam dobio kada kucam last -x :

Code:

...
runlevel (to lvl 5)   2.6.18-128.1.14. Thu May 20 00:36 - 10:40  (10:04)    
reboot   system boot  2.6.18-128.1.14. Thu May 20 00:36          (10:04)
...


I to je vrijeme kada je masina resetovana (restartovana, nisam siguran).
Mozete li mi objasniti sta znaci ovaj runlevel (to lvl 5) dio, moze li iz toga nesto da se izvuce.
I postoji li detaljniji log o vremenu gasenja masine, reseta i restarta. Nesto detaljnije od last reboot komande?

Hvala.
[ combuster @ 20.05.2010. 10:47 ] @
Pa daj ceo log, odatle se vidi da je masina boot-ovana u 00:36 i da je uleteo u init5 (podigao je X).
[ nikol@c @ 20.05.2010. 11:01 ] @
Ok, ovo je sve sto dobijem sa last -x

Code:

root     pts/2        10.223.3.20      Thu May 20 09:22 - 11:02  (01:40)    
root     pts/1        10.223.3.24      Thu May 20 08:39   still logged in   
runlevel (to lvl 5)   2.6.18-128.1.14. Thu May 20 00:36 - 11:40  (11:04)    
reboot   system boot  2.6.18-128.1.14. Thu May 20 00:36          (11:04)    
root     pts/1        10.223.3.20      Tue May 18 10:35 - 13:33  (02:57)    
root     pts/1        10.223.3.20      Tue May 18 09:31 - 09:49  (00:18)    
root     pts/5        10.223.3.20      Tue May 18 00:54 - 00:58  (00:03)    
root     pts/4        10.223.3.20      Tue May 18 00:36 - 06:48  (06:11)    
root     pts/4        10.223.3.20      Mon May 17 23:31 - 23:43  (00:11)    
root     pts/1        10.223.3.20      Mon May 17 23:30 - 06:48  (07:17)    
root     pts/1        10.223.3.20      Mon May 17 14:09 - 14:20  (00:11)    
root     pts/4        10.223.3.24      Thu May 13 02:51 - 03:04  (00:12)    
root     pts/1        10.223.3.24      Thu May 13 02:47 - 03:22  (00:34)    
root     pts/1        10.223.3.24      Thu May 13 02:44 - 02:45  (00:01)    
root     pts/1        10.223.3.24      Thu May 13 00:13 - 00:14  (00:00)    

... raniji datumi


I kao sto sam vec pitao, ako ovo nije dovoljno detaljno a siguran sam da nije, gdje imam detaljniji log file?
[ combuster @ 20.05.2010. 11:13 ] @
Pogledaj u /var/log/syslog.log, tu bi trebalo da vidis poruku syslog shutdown ako je masina restartovana cisto, ako je nestalo struje videces da nema nikakvih obavestenja o restartu.

Citat:

May 20 00:56:29 vostro syslog-ng[1622]: syslog-ng shutting down; version='3.1.0'
May 20 10:12:53 vostro syslog-ng[1606]: syslog-ng starting up; version='3.1.0'


Ja dalje od toga ne znam, mogu da prebacim temu u Linux serveri i servisi mozda neko bude imao odgovor.
[ nikol@c @ 20.05.2010. 11:28 ] @
Evo podataka iz /var/log/messages

Code:

May 19 23:00:48 myserver: error getting update info: Cannot retrieve repository metadata (repomd.xml) for repository: base. Please verify its path and try again
May 20 00:00:49 myserver: error getting update info: Cannot retrieve repository metadata (repomd.xml) for repository: base. Please verify its path and try again
May 20 00:36:09 myserver syslogd 1.4.1: restart.
May 20 00:36:09 myserver kernel: klogd 1.4.1, log source = /proc/kmsg started.
May 20 00:36:09 myserver kernel: Bootdata ok (command line is ro root=/dev/VolGroup00/LogVol00 rhgb quiet)
May 20 00:36:09 myserver kernel: Linux version 2.6.18-128.1.14.el5xen ([email protected]) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)) #1 SMP Wed Jun 17 07:10:16 EDT 2009
May 20 00:36:09 myserver kernel: BIOS-provided physical RAM map:
May 20 00:36:09 myserver kernel:  Xen: 0000000000000000 - 00000001ded3a000 (usable)
May 20 00:36:09 myserver kernel: DMI 2.5 present.
May 20 00:36:09 myserver kernel: ACPI: LAPIC (acpi_id[0x01] lapic_id[0x00] enabled)

... slijedi log za podizanje sistema, mislim da je nepotreban


ok, treca linija kaze da je sistem restartovan, ali u historiju ne vidim ni jednu komandu za to.
[ Tyler Durden @ 20.05.2010. 11:38 ] @
Pa da li imas jos neki masina tu koje su se u isto vrijeme restartovale?
[ combuster @ 20.05.2010. 11:42 ] @
Pa pazi, da je komanda za restart izdata u terminalu onda bi to mogao da vidis u ~/.bash_history - ako imas root ovlascenja mogao bi da vidis i koji je korisnik to uradio. Ako je uradio neko ko ima root nalog - dzabe ti onda. Osim toga server ti se podize u init5 - pa je komanda za restart verovatno izdata iz grafickog okruzenja.

Dakle u /var/log/syslog.log mozes videti da li je masina restartovana nasilno ili zbog nestanka struje ili je neko restartovao clean. Ako je nasilno restartovana ili zbog nestanka struje ona liniija gde ti pise syslog shutting down nece postojati. Ali i po messages logu cini mi se da je server restartovan sa namerom.

http://www.cyberciti.biz/tips/...-using-process-accounting.html

Ove komande ti mogu pomoci ali to samo ako ti je instaliran vec bio paket psacct.
[ Jbyn4e @ 20.05.2010. 13:56 ] @
A ako nema syslog.log? Kao na SuSE-u?


# ls -l /var/log/syslog.log
ls: cannot access /var/log/syslog.log: No such file or directory
# ls -ltr /var/log/*log
-rw-r----- 1 root root 0 Nov 3 2009 /var/log/boot.log
-rw-r--r-- 1 root root 0 Apr 7 09:15 /var/log/mcelog
-rw------- 1 root root 32928 Apr 20 13:10 /var/log/faillog
-rw-r--r-- 1 root root 0 Apr 20 13:36 /var/log/rcvsftp.log
-rw-rw-rw- 1 root root 0 May 13 08:58 /var/log/nscd.log
-rw------- 1 root root 1581 May 13 08:58 /var/log/fail2ban.log
-rw-r--r-- 1 root root 58 May 17 15:25 /var/log/pm-powersave.log
-rw-r--r-- 1 root root 31178 May 17 15:27 /var/log/kdm.log
-rw-r--r-- 1 root root 26244 May 17 15:27 /var/log/Xorg.0.log
-rw-r----- 1 root root 615880 May 20 09:16 /var/log/rkhunter.log
-rw-r--r-- 1 root tty 300468 May 20 14:02 /var/log/lastlog
-rw-r----- 1 root root 4540564 May 20 14:03 /var/log/zypper.log


[ nikol@c @ 20.05.2010. 14:22 ] @
Iskljucujem mogucnost nestanka struje posto ostale masine nisu restartovane.
Pogledao sam u ~/.bash_history kao root, i nema komandi za restart ili gasenje.

@Jbyn4e nemam syslog.log file tako da je ovo bilo korisno, samo sto u mojim log fajlovima nisam nasao nista, recimo u boot logu zadnji zapis je bio 16.05.
Ovo je lista log fajlova.


# ls -ltr /var/log/*log
-rw------- 1 root root 40098 23. Jun 2009 /var/log/anaconda.xlog
-rw------- 1 root root 30778 23. Jun 2009 /var/log/anaconda.syslog
-rw------- 1 root root 542139 23. Jun 2009 /var/log/anaconda.log
-rw-r--r-- 1 root root 0 23. Jun 2009 /var/log/mcelog
-rw------- 1 root root 0 23. Jun 2009 /var/log/tallylog
-rw-r--r-- 1 root root 124939 23. Jun 2009 /var/log/scrollkeeper.log
-rw------- 1 root root 0 1. Jan 04:03 /var/log/yum.log
-rw------- 1 root root 16192 12. Jan 08:36 /var/log/faillog
-rw------- 1 root root 0 16. Mai 04:03 /var/log/boot.log
-rw-r--r-- 1 root root 40246 20. Mai 02:09 /var/log/Xorg.0.log
-rw-r--r-- 1 root root 147752 20. Mai 13:39 /var/log/lastlog
-rw------- 1 root root 212653 20. Mai 15:01 /var/log/maillog


U svakom slucaju hvala svima na korisnim odgovorima.

Pozdrav.
[ Miroslav Strugarevic @ 20.05.2010. 14:41 ] @
Proveri u logovima da li se neko logovao preko SSH? Mozda je masinu restartovao korisnik koji nije root a ima pristup sudo-u. Ili te je neko dobro uhakovao ili ti je masina/drajver los pa ti je zapucao masinu.
[ combuster @ 20.05.2010. 14:47 ] @
Citat:

A ako nema syslog.log? Kao na SuSE-u?


Pa stvarno, sta ako nema ? xD

Ako je server u pitanju treba podesiti process acounting...

http://www.faqs.org/docs/Linux-mini/Process-Accounting.html

Ako ih to interesuje uopste :)
[ nikol@c @ 20.05.2010. 16:27 ] @
Poslije razgovora sa starijim kolegama dosli smo do zakljucka da je problem mogao biti uzrokovan i nekim hardverskim problemom.

Znate li neki alat za testiranje resursa (CPU, RAM. HD)? Molio bih preporuku alata koji ste vec koristili.

Hvala.
[ combuster @ 20.05.2010. 16:34 ] @
Za memoriju memtest, imas ga na skoro svakom live cd-u...

Sto se hard diska tice, dovoljno je ocitati smart i videti da li je i kada doslo do greske (smartctl, gsmartcontrol) a sto se procesora tice - hah, pusti da se iskompajlira nesto (sa -jX gde je X broj core-ova + 1 da bi opteretio sva jezgra) i proveri mu temperature sa lm_sensors (mada sumnjam da je problem u cpu-u). Inace ti spontani restartovi su obicno prouzrokovani zbog napajanja...
[ Miroslav Strugarevic @ 20.05.2010. 20:36 ] @
Ako je u pitanju brendiran server onda treba konsultovati dokumentaciju proizvodjaca vezano za testiranje hardverskih komponenti. Ako je obican PC onda jedino memtest/goldmemory i nesto za testiranje hard disk-a. Proveri i napajanje obavezno.
[ nikol@c @ 26.05.2010. 09:15 ] @
Pozdrav,

s obzirom da su serveri udaljeni i da nemam fizicki pristup istima, postoji li neki alat za testiranje RAM-a koji mogu instalirati i uraditi test memorije dok je OS podignut.
Do sad svi alati koji su preporuceni zahtijevaju bootabilni CD, siguran sam da su ovi alati najbolji izbor, ali okolnosti su takve da ih ne mogu koristiti.

Pronasao sam neka uputstva ali nisu dovoljno detaljna.
[ nikol@c @ 26.05.2010. 14:25 ] @
Probao sam memtest na lokalnoj masini. Koristim bootabilni CD i startujem memtest.
Test se pokrene automatski i to traje par sekundi nakon cega se racunar restartuje i sve ide ispocetka, ponovo se memtest startuje, krene da izvrsava testove i nakon par sekundi kada testovi dodju do 40%+ masina se samo restartuje. Nadam se da to ne govori da mi RAM na lokalnom racunaru pravi probleme :)
Da li memtest treba ovako da radi?
[ Srđan Pavlović @ 26.05.2010. 14:52 ] @
Memtest treba da radi na ispravnom racunaru dok god ga ti ne prekines.
Dakle, ako hoces mozes ga ostaviti da radi 365 dana, i on mora da radi bez IJEDNE greske.

Kada se racunar restartuje, obicno prvo probas staviti drugo novo / ispravno
napajanje pa ponovo odraditi mem-test, a ako se nastavi, onda novu memoriju.

Najcesce je nesto od ta dva.

Nekada moze biti uzrok i kratki prekidi u snabdevanju sa strujom
(dakle problemi u gradskoj mrezi / instalacijama kod tebe)
Znaci nestane struje / padne napon na "blic" i racunar se ne ugasi, vec samo restartuje.