offline
- Peca
- Slučajni prolaznik
- Predrag Damnjanović
- SysAdmin i programer
- Pridružio: 17 Apr 2003
- Poruke: 15472
- Gde živiš: Niš
|
- 15Ovo se svidja korisnicima: bojank, trajkoni018, aljosa7, theNedjeljko, zixmix, A.R.Chafee.Jr., amaterSRB, vathra, srecko81, Sr.Stat., Shomy, ILGromovnik, Bane san, respekt, djordje92sm
Registruj se da bi pohvalio/la poruku!
Na našem serveru je u sredu oko 15h crkao hard-disk.
Trebalo je sve da protekne rutinski, jer meni nije prvi put da menjam disk, a server naravno ima dva diska koja sadrže identične podatke, pa se pokvareni disk jednostavno zameni i prekopiraju se podaci sa ovog drugog diska koji nije u kvaru.
Tehnička podrška u datacentru je odmah stavila novi disk... i trebalo je samo da pustim replikaciju sa zdravog diska (sa podacima) na novi.
No, načinio sam jednu grešku (koja sama po sebi nije fatalna, ali je bio fatalan korak posle).
Greška se ogleda u tome što sam obrisao slučajno RAID.
Kako sam slučajno obrisao RAID?
Prvo, učinilo mi se da GPT tabela nije dobro iskopirana sa postojećeg diska na novi disk.
Kasnije sam shvatio zašto mi se ovo "učinilo".
- stari disk (sda) sa podacima je bio 4TB.
- particije su bile kreirane do drugog terabajta (verovatno je nekad ranije već menjan disk, a prvi inicijalni disk je očigledno bio veličine 2TB, zato su particije ostale do 2TB)
- datacentar je stavio novi disk (sdb) od 2TB
- komanda sgdisk me je upozorila da kopiram GPT tabele sa diska od 4TB na disk od 2TB - ali je vrlo verovatno odradila posao kopiranja, jer, kao što rekoh, particije nisu ni veće od 2TB.
No, taj "warning" me je naterao da pokušam da zaustavim RAID sync, ne bi li se vratio jedan korak unazad, da vidim šta se to dešava sa GPT.
Pošto nikad nisam stopirao RAID, izguglao sam komandu "mdadm --stop /dev/md2 --force"
Tu me je sačekalo iznenađenje broj 2.
Parametar --stop ne radi ono što bi se očekivalo da radi, već kompletno briše RAID array.
Ništa.
Rekoh sebi - ok - kreiraću opet RAID array.
Kucam komandu:
mdadm --create /dev/md2 --level=1 --raid-devices=1 --force /dev/sda3
(sda je stari disk sa podacima)
(znam, trebalo je ovde da odmah da dodam i sdb, ali sam đavo zna zašto sam prvo u raid array dodao samo sda)
proveravam:
root@rescue ~ # cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sda3[0]
1936076864 blocks super 1.2 [1/1] [U]
bitmap: 0/15 pages [0KB], 65536KB chunk
Deluje ok.
Kucam:
mdadm /dev/md2 -a /dev/sdb3
(dodajem dakle novi disk sdb u raid array)
I proveravam ishod:
root@rescue ~ # cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sdb3[2] sda3[0]
1936077760 blocks super 1.2 [2/1] [U_]
resync=DELAYED
Fora je što nisam odmah dobro zagledao redosled diskova u RAID array-u.
No, kad sam zagledao, bilo je već kasno, i tu me je dočekalo treće (i fatalno) iznenađenje.
Dakle, pri pokušaju da postepeno kreiram ponovo RAID, poslednjom komandom sam izgleda uspeo da ubacim sdb kao glavnu particiju u raid array-u.
Dakle, umesto da sda ostane glavni, on je posle ove poslednje komande stavio da sdb bude glavni.
Zašto je ovo odradio - meni i dalje nije sasvim jasno.
Očigledno sam raid array trebao odmah da kreiram s obe particije, umesto da sdb dodajem naknadno.
Epilog je jasan - server je ovaj nov (prazan) disk prepisao preko diska koji je sadržao sve fajlove - što u prevodu znači da smo na serveru ostali praznih diskova.
Dobra vest je da imamo remote backup od ponedeljka ujutru.
(i ovde sam imao nesreću zašto remote backup nije od srede ujutru, no to je tek zasebna priča, potpuno sulud splet okolnosti)
Odmah sam otpočeo proceduru kreiranja novog servera i vraćanja podataka iz remote backupa.
Baza je vraćena u malo pre ponoći, i forum ponovo radi.
Slike se još kopiraju sa remote backup servera, tako da imate razumevanja što još uvek nisu vraćene sve slike.
S obzirom da smo u trenutku nesreće imali samo backup od ponedeljka ujutru - znate šta to znači.
Nažalost nemamo u backupu postove koje ste napisali u ponedeljak, utorak i sredu.
Mnogo mi je žao mi je što se ovo desilo, primite moje duboko izvinjenje.
|
