Nove funkcije #14239
Zatvoren
rmlh-1: linux softraid (md) raid level=1
0%
Opis
kreirati softraid (raid1 - mirror + 1 hotspare) sa mdadm
/dev/sda, /dev/sdb, /dev/sdc
Povezani tiketi 1 (0 otvoreno — 1 zatvoren)
Izmjenjeno od Ernad Husremović prije više od 16 godina
dmraid znači uklanjamo, jer nam bios raid nije dao željene rezultate
root@rmlh-1:~# sudo apt-get remove dmraid
* Shutting down DMRAID devices... [ OK ]
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# mdadm --create /dev/md0 --raid-devices=2 --level=1 --spare-devices=1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: Cannot open /dev/sdc1: Device or resource busy
hm juče mi je za sve diskove (sdb, sdc, sdd) prijavljivao da su zauzeti - izgleda da su nakon uklanjanja dmraid-a sdb i sdd oslobđeni
Izmjenjeno od Ernad Husremović prije više od 16 godina
hah nakon restart-a
root@rmlh-1:~# mdadm --create /dev/md0 --level=1 --raid-devices=2 --spare-devices=1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: Cannot open /dev/sdb1: Device or resource busy mdadm: Cannot open /dev/sdc1: Device or resource busy mdadm: Cannot open /dev/sdd1: Device or resource busy
Izmjenjeno od Ernad Husremović prije više od 16 godina
http://ubuntuforums.org/archive/index.php/t-129498.html
instalirao smartmontools
root@rmlh-1:~# smartctl -a /dev/sdc
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# dmesg | grep md
md: md driver 0.90.3 MAX_MD_DEVS=256, MD_SB_DISKS=27 md: bitmap version 4.39 md: linear personality registered for level -1 md: multipath personality registered for level -4 md: raid0 personality registered for level 0 md: raid1 personality registered for level 1 md: raid6 personality registered for level 6 md: raid5 personality registered for level 5 md: raid4 personality registered for level 4 md: raid10 personality registered for level 10
Izmjenjeno od Ernad Husremović prije više od 16 godina
evo u čemu je kvaka izgleda
root@rmlh-1:~# dmraid -r
/dev/sdb: ddf1, ".ddf1_disks", GROUP, broken, 780987856 sectors, data@ 0 /dev/sdc: ddf1, ".ddf1_disks", GROUP, broken, 780986368 sectors, data@ 0 /dev/sdd: ddf1, ".ddf1_disks", GROUP, broken, 780987856 sectors, data@ 0
Izmjenjeno od Ernad Husremović prije više od 16 godina
evo kako brišemo taj dmraid metadata:
root@rmlh-1:~# dmraid -E -r
Do you really want to erase "ddf1" ondisk metadata on /dev/sdb ? [y/n] :y ERROR: ddf1: seeking device "/dev/sdb" to 204845289832448 ERROR: writing metadata to /dev/sdb, offset 400088456704 sectors, size 0 bytes returned 0 ERROR: erasing ondisk metadata on /dev/sdb Do you really want to erase "ddf1" ondisk metadata on /dev/sdc ? [y/n] :y ERROR: ddf1: seeking device "/dev/sdc" to 204845289832448 ERROR: writing metadata to /dev/sdc, offset 400088456704 sectors, size 0 bytes returned 0 ERROR: erasing ondisk metadata on /dev/sdc Do you really want to erase "ddf1" ondisk metadata on /dev/sdd ? [y/n] :y ERROR: ddf1: seeking device "/dev/sdd" to 204845289832448 ERROR: writing metadata to /dev/sdd, offset 400088456704 sectors, size 0 bytes returned 0 ERROR: erasing ondisk metadata on /dev/sdd
Izmjenjeno od Ernad Husremović prije više od 16 godina
al ne mogu ovo da uništim nikako ?!?!
root@rmlh-1:~# dmraid -ay
RAID set "ddf1_data" already active RAID set "ddf1_SimpleVol" already active ERROR: dos: partition address past end of RAID device
Izmjenjeno od Ernad Husremović prije više od 16 godina
vidi sad ovo ?! error
root@rmlh-1:~# dd if=/dev/zero of=/dev/sdb
dd: writing to `/dev/sdb': Input/output error 8652249+0 records in 8652248+0 records out 4429950976 bytes (4.4 GB) copied, 252.345 s, 17.6 MB/s
Izmjenjeno od Ernad Husremović prije više od 16 godina
da pokušam napraviti standardnu ext3 particiju na sdb
root@rmlh-1:~# mkfs.ext3 /dev/sdb1
ovo je proteklo sve ok
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# mdadm --zero-superblock /dev/sdb
mdadm: Unrecognised md component device - /dev/sdb
root@rmlh-1:~# mdadm --zero-superblock /dev/sdb1
mdadm: Unrecognised md component device - /dev/sdb1
sada više bar nemam poruku da ne može pisati
mdadm: Couldn't open /dev/sdb1 for write - not zeroing
Izmjenjeno od Ernad Husremović prije više od 16 godina
isto uradio za sdd
root@rmlh-1:~# mkfs.ext3 /dev/sdd1
ali sa sdc-om imam problem ?!?
root@rmlh-1:~# mkfs.ext3 /dev/sdc1
mke2fs 1.40.8 (13-Mar-2008) /dev/sdc1 is apparently in use by the system; will not make a filesystem here!
Izmjenjeno od Ernad Husremović prije više od 16 godina
da li će mi ovo pomoći
root@rmlh-1:~# sudo apt-get remove dmraid
Removing dmraid ... * Shutting down DMRAID devices... [ OK ]
root@rmlh-1:~# sudo apt-get remove mdraid
root@rmlh-1:~# sudo apt-get install mdadm
* Starting MD monitoring service mdadm --monitor [ OK ] Processing triggers for initramfs-tools ... update-initramfs: Generating /boot/initrd.img-2.6.18-053.10hernad3-openvz root@rmlh-1:~#
Izmjenjeno od Ernad Husremović prije više od 16 godina
nakon restarta je mkfs sdc1 je ok
root@rmlh-1:~# mkfs.ext3 /dev/sdc1
Izmjenjeno od Ernad Husremović prije više od 16 godina
i napokon
root@rmlh-1:~# mdadm --create /dev/md0 --raid-devices=2 --level=1 --spare-devices=1 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: /dev/sdb1 appears to contain an ext2fs file system
size=390708800K mtime=Thu Jan 1 01:00:00 1970
mdadm: /dev/sdc1 appears to contain an ext2fs file system
size=390708800K mtime=Thu Jan 1 01:00:00 1970
mdadm: /dev/sdd1 appears to contain an ext2fs file system
size=390708800K mtime=Thu Jan 1 01:00:00 1970
Continue creating array? y
mdadm: array /dev/md0 started.
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdd1[2](S) sdc1[1] sdb1[0]
390708736 blocks [2/2] [UU]
[>....................] resync = 0.7% (2906624/390708736) finish=86.4min speed=74775K/sec
unused devices: <none>
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# pvcreate /dev/md0
Physical volume "/dev/md0" successfully created
catroot@rmlh-1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdd1[2](S) sdc1[1] sdb1[0]
390708736 blocks [2/2] [UU]
[>....................] resync = 1.1% (4351936/390708736) finish=1073.0min speed=6000K/sec
unused devices: <none>
Izmjenjeno od Ernad Husremović prije više od 16 godina
sve komande sa diskom su veoma usporene, ali sistem ipak radi
root@rmlh-1:~# vgdisplay
--- Volume group --- VG Name rmlhvg1 System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 8 VG Access read/write VG Status resizable MAX LV 0 Cur LV 5 Open LV 3 Max PV 0 Cur PV 1 Act PV 1 VG Size 231.01 GB PE Size 4.00 MB Total PE 59139 Alloc PE / Size 13824 / 54.00 GB Free PE / Size 45315 / 177.01 GB VG UUID u2eVTd-Bytv-EfV9-kHGo-1RH0-3NnR-vbLoUi
root@rmlh-1:~# vgcreate rmlhvg2 /dev/md0
Izmjenjeno od Ernad Husremović prije više od 16 godina
recimo otvaranje fstab-a
root@rmlh-1:~# vi /etc/fstab
traje više od minuta
Izmjenjeno od Ernad Husremović prije više od 16 godina
očigledno da sam sistem ovim zahtjevima pravo opteretio pa kod svakog očitanja resync speed pada
root@rmlh-1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdd1[2](S) sdc1[1] sdb1[0]
390708736 blocks [2/2] [UU]
[>....................] resync = 1.1% (4355584/390708736) finish=3919.4min speed=1642K/sec
unused devices: <none>
Izmjenjeno od Ernad Husremović prije više od 16 godina
trenutno sam zadao
root@rmlh-1:~# vgcreate rmlhvg2 /dev/md0
Izmjenjeno od Ernad Husremović prije više od 16 godina
i to je trajalo trajalo ali ipak na kraju
root@rmlh-1:~# vgcreate rmlhvg2 /dev/md0
Volume group "rmlhvg2" successfully created
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# mdadm --detail --scan
ARRAY /dev/md0 level=raid1 num-devices=2 spares=1 UUID=e6930b13:62034375:0ec0c405:8829961e
ovo treba dodati u mdadm.conf
root@rmlh-1:~# mdadm --detail --scan >> /etc/mdadm/mdadm.conf
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# reboot
pa da vidimo da li će se md0 i rmlhvg2 pojaviti
Izmjenjeno od Ernad Husremović prije više od 16 godina
ali reboot ne ide ...
ps ax | grep md
12987 ? D< 0:00 [md0_raid1] 12988 ? D< 0:00 [md0_resync]
root@rmlh-1:~# /etc/init.d/mdadm stop
* Stopping MD monitoring service mdadm --monitor [ OK ]
Izmjenjeno od Ernad Husremović prije više od 16 godina
ovo je upalilo - sistem se restartovao ...
ali se nije ponovo vratio ?!
Izmjenjeno od Ernad Husremović prije više od 16 godina
hah kada sam došao do računara ... pri boot-anju mi md prijavljue svakakve error-e
onda sam uzeo ubuntu cd i podigao u rescue modu računar
prilikom boot-anja se odmah započinje inicijalizirati md0, ali u syslog-u vidim "media error" ... i vidim da se ta media error vrti oko /dev/sdb diska
ah ... to sam mogao i očekivati s obzirom na error pri dd-u (pogledaj note-9)
Izmjenjeno od Ernad Husremović prije više od 16 godina
radim sljedeće
- mdadm /dev/md0 --fail /dev/sdb1
tada se sdb1 označava kao failed, te rebuild array-a traje kratko u degradiranom režimu (samo jedan disk u array-u), nakon toga, spare disk se automatski stavlja u matricu i započinje pravi rebuild sistema
to je sve se dešava u par minuta, nakon toga ja zadajem izbacivanje sdb-a iz matrice
#mdadm /dev/md0 --remove /dev/sdb1 [1]
i to radi takođe
inače sada je sistem pravo prodisao - za razliku od gore gdje je otvaranje /etc/fstab-a trajalo par minuta, sistem je sada prodisao..
rebuild čitave matrice trebao bi trajati 90-tak minuta ... brzina resync-a je 50-76 000 Kb/sec
ovo je skroz dobro
1 Napomena: možda sintaksa komandi nije 100% tačna, jer pišem po sjećanju
Izmjenjeno od Ernad Husremović prije više od 16 godina
ispravka ... ovo što se dešavalo je " recovery proces" - [U_] 2/1
nakon uspješnog recovery-ja dešava se " resync koji će trajati isto vrijeme (cca 90 min) - sada toji [UU] 2/2 - oba diska su u funkciji
Izmjenjeno od Ernad Husremović prije više od 16 godina
- sdb je oštećen
- nisam mogao da "oslobodim" sdb, sdc, sdd iz "ralja" dmraid-a
imao sam na početku i probleme da uopšte boot-am sistem. naime ja sam isključio sata raid iz bios-a i pokušao dići sistem - reko da mi se ne petlja raid uopšte ali sistem se nije htio boot-ati uopšte
onda sam vratio raid i pokušao sam ući u bios raid management aplikaciju, ali tu bi aplikacija zaglavila ?!?
na kraju sam uspoi boot-ati tako što sam resetovao bios na defaults (prilikom tog reseta je sata raid isključen, ali su očigledno i neko podaci o raid-u koji su mi smetali resetovani) ...
joj muke joj muke joj muke ...
Izmjenjeno od Ernad Husremović prije više od 16 godina
- Naslov promijenjeno iz rmlh-1: linux softraid (md) u rmlh-1: linux softraid (md) raid level=1
Izmjenjeno od Ernad Husremović prije više od 16 godina
kada sam isključio sdb repair, resync je uspješno prošao
idemo dalje sa testom.
Isključio sam fizički napajanje sdb, što je poremetilo poredak diskova. md0 se nije aktivirao
#mdadm --examine /dev/md0
kaže da "no superblock found for md0"
prilikom jednog boot-a sam takođe imao poruku "md: array md0 already has disks!"":http://ubuntuforums.org/showthread.php?t=457778&page=2
Izmjenjeno od Ernad Husremović prije više od 16 godina
super, ovi diskovi jedan po jedan otkazuju.
bios je prijavio:
SMART Failure predicted on harddisk2 WDS WD4001ABYS-01YNA0-(S3)
to je ustvari /dev/sdc (treći disk po redu)
i zaista kada sam probao pod linux-om
#smartctl -all /dev/sdc
=>
svašta nešto ....
... tests FAILED
ajoj dva diska čučavela
Izmjenjeno od Jasmin Beganović prije više od 16 godina
@hernad
da pobrišem efekte predhodnih testiranja
root@rmlh-1:~# pvdisplay
--- Physical volume --- PV Name /dev/md9 VG Name rmlhvg2 PV Size 1.87 GB / not usable 1.88 MB Allocatable yes PE Size (KByte) 4096 Total PE 478 Free PE 222 Allocated PE 256 PV UUID IgySnI-wEFd-oXbH-Kom5-kCiL-rZoo-HI1dBr --- Physical volume --- PV Name /dev/sda3 VG Name rmlhvg1 PV Size 231.01 GB / not usable 2.69 MB Allocatable yes PE Size (KByte) 4096 Total PE 59139 Free PE 45315 Allocated PE 13824 PV UUID k93BPW-7yB6-i3Kg-EXHB-JwPc-0PnM-ZJbYnB
Izmjenjeno od Jasmin Beganović prije više od 16 godina
root@rmlh-1:~# lvremove /dev/rmlhvg2/root Do you really want to remove active logical volume "root"? [y/n]: y Logical volume "root" successfully removed root@rmlh-1:~# vgremove /dev/rmlhvg2 Volume group "rmlhvg2" successfully removed root@rmlh-1:~# pvremove /dev/md9 Labels on physical volume "/dev/md9" successfully wiped
Izmjenjeno od Jasmin Beganović prije više od 16 godina
root@rmlh-1:~# mdadm --stop /dev/md9 mdadm: stopped /dev/md9
Izmjenjeno od Ernad Husremović prije više od 16 godina
root@rmlh-1:~# mdadm -E /dev/sd*
mdadm: No md superblock detected on /dev/sda.
mdadm: No md superblock detected on /dev/sda1.
mdadm: No md superblock detected on /dev/sda2.
mdadm: No md superblock detected on /dev/sda3.
mdadm: No md superblock detected on /dev/sdb.
mdadm: No md superblock detected on /dev/sdc.
mdadm: No md superblock detected on /dev/sdd.
/dev/sdd1:
Magic : a92b4efc
Version : 00.90.00
UUID : 711a02f7:cea43e43:0ec0c405:8829961e (local to host rmlh-1)
Creation Time : Mon May 12 19:11:19 2008
Raid Level : raid1
Used Dev Size : 1959808 (1914.20 MiB 2006.84 MB)
Array Size : 1959808 (1914.20 MiB 2006.84 MB)
Raid Devices : 2
Total Devices : 1
Preferred Minor : 9
Update Time : Tue May 20 10:33:02 2008
State : clean
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0
Checksum : 104cd9e5 - correct
Events : 0.16
Number Major Minor RaidDevice State
this 1 8 49 1 active sync /dev/sdd1
0 0 0 0 0 removed
1 1 8 49 1 active sync /dev/sdd1
sad je sve čisto, ubio sam matricu
root@rmlh-1:~# mdadm --zero-superblock /dev/sdd1
root@rmlh-1:~# mdadm -E /dev/sd* mdadm: No md superblock detected on /dev/sda. mdadm: No md superblock detected on /dev/sda1. mdadm: No md superblock detected on /dev/sda2. mdadm: No md superblock detected on /dev/sda3. mdadm: No md superblock detected on /dev/sdb. mdadm: No md superblock detected on /dev/sdc. mdadm: No md superblock detected on /dev/sdd. mdadm: No md superblock detected on /dev/sdd1.
Izmjenjeno od Ernad Husremović prije više od 16 godina
- Status promijenjeno iz Dodijeljeno u Zatvoreno
idem instalaciju na novom ticketu
Izmjenjeno od Ernad Husremović prije više od 16 godina
restartovao nema više md device-a
root@rmlh-1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] unused devices: <none>