Linux通过mdadm组建软RAID

1264 字

6 分钟

Linux通过mdadm组建软RAID

2025-11-14

Linux

RAID

实验环境#

Ubuntu24.04 4C4G虚拟机
数据盘类型覆盖：scsi，virtio
mdadm版本：4.3-1ubuntu2.1

实验前准备#

挂载数据盘：根据组建的RAID级别挂载相应数量的数据盘
安装mdadm：

1
sudo apt install mdadm

RAID 0#

组建RAID 0#

1.挂载两块virtio格式容量50GB的硬盘
2.创建RAID 0阵列

1
mdadm -C /dev/md0 -l 0 -n 2 /dev/vdb /dev/vdc
2

3
# -C --create参数，创建RAID阵列
4
# /dev/md0 为组建RAID后的设备名
5
# -l --level参数，创建的RAID级别
6
# -n --raid-devices= 参数，组建RAID的设备数及具体设备路径

创建好后lsblk应为如下的状态：

alt text

3.检查RAID状态

1
mdadm --detail /dev/md0

1
root@ubuntu:~# mdadm --detail /dev/md0
2
/dev/md0:
3
           Version : 1.2
4
     Creation Time : Fri Nov 14 02:53:01 2025
5
        Raid Level : raid0                  # RAID级别
6
        Array Size : 104790016 (99.94 GiB 107.30 GB)
7
      Raid Devices : 2
8
     Total Devices : 2
9
       Persistence : Superblock is persistent
10

11
       Update Time : Fri Nov 14 02:53:01 2025
12
             State : clean
13
    Active Devices : 2
14
   Working Devices : 2
15
    Failed Devices : 0
16
     Spare Devices : 0
17

18
            Layout : original
19
        Chunk Size : 512K
20

21
Consistency Policy : none
22

23
              Name : ubuntu:0  (local to host ubuntu)
24
              UUID : ad31c8f6:e775ff93:17548363:43669993
25
            Events : 0
26

27
    Number   Major   Minor   RaidDevice State       # RAID成员及状态
28
       0     253       16        0      active sync   /dev/vdb
29
       1     253       32        1      active sync   /dev/vdc

检验#

1.挂载一块50GB的virtio硬盘用于做对比实验
2.格式化并挂载文件系统

1
# 格式化RAID设备和对照组硬盘为ext4格式
2
mkfs.ext4 /dev/md0
3
mkfs.ext4 /dev/vdd
4

5
# 创建两个挂载点 并挂载文件系统
6
mkdir /mnt/raid0 /mnt/noraid0
7

8
mount /dev/md0 /mnt/raid0/
9
mount /dev/vdd /mnt/noraid0/

3.写入测试

1
# 使用dd命令顺序写入8GB文件，观察写入速度
2
dd if=/dev/zero of=/mnt/noraid0/testfile bs=1G count=8 oflag=direct
3

4
dd if=/dev/zero of=/mnt/raid0/testfile bs=1G count=8 oflag=direct

alt text

可以发现速度提升几乎翻倍

4.读取测试

1
# 使用dd命令顺序读取刚才写入的文件，观察读取速度
2
dd if=/mnt/noraid0/testfile of=/dev/null bs=1G count=8 iflag=direct
3

4
dd if=/mnt/raid0/testfile of=/dev/null bs=1G count=8 iflag=direct

alt text

读取速度也是大幅度提升

RAID 1#

组建RAID 1#

1.挂载两块scsi格式容量50GB的硬盘
2.创建RAID 1阵列

1
mdadm -C /dev/md1 -l 1 -n 2 /dev/sda /dev/sdb

3.检查RAID状态

1
# 在刚创建RAID 1后使用 watch 指令每隔1秒更新查看mdstat文件
2
watch -n 1 "cat /proc/mdstat"

可以看到

alt text

代表两块硬盘正在同步数据

同步完成后

alt text

[UU]代表两块硬盘都处于UP状态，RAID 1阵列已准备就绪

检验#

1.格式化并挂载文件系统

1
# 格式化RAID设备和对照组硬盘为ext4格式，并挂载文件系统
2
mkfs.ext4 /dev/md1
3
mkdir /mnt/raid1
4
mount /dev/md1 /mnt/raid1/

alt text

可以看到实际容量为两块硬盘容量之和的50%

2.冗余测试
创建初始文件

1
cd /mnt/raid1
2
# 使用dd命令写入500M初始文件文件并记录md5值至文件中
3
dd if=/dev/zero of=base_file.bin bs=1M count=500 status=progress
4

5
md5sum base_file.bin > /tmp/base_file_original.md5

创建持续写入脚本stress_write.sh

1
#!/bin/bash
2
STRESS_DIR="/mnt/raid1"
3
LOG_FILE="/tmp/stress_io.log"
4

5
echo "$(date): Starting continuous write process..." | tee -a $LOG_FILE
6

7
counter=1
8
while true; do
9
    # 创建一个不断增长的文件，并每次写入都刷新
10
    echo "This is a continuous write stream at $(date). Loop counter: $counter" >> $STRESS_DIR/continuous_write.log
11
    sync # 强制写入磁盘
12
    dd if=/dev/urandom of=$STRESS_DIR/random_data_$counter.bin bs=1M count=10 status=none
13
    ((counter++))
14
    # 输出状态点
15
    if (( $counter % 5 == 0 )); then
16
        echo "$(date): Written $counter files so far..." | tee -a $LOG_FILE
17
    fi
18
done

赋予脚本执行权chmod +x stress_wirte.sh 运行脚本./stress_write.sh

新开终端窗口，观察RAID状态

1
watch -n 1 'cat /proc/mdstat && echo "---" && mdadm --detail /dev/md1 | grep -E "State|Devices"'

alt text

新开终端窗口，观察系统io监控

1
watch -n 1 'iostat -xd 1 1 /dev/sda /dev/sdb | tail -n +3'

alt text

将磁盘sdb标记为故障并移除

1
mdadm /dev/md1 --fail /dev/sdb
2
mdadm /dev/md1 --remove /dev/sdb

alt text

可以看到设备虽处于降级状态，但剩余设备仍在工作
验证数据可访问性

对比初始文件的md5值，验证文件并无损坏

alt text

重新添加sdb

1
mdadm /dev/md1 --add /dev/sdb

alt text 可以看到正在重建同步数据

等待重建完成后再次检查初始文件的md5值

alt text

RAID 5#

组建RAID 5#

1.挂载3块250G的scsi硬盘
2.创建RAID 5阵列

1
mdadm -C /dev/md0 -l 5 -n 3 /dev/sda /dev/sdb /dev/sdc

1
watch -n 1 "cat /proc/mdstat"

查看同步进度

alt text

同步完成

alt text

检验#

1.准备测试数据

1
mkfs.ext4 /dev/md0
2
mkdir /mnt/raid5
3
mount /dev/md0 /mnt/raid5
4

5
# 创建校验文件
6
dd if=/dev/urandom of=/mnt/raid5/test_file.bin bs=1M count=2000 status=progress
7
md5sum /mnt/raid5/test_file.bin > /tmp/raid5_original.md5
8
cat /tmp/raid5_original.md5

alt text

可以发现md0挂载的实际容量为（磁盘数-1）*单个磁盘容量

2.移除硬盘sdb

1
mdadm /dev/md0 --fail /dev/sdb
2
mdadm /dev/md0 --remove /dev/sdb
3

4
# 检查状态，现在是降级状态
5
mdadm --detail /dev/md0

alt text

3.在降级状态下验证数据可访问性

1
md5sum /mnt/raid5/test_file.bin
2

3
cat /tmp/raid5_original.md5
4

5
echo "RAID 5 is working in degraded mode!" | tee /mnt/raid5/degraded_test.txt
6
cat /mnt/raid5/degraded_test.txt

alt text

4.重新添加sdb

1
mdadm /dev/md0 --add /dev/sdb

再次校验md5值

alt text

5.读写性能测试（挂载一块500GB scis类型硬盘并挂载为ext4文件系统）

1
# 测试顺序写入8G文件
2
dd if=/dev/zero of=/mnt/noraid5/largefile.bin bs=1G count=8 oflag=direct status=progress
3

4
dd if=/dev/zero of=/mnt/raid5/largefile.bin bs=1G count=8 oflag=direct status=progress
5

6
# 测试顺序读取8G文件
7
dd if=/mnt/noraid5/largefile.bin of=/dev/null bs=1G count=8 iflag=direct status=progress
8

9
dd if=/mnt/raid5/largefile.bin of=/dev/null bs=1G count=8 iflag=direct status=progress