#头条创作挑战赛#
前言:文章和上一篇是延续的,各位帅哥美女要是觉得对自己有帮助可以翻翻瞄一眼
2.2 文件系统
2.2.1 文件系统概念
文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统,简称文件系统从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,安全控制,日志,压缩,加密等
支持的文件系统:
/lib/modules/`uname -r`/kernel/fs
2.2.2 文件系统类型
Linux 常用文件系统
- ext2:Extended file system 适用于那些分区容量不是太大,更新也不频繁的情况,例如 /boot 分区
- ext3:是 ext2 的改进版本,其支持日志功能,能够帮助系统从非正常关机导致的异常中恢复
- ext4:是 ext 文件系统的最新版。提供了很多新的特性,包括纳秒级时间戳、创建和使用巨型文件(16TB)、最大1EB的文件系统,以及速度的提升
- xfs:SGI,支持最大8EB的文件系统
- swap
- iso9660 光盘
- btrfs(Oracle)
- reiserfs
Windows 常用文件系统
- FAT32
- NTFS
- exFAT
Unix:
- FFS(fast)
- UFS(unix)
- JFS2
网络文件系统:
- NFS
- CIFS
集群文件系统:
- GFS2
- OCFS2(oracle)
分布式文件系统:
- fastdfs
- ceph
- moosefs
- mogilefs
- glusterfs
- Lustre
RAW:
- 裸文件系统,未经处理或者未经格式化产生的文件系统
常用的文件系统特性:
FAT32
- 最多只能支持16TB的文件系统和4GB的文件
NTFS
- 最多只能支持16EB的文件系统和16EB的文件
EXT3
- 最多只能支持32TB的文件系统和2TB的文件,实际只能容纳2TB的文件系统和16GB的文件
- Ext3目前只支持32000个子目录
- Ext3文件系统使用32位空间记录块数量和 inode数量
- 当数据写入到Ext3文件系统中时,Ext3的数据块分配器每次只能分配一个4KB的块
EXT4:
- EXT4是Linux系统下的日志文件系统,是EXT3文件系统的后继版本
- Ext4的文件系统容量达到1EB,而支持单个文件则达到16TB
- 理论上支持无限数量的子目录
- Ext4文件系统使用64位空间记录块数量和 inode数量
- Ext4的多块分配器支持一次调用分配多个数据块
- 修复速度更快
XFS
- 根据所记录的日志在很短的时间内迅速恢复磁盘文件内容
- 用优化算法,日志记录对整体文件操作影响非常小
- 是一个全64-bit的文件系统,最大可以支持8EB的文件系统,而支持单个文件则达到8EB
- 能以接近裸设备I/O的性能存储数据
查前支持的文件系统:
cat /proc/filesystems
2.2.3 文件系统的组成部分
- 内核中的模块:ext4, xfs, vfat
- Linux的虚拟文件系统:VFS
- 用户空间的管理工具:mkfs.ext4, mkfs.xfs,mkfs.vfat
2.2.4 文件系统选择管理
2.2.4.1 创建文件系统
创建文件管理工具
mkfs命令:
(1) mkfs.FS_TYPE /dev/DEVICE
- ext4
- xfs
- btrfs
- vfat
(2) mkfs -t FS_TYPE /dev/DEVICE
- -L ‘LABEL’ 设定卷标
- mke2fs:ext系列文件系统专用管理工具
常用选项:
-t {ext2|ext3|ext4|xfs} 指定文件系统类型
-b {1024|2048|4096} 指定块 block 大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t ext3, mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode;不应该小于block大小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小,128---4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,...] 启用指定特性
-O ^FEATURE 关闭指定特性
2.2.4.2 查看和管理分区信息
blkid 可以查看块设备属性信息
格式:
blkid [OPTION]... [DEVICE]
常用选项:
- -U UUID 根据指定的UUID来查找对应的设备
- -L LABEL 根据指定的LABEL来查找对应的设备
- e2label:管理ext系列文件系统的LABEL
e2label DEVICE [LABEL]
findfs :查找分区
findfs [options] LABEL=<label>
findfs [options] UUID=<uuid>
案例:
sudo findfs LABEL=data
或者
sudo findfs UUID=<UUID>
上述命令中的LABEL=data或UUID=<UUID>应替换为您要查找的分区的标签或UUID;
执行命令后,findfs命令将返回与指定标签或UUID匹配的分区的设备路径。例如,如果名为/data的分区的设备路径为/dev/sdb1,则命令的输出如下所示:
/dev/sdb1
使用findfs命令查找特定分区的设备路径,这对于在脚本或其他自动化任务中获取分区设备路径比较常用。注意的是,在使用findfs命令时,应确保提供正确的标签或UUID以获取准确的结果。
tune2fs:重新设定ext系列文件系统可调整参数的值
-l 查看指定文件系统超级块信息;super block
-L 'LABEL’ 修改卷标
-m # 修预留给管理员的空间百分比
-j 将ext2升级为ext3
-O 文件系统属性启用或禁用, –O ^has_journal
-o 调整文件系统的默认挂载选项,–o ^acl
-U UUID 修改UUID号
dumpe2fs:显示ext文件系统信息,将磁盘块分组管理
- -h:查看超级块信息,不显示分组信息
案例:查看ext文件系统的元数据和块组信息
[root@centos8 ~]#dumpe2fs /dev/sda1
xfs_info:显示示挂载或已挂载的 xfs 文件系统信息
xfs_info mountpoint|devname
案例:
[root@centos8 ~]#xfs_info /dev/sda1
超级块和INODE TABLE
块组描述符表(GDT)
ext文件系统每一个块组信息使用32字节描述,这32个字节称为块组描述符,所有块组的块组描述符组成块组描述符表GDT(group descriptor table)。虽然每个块组都需要块组描述符来记录块组的信息和属性元数据,但是不是每个块组中都存放了块组描述符。将所有块组的块组信息组成一个GDT保存,并将该GDT存放于某些块组中,类似存放superblock和备份superblock的块
2.2.4.3 文件系统检测和修复
文件系统夹故障常发生于死机或者非正常关机之后,挂载为文件系统标记为“no clean”
注意:一定不要在挂载状态下执行下面命令修复
fsck: File System Check
fsck.FS_TYPE
fsck -t FS_TYPE
注意:FS_TYPE 一定要与分区上已经文件类型相同
常用选项:
-a 自动修复
-r 交互式修复错误
e2fsck:ext系列文件专用的检测修复工具
-y 自动回答为yes
-f 强制修复
-p 自动进行安全的修复文件系统问题
xfs_repair:xfs文件系统专用检测修复工具
常用选项:
-f 修复文件,而设备
-n 只检查
-d 允许修复只读的挂载设备,在单用户下修复 / 时使用,然后立即reboot
案例:修改破坏的ext文件系统
1 以超级用户或具有适当权限的用户身份登录到系统。
2 卸载损坏的文件系统:
sudo umount /dev/sdXY
将/dev/sdXY替换为损坏文件系统的设备路径,例如/dev/sda1
3 运行文件系统检查命令以修复损坏的文件系统。对于ext2、ext3或ext4文件系统,可以使用e2fsck命令:
sudo e2fsck -y /dev/sdXY
注意,-y选项将自动应答所有问题,确保修复过程中无需手动干预。如果希望手动处理问题,请省略该选项。
4 在修复过程中,e2fsck命令将扫描文件系统,并尝试修复任何损坏的数据结构。如果发现问题,它可能会询问是否要修复它们,可以根据需要进行选择;
5 修复完成后,重新挂载文件系统:
sudo mount /dev/sdXY /mnt
将/dev/sdXY替换为修复后文件系统的设备路径,例如/dev/sda1;/mnt是一个示例挂载点,可以将其替换为适合的环境的挂载点。
记住,文件系统修复不是每次都能成功恢复所有数据,并且还有可能会导致进一步的数据损坏;所以,在执行修复之前,一定要确保已经备份了重要的数据,如果真的恢复不了,就只能找专业搞这活的人了!!!
2.3 挂载
- 挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系,进而使得此目录做为其它文件访问入口的行为
- 卸载:为解除此关联关系的过程
- 把设备关联挂载点:mount Point
- 挂载点下原有文件在挂载完成后会被临时隐藏,因此,挂载点目录一般为空
- 进程正在使用中的设备无法被卸载
2.3.1 挂载文件系统 mount
格式:
mount [-fnrsvw] [-t vfstype] [-o options] device mountpoint
device:指明要挂载的设备
- 设备文件:例如:/dev/sda5
- 卷标:-L ‘LABEL’, 例如 -L ‘MYDATA’
- UUID: -U ‘UUID’:例如 -U ‘0c50523c-43f1-45e7-85c0-a126711d406e’
- 伪文件系统名称:proc, sysfs, devtmpfs, configfs
mountpoint:挂载点目录必须事先存在,建议使用空目录
mount 常用命令选项
-t fstype 指定要挂载的设备上的文件系统类型,如:ext4,xfs
-r readonly,只读挂载
-w read and write, 读写挂载
-n 不更新/etc/mtab,mount不可见
-a 自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中,且挂载选项中有
auto功能)
-L 'LABEL' 以卷标指定挂载设备
-U 'UUID' 以UUID指定要挂载的设备
-B, --bind 绑定目录到另一个目录上
-o options:(挂载文件系统的选项),多个选项使用逗号分隔
async 异步模式,内存更改时,写入缓存区buffer,过一段时间再写到磁盘中,效率高,但不安全
sync 同步模式,内存更改时,同时写磁盘,安全,但效率低下
atime/noatime 包含目录和文件
diratime/nodiratime 目录的访问时间戳
auto/noauto 是否支持开机自动挂载,是否支持-a选项
exec/noexec 是否支持将文件系统上运行应用程序
dev/nodev 是否支持在此文件系统上使用设备文件
suid/nosuid 是否支持suid和sgid权限
remount 重新挂载
ro/rw 只读、读写
user/nouser 是否允许普通用户挂载此设备,/etc/fstab使用
acl/noacl 启用此文件系统上的acl功能
loop 使用loop设备
_netdev 当网络可用时才对网络资源进行挂载,如:NFS文件系统
defaults 相当于rw, suid, dev, exec, auto, nouser, async
挂载规则:
- 一个挂载点同一时间只能挂载一个设备
- 一个挂载点同一时间挂载了多个设备,只能看到最后一个设备的数据,其它设备上的数据将被隐藏
- 一个设备可以同时挂载到多个挂载点
- 通常挂载点一般是已存在空的目录
2.3.2 卸载文件系统 umount
卸载时:可使用设备,也可以使用挂载点
umount 设备名|挂载点
2.3.3 查看挂载情况
查看挂载
#通过查看/etc/mtab文件显示当前已挂载的所有设备
mount
#查看内核追踪到的已挂载的所有设备
cat /proc/mounts
查看挂载点情况
findmnt MOUNT_POINT|device
查看正在访问指定文件系统的进程
lsof MOUNT_POINT
fuser -v MOUNT_POINT
终止所有在正访问指定的文件系统的进程
fuser -km MOUNT_POINT
2.3.4 持久挂载
将挂载保存到 /etc/fstab 中可以下次开机时,自动启用挂载
/etc/fstab格式帮助:
man 5 fstab
每行定义一个要挂载的文件系统,,其中包括共 6 项
- 要挂载的设备或伪文件系统:
设备文件
LABEL:LABEL=””
UUID:UUID=””
伪文件系统名称:proc, sysfs
- 挂载点:必须是事先存在的目录
- 文件系统类型:ext4,xfs,iso9660,nfs,none
- 挂载选项:defaults ,acl,bind
- 转储频率:0:不做备份 1:每天转储 2:每隔一天转储
- fsck检查的文件系统的顺序:允许的数字是0 1 20:不自检 ,1:首先自检;一般只有rootfs才用 2:非rootfs使用
添加新的挂载项,需要执行下面命令生效
mount -a
案例:centos7, 8 /etc/fstab 的分区UUID错误,无法启动
自动进入emergency mode,输入root 密码
#cat /proc/mounts 可以查看到/ 以rw方式挂载
#vim /etc/fstab
#reboot
案例:centos 6 /etc/fstab 的分区UUID错误,无法启动
如果/etc/fstab 的挂载设备出错,比如文件系统故障,并且文件系统检测项(即第6项为非0),将导致无法启动
自动进入emergency mode,输入root 密码
#cat /proc/mounts 可以查看到/ 以ro方式挂载,无法直接修改配置文件
#mount -o remount,rw /
#vim /etc/fstab
将故障行的最后1项,即第6项修改为0,开机不检测此项挂载设备的健康性,从而忽略错误,能实现启动
查看/etc/fstab格式
[root@centos7 ~]#cat /etc/fstab
[root@centos6 ~]#cat /etc/fstab
2.4 处理交换文件和分区
2.4.1 swap 介绍
swap交换分区是系统RAM的补充,swap 分区支持虚拟内存。当没有足够的 RAM 保存系统处理的数据时会将数据写入 swap 分区,当系统缺乏 swap 空间时,内核会因 RAM 内存耗尽而终止进程。配置过多 swap 空间会造成存储设备处于分配状态但闲置,造成浪费,过多 swap 空间还会掩盖内存泄露
注意:为优化性能,可以将swap 分布存放,或高性能磁盘存放
系统中的 RAM 量 |
推荐的 swap 空间 |
允许休眠的建议 swap 空间大小 |
低于 2 GB |
RAM 量的2倍 |
RAM 容量的三倍 |
2 GB – 8 GB |
等于 RAM 量 |
RAM 量的倍数 |
8 GB – 64 GB |
4 GB 到 RAM 容量的 0.5 倍 |
RAM 容量的 1.5 倍 |
超过 64 GB |
独立负载(至少 4GB) |
不建议使用休眠功能 |
2.4.2 交换分区实现过程
- 1. 创建交换分区或者文件
- 2. 使用mkswap写入特殊签名
- 3. 在/etc/fstab文件中添加适当的条目
- 4. 使用swapon -a 激活交换空间
启用swap分区
swapon [OPTION]... [DEVICE]
选项:
-a:激活所有的交换分区
-p PRIORITY:指定优先级,也可在/etc/fstab 在第4列指定:pri=value
案例:创建swap分区
1 使用超级用户或具有适当权限的用户身份登录到系统。
2 确定要创建Swap分区的设备,可以使用以下命令查看当前的磁盘和分区信息:
sudo fdisk -l
识别要用于Swap分区的设备,例如/dev/sdb。
3 使用fdisk或其他分区管理工具对设备进行分区,执行命令:
sudo fdisk /dev/sdb
这将会打开/dev/sdb设备的分区编辑器
4 在分区编辑器中,按照提示创建一个新的分区;通常,可以按下n键创建一个新分区,然后选择分区类型和分区大小;对于Swap分区,建议使用Linux Swap类型,并根据需要选择适当的大小;完成后,保存分区更改并退出分区编辑器。
5 格式化Swap分区,使用以下命令将新创建的分区格式化为Swap文件系统:
sudo mkswap /dev/sdb1
将/dev/sdb1替换为您创建的Swap分区的设备路径。
6 启用Swap分区,执行以下命令:
sudo swapon /dev/sdb1
这将启用新创建的Swap分区。
7 验证Swap分区是否已成功启用,使用以下命令检查系统中的Swap分区情况:
sudo swapon --show
如果成功,您应该能够看到列出了您的Swap分区。
8(可选)将Swap分区添加到/etc/fstab文件中以在系统启动时自动启用。打开/etc/fstab文件,并在文件末尾添加以下行:
/dev/sdb1 none swap defaults 0 0
将/dev/sdb1替换为您的Swap分区的设备路径,保存并关闭文件。
禁用swap分区:
swapoff [OPTION]... [DEVICE]
案例:禁用swap分区
[root@centos8 ~]#sed -i.bak '/swap/d' /etc/fstab
[root@centos8 ~]#swapoff -a
SWAP的优先级
可以指定swap分区0到32767的优先级,值越大优先级越高;
如果用户没有指定,那么核心会自动给swap指定一个优先级,这个优先级从-1开始,每加入一个新的没有用户指定优先级的swap,会给这个优先级减一;
先添加的swap的缺省优先级比较高,除非用户自己指定一个优先级,而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)
2.4.3 swap的使用策略
/proc/sys/vm/swappiness 的值决定了当内存占用达到一定的百分比时,会启用swap分区的空间
[root@centos8 ~]# cat /proc/sys/vm/swappiness
30
[root@centos7 ~]#cat /proc/sys/vm/swappiness
30
说明:内存在使用到100-30=70%的时候,就开始出现有交换分区的使用。简单地说这个参数定义了系统对swap的使用倾向,默认值为30,值越大表示越倾向于使用swap。可以设为0,这样做并不会禁止对swap的使用,只是最大限度地降低了使用swap的可能性
2.5 移动介质
- 挂载意味着使外来的文件系统看起来如同是主目录树的一部分,所有移动介质也需要挂载,挂载点通常在/media 或/mnt下
- 访问前,介质必须被挂载
- 摘除时,介质必须被卸载
- 按照默认设置,非根用户只能挂载某些设备(光盘、DVD、软盘、USB等等)
2.5.1 使用光盘
在图形环境下自动启动挂载/run/media//
手工挂载
mount /dev/cdrom /mnt/
操作光盘
eject #弹出光盘
eject -t #弹入光盘
创建ISO文件
cp /dev/cdrom /root/centos.iso
mkisofs -r -o /path/to/output.iso /path/to/source
将/path/to/output.iso替换为希望保存ISO文件的路径和文件名,将/path/to/source替换为包含要创建ISO文件的文件和目录的路径。
刻录光盘
wodim –v –eject centos.iso
将ISO制作为U盘工具Rufus
官网: http://rufus.ie/
Rufus 是一个开源免费的快速制作 U 盘系统启动盘和格式化 USB 的实用小工具,它可以快速把 ISO 格式的系统镜像文件快速制作成可引导的 USB 启动安装盘,支持 Windows 或 Linux 启动。Rufus 小巧玲珑,软件体积仅 7 百多 KB。
2.5.2 USB介质
查看USB设备是否识别
lsusb #来自于usbuntils包
被内核探测为SCSI设备
- /dev/sdaX、/dev/sdbX或类似的设备文件
- 在图形环境中自动挂载在/run/media//
手动挂载
mount /dev/sdX# /mnt
案例:插入U盘后可以看到日志信息
[root@centos7 ~]#tail /var/log/messages -f
案例:格式化U盘为 FAT32 文件系统
[root@centos7 ~]#yum -y install dosfstools
[root@centos7 ~]#mkfs.vfat /dev/sdd1
[root@centos7 ~]#mount /dev/sdd1 /mnt
案例:查看USB设备
[root@centos7 ~]#yum -y install usbutils
[root@centos7 ~]#lsusb
2.6 磁盘常见工具
2.6.1 文件系统空间实际真正占用等信息的查看工具 df
df [OPTION]... [FILE]...
常用选项
-H 以10为单位
-T 文件系统类型
-h human-readable
-i inodes instead of blocks
-P 以Posix兼容的格式输出
案例:
[root@centos7 ~]#df -Th
[root@centos7 ~]#lsblk -f
2.6.2 查看某目录总体空间实际占用状态 du
显示指定目录下面各个子目录的大小,单位为KB
du [OPTION]... DIR
常用选项
-h human-readable
-s summary
--max-depth=# 指定最大目录层级
-x, --one-file-system 忽略不在同一个文件系统的目录
案例:
[root@centos7 ~]#du -sh /*
[root@centos7 /]#du -h -x --max-depth=1
2.6.3 工具 dd
dd 命令:convert and copy a file
格式:
dd if=/PATH/FROM/SRC of=/PATH/TO/DEST bs=# count=#
常用选项
if=file 从所命名文件读取而不是从标准输入
of=file 写到所命名的文件而不是到标准输出
ibs=size 一次读size个byte
obs=size 一次写size个byte
bs=size block size, 指定块大小(既是是ibs也是obs)
cbs=size 一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 复制n个bs
conv=conversion[,conversion...] 指定的参数转换文件
conversion 转换参数:
ascii 转换 EBCDIC 为 ASCII
ebcdic 转换 ASCII 为 EBCDIC
lcase 把大写字符转换为小写字符
ucase 把小写字符转换为大写字符
nocreat 不创建输出文件
noerror 出错时不停止
notrunc 不截短输出文件
sync 把每个输入块填充到ibs个字节,不足部分用空(NUL)字符补齐
fdatasync 写完成前,物理写入输出文件
案例:
[root@centos7 ~]#cat f1.txt;
abcdef
[root@centos7 ~]#cat f2.txt
123456789
[root@centos7 ~]#dd if=f1.txt of=f2.txt bs=1 count=2 skip=3 seek=4
2+0 records in
2+0 records out
2 bytes copied, 6.6515e-05 s, 30.1 kB/s
#备份MBR
dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1
#破坏MBR中的bootloader
dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446
#有一个大与2K的二进制文件fileA。现在想从第64个字节位置开始读取,需要读取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置,替换128Bytes,实现如下
dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc
#将本地的/dev/sdx整盘备份到/dev/sdy
dd if=/dev/sdx of=/dev/sdy
#将/dev/sdx全盘数据备份到指定路径的image文件
dd if=/dev/sdx of=/path/to/image
#备份/dev/sdx全盘数据,并利用gzip压缩,保存到指定路径
dd if=/dev/sdx | gzip >/path/to/image.gz
#将备份文件恢复到指定盘
dd if=/path/to/image of=/dev/sdx
#将压缩的备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/sdx
#将内存里的数据拷贝到root目录下的mem.bin文件
dd if=/dev/mem of=/root/mem.bin bs=1024
#拷贝光盘数据到root文件夹下,并保存为cdrom.iso文件
dd if=/dev/cdrom of=/root/cdrom.iso
#销毁磁盘数据
dd if=/dev/urandom of=/dev/sda1
#通过比较dd指令输出中命令的执行时间,即可确定系统最佳的block size大小
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
dd if=/dev/zero of=/root/1Gb.file bs=2048 count=500000
dd if=/dev/zero of=/root/1Gb.file bs=4096 count=250000
#测试硬盘写速度
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
#测试硬盘读速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null