第十五节 磁盘原理

标签（空格分隔）： Linux实战教学笔记

1，知识扩展

非脚本方式的一条命令搞定批量创建用户并设置随机10位字母数字组合密码。

1.1 sed的高级用法

[root@chensiqi1 ~]# echo chen{01..03}   #通配符创建用户
chen01 chen02 chen03
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1 #xargs将输出变成单列
chen01
chen02
chen03
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1|sed -r \'s#(.*)#useradd &#\' #拼接字符串
useradd chen01
useradd chen02
useradd chen03
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1|sed -r \'s#(.*)#useradd & \&\& ps=`echo $RANDOM|md5sum|cut -c1-10`#\'   #创建10位随机密码
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10`
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10`
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10`
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1|sed -r \'s#(.*)#useradd & \&\& ps=`echo $RANDOM|md5sum|cut -c1-10` \&\& echo $ps | passwd --stdin &#\' #免交户设置密码
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen01
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen02
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen03
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1|sed -r \'s#(.*)#useradd & \&\& ps=`echo $RANDOM|md5sum|cut -c1-10` \&\& echo $ps | passwd --stdin & \&\& echo "&:$ps">>/tmp/useradd_passwd#\'  #将随机密码写入固定文件
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen01 && echo "chen01:$ps">>/tmp/useradd_passwd
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen02 && echo "chen02:$ps">>/tmp/useradd_passwd
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin chen03 && echo "chen03:$ps">>/tmp/useradd_passwd
[root@chensiqi1 ~]# echo chen{01..03}|xargs -n1|sed -r \'s#(.*)#useradd & \&\& ps=`echo $RANDOM|md5sum|cut -c1-10` \&\& echo $ps | passwd --stdin & \&\& echo "&:$ps">>/tmp/useradd_passwd#\'|bash    #把拼接的字符串交给bash执行命令
Changing password for user chen01.
passwd: all authentication tokens updated successfully.
Changing password for user chen02.
passwd: all authentication tokens updated successfully.
Changing password for user chen03.
passwd: all authentication tokens updated successfully.
[root@chensiqi1 ~]# cat /tmp/useradd_passwd   #查看密码文件
chen01:fd0721e461
chen02:a2bcb12670
chen03:25c6957b85

1.2 awk的次高级用法（还不能完全体现awk的强大）

[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 #批量创建用户                        
chen01
chen02
chen03
[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 | awk \'{print "useradd",$0}\'  #拼接字符串
useradd chen01
useradd chen02
useradd chen03
[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 | awk \'{print "useradd",$0,"&& ps=`echo $RANDOM|md5sum|cut -c1-10`"}\' #创建10位随机密码
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10`
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10`
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10`
[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 | awk \'{print "useradd",$0,"&& ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin",$0}\'  #免交户设置密码
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen01
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen02
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen03
[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 | awk \'{print "useradd",$0,"&& ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin",$0,"&&   echo",$0":$ps>>/tmp/useradd_passwd"}\' #将账号信息写入固定文件
useradd chen01 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen01 && echo chen01:$ps>>/tmp/useradd_passwd
useradd chen02 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen02 && echo chen02:$ps>>/tmp/useradd_passwd
useradd chen03 && ps=`echo $RANDOM|md5sum|cut -c1-10` && $ps | passwd --stdin chen03 && echo chen03:$ps>>/tmp/useradd_passwd
[root@chensiqi1 ~]# echo chen{01..03} | xargs -n1 | awk \'{print "useradd",$0,"&& ps=`echo $RANDOM|md5sum|cut -c1-10` && echo $ps | passwd --stdin",$0,"&& echo",$0":$ps>>/tmp/useradd_passwd"}\'|bash #将拼接的字符串交给bash执行
Changing password for user chen01.
passwd: all authentication tokens updated successfully.
Changing password for user chen02.
passwd: all authentication tokens updated successfully.
Changing password for user chen03.
passwd: all authentication tokens updated successfully.
[root@chensiqi1 ~]# cat /tmp/useradd_passwd  #查看文件内容
chen01:a855e2cd51
chen02:3b71412cdc
chen03:14c12c0089

2，磁盘知识详解

2.1磁盘知识的体系结构

2.2 回顾Linux buffer和cache的区别

[root@chensiqi1 ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           980        407        572          0         82        191
-/+ buffers/cache:        133        847
Swap:          767          0        767

提示：
1）linux系统的特性是将系统不用的物理内存做为缓存区缓冲区使用，因此572不是系统的真是内存。
2）系统真正的可用内存是847M
3）buffers为写入缓冲区，sync将缓冲区数据写入磁盘
4）cache为读取数据的缓存区
5）硬盘是机械的，无论是写入还是读取都太慢了，所以读取和写入都是用了缓存及缓冲技术。
6）门户架构网站都会用缓存技术，来让用户写入读取尽可能不接触磁盘，或者说把用户的请求尽可能往前推。

2.3 磁盘

2.3.1 固态硬盘与普通磁盘比较，拥有以下优点

2.3.2 固态磁盘SSD缺点

固态磁盘与传统磁盘比较，拥有以下缺点：

2.3.3 SSD固态磁盘与传统机械磁盘优劣对比

上表是对固态磁盘和传统磁盘特性的一个比较。从中可以看出固态盘的优势和缺点。
重要优势：随机存取速度，功耗，防震，重量方面优势很大。
重要缺点：容量，价格，写寿命，数据恢复难

2.4 生产环境磁盘的选型和应用案例

2.4.1 生产工作中服务器的选型

DELL，HP，IBM等，其中DELL，HP是互联网公司的主流服务器，这两个品牌的服务器综合性价比比较高。百度很多用IBM的服务器，后面的章节会细说，这里就不多做介绍了。

2.4.2 企业生产工作中磁盘的选型

磁盘：
当前服务器市场：主流磁盘为SAS，SATA，SSD硬盘

1）企业级SAS硬盘（默认）

• 企业里常见的SAS硬盘是15000转／分（这里是主轴的转数）。当前主流300G，600G，1000G，从具体的业务需求及性价比考虑，我在工作中多用300-600G的SAS硬盘。
• 一般选6300G，6600G，单盘容量不要太大，除非纯备份！（比如RAID 5，磁盘越大损失越大 ）
• 用途：用于提供生产线上的普通对外提供服务的业务服务器：
• 例如：生产线上的数据库业务，存储业务，图片业务及相关高并发业务（web http，cache服务），总的来说，如果没有特殊业务需求，SAS磁盘是生产环境首选的磁盘配置。

2）企业级SATA硬盘：
企业级SATA硬盘，7200-10000转／分，常见的容量为1T和2T，4T，6T，优点是经济实惠，容量大，从具体的业务需求及性价比考虑，我在工作中多用SATA磁盘做线下不提供服务的数据存储或者并发业务访问不是很大的业务应用。比如站点程序及数据库，图片的线下备份等。
特性：容量性价比高，一般2T的SATA磁盘较佳

磁盘选购小结：
1）线上的业务，用SAS磁盘。
2）线下的业务，用SATA磁盘，磁带库
3）线上高并发，小容量的业务，SSD磁盘
4）成本思想：根据数据的访问热度（热点存储），智能分析分层存储。SATA+SSD

特别注意：
【企业案例】千万不要用SATA磁盘来做在线高并发服务的数据存储或数据库业务，这是有教训的。
某公司采用SATA做数据库的存储盘，结果导致数据库连续当机一月。
5台SATA盘RAID5
解决：重新买5台，把磁盘从SATA（RAID5）换成SAS（RAID10）。6个月内没事。

3）SSD固态电子盘：
特点：容量小，价格贵，速度快。一般用于数据量小并且有超大规模高并发的业务（这不是唯一的办法，还可以通过磁盘加内存缓存的技术方式解决这个大规模并发的问题）
百度，腾讯，360核心业务都会采用SSD磁盘，应用层也必须已经做了各种缓存。
特别提示：
大公司如taobao，某些业务可能会根据数据的热度来综合使用分层存储，以达到性价比最佳的情况。80GSSD+500GSATA

2.4.3 不同类型磁盘的一些使用数据比较

2.4.4 不同类型磁盘的价格容量普及度对比

生产环境主流磁盘的相关信息对比：
企业生产普及程度：SAS>SATA>SSD
单位容量对比性能价格：SSD>SAS>SATA
单位价格购买磁盘容量：SATA>SAS>SSD

当前的工作，SAS，SATA是主流生产环境使用，SSD固态磁盘，效率最高，非机械式的，是电子设备，价格高。

2.4.5 淘宝网CDN缓存对象分级存储策略案例

提出问题：
在存储数据中，18KB以下的对象数量占总数的80%，而其存储量占总量不到40%；同时，80%经常被访问的对象所占用的存储空间不到总量20%。

分析问题：
以上的问题意味着“热点数据”（即访问频次高的内容）需要更快的性能，而占的空间并不大，而“冷数据”（访问频次低的内容）所需存储量很大，对性能要求不需要高。

解决问题：
因此，服务器引入分层存储机制，单台服务器（实际会多台）的磁盘可由一块80GB的SSD磁盘和两块500GB的SATA盘组成。然后把“热数据”存放在SSD盘上，“冷数据”存放在SATA盘上，冷热数据可以动态调度，从而兼顾性能，容量与成本。另：分层存储调度软件由淘宝开发。
上面的策略是高效，低成本方案，这是我们运维工作要重视的，实际工作中不可能不考虑成本，而无限制的去提升性能。

3，磁盘知识与读写原理

3.1 磁盘相关名词翻译

3.2 磁盘内部相关名词知识

一般来说，一块磁盘有1个到数个盘片不等，其中每个盘片的有效盘面对应一个读写磁头，从上往下从0开始依次编号，不同的磁盘盘面在逻辑上被划分为磁道，柱面以及扇区，一般在出厂时就设定好了这些，磁盘及盘片的刨面如下图：

3.2.1 磁盘的磁头

• 磁盘的每个盘片的每个有效盘面都会有一个读写磁头（磁头数=盘片个数*2），磁盘盘面区域的划分如图所示：

• 在磁盘不工作的时候，磁头停靠在靠近主轴接触盘片的表面，即线速度最小的地方，这里是一个不存放任何数据的特殊区域，称为启停区或着陆区，启停区以外就是数据区。
• 在磁盘的最外圈，离主轴最远的磁道称为“0”磁道，磁盘数据的存放就是从最外圈“0”磁道开始的。既然磁盘数据从最外圈开始，而停止时磁头又是在最内圈启停区，那么磁头是如何找到“0”磁道的位置的呢？那是因为在磁盘中还有一个用来完成磁盘初始定位的“0”磁道检测器构件，由这个构件完成磁头对“0”磁道的定位。
• “0”磁道非常重要，我们知道，系统的引导程序就在0柱面0磁道1扇区的前446Bytes。

3.2.2 磁盘的盘面

磁盘的盘片一般是用铝合金材料或玻璃做基片。磁盘的每一个盘片都有两个盘面，即上，下盘面，一般来说，每个盘面都可以存储数据，成为有效盘面，也有极个别的磁盘盘面数为单数。每一个这样的有效盘面都有一个盘面号，按顺序从上至下从“0”开始依次编号。因为每一个有效盘面都有一个对应读写磁头，盘面号又叫磁头号。磁盘的盘片组在2～14片不等，通常有2～3个盘片（如300G15KSAS盘就是3个盘片），故盘面号（磁头号）0～3或0～5不等，注意：盘面个数等于磁头个数。

3.2.3 磁盘的磁道

• 磁盘在格式化时被划分成许多同心圆，这些同心圆的轨迹叫做磁道。磁道由盘面从外向内依次从0开始顺序编号。
• 磁盘的每一个盘面一般有300～1024个磁道，新式大容量磁盘每个磁盘每个盘面的磁道数可能会更多。信息以脉冲串的形式记录在这些轨迹中，这些同心圆轨迹不是连续的记录数据，而是被划分成一段段的圆弧，这些圆弧的角速度一样。由于径向长度不一样，所以，线速度也不一样，外圈的线速度较内圈的线速度大，即同样的转速下，外圈在同样时间段里，划过的圆弧长度要比内圈划过的圆弧长度大（但是读取到的数据是一样的）。这样的每段圆弧叫做一个扇区，扇区从“1”开始编号，每个山区中的数据做为一个单元同时读出或写入。一个标准的3.5寸磁盘盘面通常有300～1024个磁道。特别说明，磁道是“看”不见得，只是在盘面上以特殊形式磁化了的一些磁化区，我们给大家画的图片是磁道形象的展示，在磁盘格式化时就已规划完毕了。

提示：
前面讲过的，给磁盘分区实际就是划分柱面号及扇区号。
柱面是所有盘面上相同半径的不同磁道的集合。

3.2.4 磁盘的柱面

• 一个磁盘所有的盘面上同一个半径相同的磁道的圆形轨迹从上倒下依次组成一个圆柱体，就称作柱面，每个圆柱上的磁头由上而下从“0”开始编号。
• 一块磁盘的柱面数（或每个盘面的磁道�数）既取决于每条磁道的宽窄（也会与磁头的大小有关），也取决于定位机构所设定的磁道间步距的大小。这些都是在出厂前就完成设定的。特别注意：这里的柱面数和前面的磁道数是一样的。

3.2.5 磁盘的扇区

• 操作系统是以扇区为单位将信息存储在磁盘上的，一般情况下，每个扇区的大小是512字节。一个扇区主要有两部分内容：存储数据地点的标识符和存储数据的数据段。
  

• 扇区的第一个主要部分是标识符。标识符就是扇区头标，包括组成扇区三维地质的三个数字：扇区所在的磁头（或盘面），磁道（或柱面号）以及扇区在磁道上的位置即扇区号。头标中还包括一个字段，其中有显示扇区是否能可靠存储数据，或者是否已发现某个故障因而不宜使用的标记。
• 有些磁盘控制器在扇区头标中还记录有指示字，可在原扇区出错时指引磁盘转到替换扇区或磁道。最后，扇区头标以循环冗余校验（CRC）值做为结束，以供控制器检验扇区头标的读出情况，确保准确无误。
• 扇区的第二个主要部分是存储数据的数据段，可分为数据和保护数据的纠错码（ECC）。在初始准备期间，计算机用512个虚拟信息字节（实际数据的存放地）和与这些虚拟信息字节相应的ECC数字填入这个部分。

3.2.6 磁道柱面扇区总结

磁盘最基本的组成部分是由坚硬的金属材料制成的涂以磁性介质的盘片，不同容量磁盘的盘片数不等。

记忆要点：
1）一块磁盘有2-14个盘片，每个盘片有两个面，每个面对应一个读写磁头，用磁头号来区分盘面，即盘面数就是磁头数，盘片数*2=磁头数（盘面数）
2）不同盘面的磁道被划分为多个扇区区域，每个区域就是一个扇区（Sector）。
3）同一个盘面，以盘片中心为圆心，每个不同半径的圆形轨迹就是一个磁道。
4）不同盘面相同半径的磁道组成一个圆柱面就是柱面
5）一个柱面包含多个磁道（这些磁道的半径相同），一个磁道包含多个扇区。
6）数据信息记录可表示为：某磁头，某磁道（柱面），某扇区

3.2.7 一句话概括定义（磁道，扇区，柱面）

• 磁道：每个盘片有两个面，都可记录信息。盘片表面以盘片中心为圆心，用于记录数据的不同半径的圆形磁化轨迹就称为磁道。磁化轨迹是磁化区域，是看不见的。磁道看起来是一个平面圆周形
• 扇区：盘面由圆心向四周画直线==半径，不同的磁道被直线分成许多扇形的区域，每个弧形的区域叫做扇区，每个扇区大小一般为512字节，扇区看起来就是圆弧或扇形。
• 柱面：磁盘中，不同的盘片（或盘面）相同半径的磁道轨迹从上到下所组成的圆柱型区域就称为柱面，柱面看起来是一个圆柱形。

3.2.8 磁盘工作原理

磁盘的读写流程及原理
磁盘的数据读/写一般是按柱面进行的，即次头读/写数据时首先在同一柱面内从“0”磁头开始进行操作，依次向下在同一柱面的不同盘面即不同磁头上进行操作，只有�同一柱面所有的磁头全部读/写完毕后，磁头才转移到下一柱面（即寻道），因为切换磁头只需通过电子设备切换即可，而切换柱面则必须通过机械设备切换。电子磁头间的切换比机械磁头向临近磁道或柱面切换要快的多。所以，数据的读/写按柱面进行，而不按盘面进行。也就是说，一个磁道写满数据后，就在同一柱面的下一个盘面的相同半径磁道来写，一个柱面写满后，才移到下一个柱面开始写数据。读数据也按照这种方式进行，这样就大大提高了磁盘的读/写效率。

机械磁盘读写磁盘数据的原理小结
1）磁盘是按照柱面为单位读写数据的，即先读取同一个盘面的某一个磁道，读完之后，如果数据没有读完，磁头也不会切换其他的磁道，而是选择切换磁头，读取下一个盘面的相同半径的磁道，直到所有盘面的相同半径的磁道读取完成之后，如果数据还没有读写完成，才会切换其他不同半径的磁道，这个切换磁道的过程称为寻道。
2）不同磁头间的切换是电子切换，而不同磁道间的切换需要磁头做径向运动，这个径向运动需要步进电机调节，这个动作是机械的切换。
磁头寻道是机械运动，切换磁头是电子切换。

4，本部分重点小结：

1，名词：磁道（track），柱面（cylinder），扇区（sector）
2，数据在磁盘的位置，三维地址，0磁头0磁道1扇区。MBR 0磁头0磁道1扇区前446字节

3，磁盘读写数据原理

5，为了下一节的知识做准备，我们最后说一下DPT（磁盘分区表）中的每一个分区表项的结构。16字节的表项，由低到高字节，如下表所示：

说明：这就是一个磁盘分区的分区表，例如：/dev/sda1,使用fdisk，pated分区工具分区的实质就是改变上述64子节的分区表信息。