linux 快速生成大文件、测试磁盘的读写IO速度
一、linux 快速生成大文件
dd命令
dd if=/dev/zero of=file bs=1M count=1000
会生成一个1G的file 文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源)。
此命令可以生成一个实际的10G的文件,文件会写入硬盘,文件产生的速度和硬盘读写速度有关系,读写速度越快,产生文件越快。
如果只想产生一个大文件的数据,但是并不需要占用磁盘空间,则可以使用如下命令:
dd if=/dev/zero of=file bs=1M count=0 seek=1000
此时创建的文件在文件系统中的显示大小为1G,但是并不实际占用磁盘,因此创建速度与内存速度相当。
seek的作用是跳过输出文件中指定大小的部分,这就达到了创建大文件,但是并不实际写入的目的。
当然,因为不实际写入硬盘,所以你在容量只有1G的硬盘上创建100G的此类文件都是可以的。
二、linux下测试磁盘的读写IO速度
1、使用hdparm命令
这是一个是用来获取ATA/IDE硬盘的参数的命令,是由早期Linux IDE驱动的开发和维护人员 Mark Lord开发编写的( hdparm has been written by Mark Lord <mlord@pobox.com>, the primary developer and maintainer of the (E)IDE driver for Linux, with suggestions from many netfolk).该命令应该也是仅用于Linux系统,对于UNIX系统,ATA/IDE硬盘用的可能比较少,一般大型的系统都是使用磁盘阵列的.
使用方法很简单
[root@my1-222 ~]# hdparm -Tt /dev/sda3
/dev/sda3:
Timing cached reads: 13034 MB in 2.00 seconds = 6527.09 MB/sec
Timing buffered disk reads: 194 MB in 5.60 seconds = 34.64 MB/sec
[root@my1-222 ~]#
可以看到,2秒钟读取了13034MB的缓存,约合6527.09 MB/sec;
在3.11秒中读取了194MB磁盘(物理读),读取速度约合4.64 MB/sec
2:使用dd命令
这不是一个专业的测试工具,不过如果对于测试结果的要求不是很苛刻的话,平时可以使用来对磁盘的读写速度作一个简单的评估.另外由于这是一个免费软件,基本上×NIX系统上都有安装。
首先了解两个特殊设备
/dev/null 伪设备,回收站.写该文件不会产生IO
/dev/zero 伪设备,会产生空字符流,对它不会产生IO
测试方法:
a.测试磁盘的IO写速度
time dd if=/dev/zero of=test.dbf bs=8k count=300000 # 如果要测试实际速度 还要在末尾加上 oflag=direct测到的才是真实的IO速度
b.测试磁盘的IO读速度
dd if=test.dbf bs=8k count=300000 of=/dev/null
#表示 每次写入/读取8k的数据,执行300000次
dd命令可以通用,但不够专业,也没有考虑到缓存和物理读的区分,测试的数据也是仅作参考,不能算是权威。
[root@my1-222 ~]# time dd if=/dev/zero of=test.dbf bs=8k count=300000
300000+0 records in
300000+0 records out
2457600000 bytes (2.5 GB) copied, 2.50417 s, 981 MB/s
real 0m2.537s
user 0m0.023s
sys 0m2.070s
[root@my1-222 ~]# time dd if=/dev/zero of=test.dbf bs=8k count=300000 oflag=direct
300000+0 records in
300000+0 records out
2457600000 bytes (2.5 GB) copied, 25.4357 s, 96.6 MB/s
real 0m25.550s
user 0m0.010s
sys 0m13.655s
[root@my1-222 ~]#
[root@my1-222 ~]# dd if=test.dbf bs=8k count=300000 of=/dev/null
300000+0 records in
300000+0 records out
2457600000 bytes (2.5 GB) copied, 1.94773 s, 1.3 GB/s
[root@my1-222 ~]#
dd命令解释
dd if= of= bs= skip= seek= conv=
一定不要搞混 source 和 target,不然数据会丢失。所以 dd 平时用着顺手就叫它 dd,但是不小心把数据弄没了就该哭着叫它 Data Destroyer了。
一般它的常用参数有:
bs=n,block size,每次读取 n bytes 写入,可与 count 联用;
ibs=n,一次读入 bytes 个字节 (default is 512);
obs=n,一次性写 n bytes 个字节 (default is 512);
bs 可以同时设置上边两个参数;
cbs=n,一次转换 n 个 bytes,即转换缓冲区大小。;
count=n, bs 操作的次数,仅拷贝 n 个块,如 dvd: bs=1M count=4430;
skip=n,指 if 后面的原文件跳过 n bytes 再开始读取;
seek=n,指 of 后面的目标文件跳过 n bytes 再开始写入;
测试IO同时读和写的速度
[root@my1-222 ~]# time dd if=/dev/sda1 of=test.dbf bs=8k count=300000
25600+0 records in
25600+0 records out
209715200 bytes (210 MB) copied, 2.23626 s, 93.8 MB/s
real 0m2.394s
user 0m0.002s
sys 0m0.352s
[root@my1-222 ~]#
(同时测试读写速度时生成一个大小200M的 test.dbf文件)
上面测试的数据量比较小,仅作为参考.
相关文章
- linux下实现目录即文件的完整删除
- linux,卸载文件系统的时候,报busy情况的解决记录
- linux $HOME $PATH代表的路径是什么?
- Linux 文件与目录管理
- Linux中显示系统中USB信息的lsusb命令
- Linux下shell编程实例
- Linux有问必答:怎么用CheckInstall从源码创建一个RPM或DEB包
- 如何在 Linux 中查找一个文件
- linux shadow文件*,Linux /etc/shadow文件详解
- 在docker中安装代理服务器 SQUID | Linux代理服务器
- linux下使用grep在当前目录下搜索所有文件中含有的字符串
- Linux文件常用命令
- linux core文件设置
- 《循序渐进Linux(第2版) 基础知识 服务器搭建 系统管理 性能调优 虚拟化与集群应用》——4.3 文件管理与编辑
- nginx验证微信文件(linux服务器添加校验文件)
- Linux 内核 /sys/class类
- linux下解决vim打开文件乱码现象
- linux 系统自带的 messages 和 /tmp 下文件清理功能 介绍
- Linux-028-Python Anaconda 安装配置
- 《构建高可用Linux服务器 第3版》—— 2.6 检查机房应注意的位置和细节问题
- 介绍两款Linux文件恢复工具,ext3grep与extundelete https://www.cnblogs.com/lazyfang/p/7699994.html
- linux c获取mac
- Linux必须熟记的文件
- linux下安装mysql
- Linux - SquashFS文件系统
- Linux 之 文件搜索命令
- Linux 写一个自己的bash版本3.0(收官)