大文件分割与重组技巧
文件 技巧 分割 重组
2023-06-13 09:15:04 时间
简述
由于各种不同的问题,我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G,比如我们想把某一个数据文件分割存储和查看,比如对日志文件进行分割保存等等。
在ubuntu下,这个工作其实相当简单,只需要牵涉到两个命令:split、cat.
文件分割--split
split命令用来将一个大文件分割成多个小文件,可以固定大小分割(常用于分割二进制文件),还可以固定行数分割(常用于分割文本文件)。
按行分割
$ split -l 10 data subdata-
$ ls
data subdata-ab subdata-ad subdata-af subdata-ah subdata-aa subdata-ac subdata-ae subdata-ag
-l参数指定每个文件的行数,然后带分割的数据文件,以及分割后重新命名的文件前缀。默认分割出的文件是固定前缀加字典序,这样也是为了方便重组是不扰乱顺序。
按大小分割
$ split -b 10M data subdata-
-b参数指定用二进制分割,也就是指定文件大小,剩下的与按行分割类似。
用数字后缀
如果不喜欢英文字母后缀,我们可以用-d参数表示我们期望用数字来表示顺序。
$ split -d -l 10 data subdata-
$ ls
data subdata-00 subdata-01 subdata-02 subdata-03 subdata-04
文件重组--cat
一直以为cat就是用来显示文件的。。其实cat本来的用途就是文件的组合。
对于用split命令生成的以subdata-为固定前缀的文件:
subdata-00 subdata-01 subdata-02 subdata-03 subdata-04
我们可以非常方便的用cat命令进行组合,而不影响文件顺序:
$ cat subdata-* >data
相关文章
- jsp使用uploadify前台上传文件详解编程语言
- Linux下如何删除文件的技巧(linux如何删除文件)
- Linux系统下编译文件快速指南(linux编译文件)
- Linux查看文件系统分区的技巧(linux查看文件分区)
- 编辑Vim中Linux文件的编辑与管理(linux的vim文件)
- Linux中妙用文件处理技巧(linux处理文件)
- Linux 修改文件属组的步骤(linux更改文件属组)
- Linux快速搜索技巧:精确定位文件(linux在文件中搜索)
- fileLinux下编辑文件的操作技巧(linuxedit)
- Linux环境下的文件脚本编写技巧(linux文件脚本)
- Linux下的库文件使用与管理技巧(libslinux)
- 【实用技能】轻松学会 Linux 文件查看技巧(linux如何查看文件)
- 快速高效解压大文件,Linux小技巧助你轻松释放储存空间(linux解压大文件)
- 掌握Linux命令行编辑技巧,实现文件保存(linux命令行保存)
- 高效易用的Linux上传软件推荐(linux上传文件软件)
- 深入探究:Linux下日志文件使用方法与技巧(linux下日志文件)
- 掌握Linux文件编辑:简单易懂的操作技巧(linux文件编辑)
- 快速实现Linux文件复制的技巧与方法(linux的文件复制)
- 掌握技巧:linux中如何查看隐藏的文件(linux查看隐藏的文件)
- 快捷高效:Linux拼接文件的技巧(linux拼接文件)
- Linux文件删除技巧:轻松学会如何删除文件(linux里怎么删除文件)
- 深入研究MySQL中IBD文件的工作原理与使用技巧(mysql中ibd文件)
- 动态加载js文件document.createElement
- asp.net遍历目录文件夹和子目录所有文件