自动精简配置&重复数据删除核心技术点及其经济效应探究
首先介绍存储系统的自动精简配置(Thin Provisioning)技术。自动精简配置技术扩展了存储管理功能,虽然实际分配的物理容量小,但可以为操作系统提供超大容量的虚拟存储空间。随着应用写入的数据越来越多,实际存储空间也可以及时扩展,而无须手动扩展。换句话说,自动精简配置提供的是“运行时空间”,可以显著减少已分配但是未使用的存储空间。
如下左图所示为使用传统配置方式创建了3个卷。整个存储系统有2TB的可用存储空间。卷1的大小是500GB,其中有100GB实际数据,另外400GB是已经分配但是未使用的空间。卷2的大小是800GB,其中200GB实际数据,另外600GB为已分配但未使用的空间。卷3的大小是550GB,其中50GB实际数据,另外500GB为已分配但未使用的空间。整个存储系统有350GB的实际数据,1.5TB已分配但未使用的空间,并最后剩下150GB可用空间给其他应用。
同样的2TB存储系统采用自动精简配置技术之后,结果较传统方法有显著差异。系统管理员同样创建这3个卷,使用自动精简配置之后,由于存储空间是在数据写入过程中动态申请分配的,因此就不存在已分配但未使用的空间。所以采用自动精简配置之后整个存储系统里同样有350GB数据,但有1.65TB可用空间。相对于使用传统配置方式时的150GB,采用自动精简配置使得可用空间增加了11倍!
由此可以看出,采用自动精简配置可以把存储空间的利用率提高到近乎100%。
另外自动精简配置不仅可以提高存储空间的利用率,降低IT人员进行存储管理的复杂度,还可以极大减少存储系统扩容的规模,增加现有存储系统支持的应用服务器的数量。
以下对自动精简配置的优点进行简单的总结:
l 用户可以创建更多的卷,单个卷的空间可以更大,并可以动态地管理各个卷的大小。
l 用户可以在初次购买更少的存储介质,并在随后按需增加磁盘容量。
l 在创建卷时不需要进行深入的容量规划,减少IT管理人员存储配置的工作量,避免预估不当造成的存储空间浪费。或者存储空间不够导致后续中断业务以进行扩容升级。
l 存储介质的空间利用率显著提高,相应地在同样的存储空间下可以支持更多的应用服务器,提升存储系统的利用率。
存储介质的空间利用率显著提高,相应地在同样的存储空间下可以支持更多的应用服务器,提升存储系统的利用率。
重复数据删除(De-duplication)技术,主要是对存储数据流以一定的目标尺寸进行指纹校验,对于其中重复出现的数据单元,在实际写入存储介质时,只需记录相应的指纹记录位置即可,因此可以极大降低存储介质消耗。“去重率”这个参数就是用来定义重复数据删除中的优化率,它等于原数据大小除以去重之后的数据大小,实际去重率随去重模块部署在存储系统的位置以及数据的重复率有较大差异。对于次级备份数据,一般的去重率在10~20:1之间。另外还可以配合硬件压缩,像Hifn公司的DR系列硬件加速无损压缩板卡,可以在不影响备份设备性能的前提下取得2:1的压缩比。这样两者结合,可以实现20~40:1的数据缩减比。
当前重复数据删除主要被用于次级备份业务,一般和虚拟磁带库(VTL)处在同一位置。如果说IP-SAN市场的崛起是源于对链路要求从FC到IP的降级,那么支持重复数据删除的IP-SAN设备会更加加速这样的趋势。因为经过重复数据删除和压缩处理之后,应用产生的数据被大量缩减,使得之前利用FC构建的主存储和次级存储之间的链路的负担显著减轻,从而完全可以被更经济的IP链路所取代。
2009年,自动精简配置和重复数据删除这两种技术可以显著提升存储介质的利用率,进而提升存储系统的利用率,减小企业IT运营成本,降低管理成本,有利于企业在经济发展面临困境时顺利过冬。
来源:51CTO工作几年了,原来我只用了数据校验的皮毛~ 什么是 JSR-303? 内嵌的注解有哪些? 如何使用? 如何接收校验结果? BindingResult 接收 全局异常捕捉 spring-boot-starter-validation做了什么? 如何自定义校验? 自定义校验注解 自定义校验器
“从幼稚到成熟,是从不负责任到承担责任的过程” | 技术人金句系列 技术人做事情,判断力和分寸感很重要。有时候你遇到的困难和问题,可能别人早就经历过、克服过,并沉淀了与之匹配的“判断力”和“分寸感”。 今天,我们想分享来自大淘宝技术工程师们的《人间清醒语录》,这些金句里凝结了他们多年实践经验的智慧,希望可以给你带来启发和思考。
5G 网络重构关键技术 | 带你读《5G时代的承载网》之十五 5G 网络架构的重构是以一系列新技术的引入作为先决条件的,例如,基于 SDN 实现控制与转发的分离,基于 NFV 实现软硬件解耦。另外,还需要引入 网络切片、边缘计算、D2D 通信等技术方向,以形成针对所有场景的解决方案。 本节将对几个主要的 5G 使用技术做简单介绍。
这才是真正的表扩展方案 事情变得有意思了,上一篇花1小时撰写的“一分钟”文章,又引起了广泛的讨论,说明相关的技术大家感兴趣,挺好。第一次一篇技术文章的评论量过100,才知道原来“评论精选”还有100上限,甚为欣慰(虽然是以一种自己不愿看到的方式)。
随着科技和互联网的迅速发展,人们的独立思考能力可能正在慢慢消失。独立思考的能力是一个人在工作和生活中最重要的一种能力,有独立思考能力的人和无独立思考能力的人绝对是产生人生价值最大的分水岭。
一文详解大规模数据计算处理原理及操作重点 大数据技术主要针对的是大规模数据的计算处理问题,那么要想解决的这一问题,首先要解决的就是大规模数据的存储问题。
相关文章
- apt-get 详解&&配置阿里源
- Caused by: java.lang.NumberFormatException: For input string: ""
- English trip V2 - 10 What to Take 你需要准备什么 Teacher:Lamb Key: many & much
- CSS: carousel & precedence of translate & rotate
- centos Qt安装 & 配置OpenGL开发环境
- 原力计划 S4 周榜&月榜 公示(活动报名已截止)
- 【前端学习之HTML&CSS】-- HTML第四篇 -- 语义化与HTML实体
- 【转】int && 非常量右值
- 《树莓派Python编程入门与实战》——3.10 Q&A
- 高数 | 【无穷级数】基础阶段总结 & 注意点、例题
- 配置ETH 2.0 同步节点 Nethermind & Prysm
- 高通与AT&T将测试4G网络无人机,将它飞得更远
- NodeJS环境配置NPM&CNPM&YARN①
- 【Ubuntu 奇淫技巧】Ubuntu 配置SSH & 远程桌面
- 【OpenVINO+paddle】一键完成主机OpenVINO&飞桨所有组件的环境安装配置
- String的'+'的性能及原理
- 怎样一步一步删除(linux & UNIX)环境下 oracle 11g 集群节点
- 学习笔记(02):Python网络编程&并发编程-assert断言的用途
- Hadoop的HA简介&CAP理论的关系
- 15.0 vue3 provide&inject跨组件通信方式