大数据集群被窃取数据怎么办?透明加密可以一试
2023-09-14 09:05:50 时间
摘要:传统大数据集群中,用户数据明文保存在HDFS中,集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。
本文分享自华为云社区《FusionInsight MRS透明加密方案》,作者: 一枚核桃 。
概述
传统大数据集群中,用户数据明文保存在HDFS中,集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。
FusionInsight MRS引入了Hadoop KMS服务并进行增强,通过对接第三方KMS,可实现数据的透明加密,保障用户数据安全。
- HDFS支持透明加密,Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护,加密密钥通过HadoopKMS从第三方KMS获取。
- 对于Kafka、Redis等业务数据直接持久化存储到本地磁盘的组件,通过基于LUKS的分区加密机制保护用户数据安全。
HDFS透明加密
- HDFS透明加密支持AES、SM4/CTR/NOPADDING加密算法,Hive、HBase使用HDFS透明加密做数据加密保护。SM4加密算法由A-LAB基于OpenSSL提供。
- 加密使用的密钥从集群内的KMS服务获取,KMS服务支持基于Hadoop KMS REST API对接第三方KMS。
- 一套FusionInsight Manager内部署一个KMS服务,KMS服务到第三方KMS使用公私钥认证,每个KMS服务在第三方KMS对应拥有一个CLK。
- 在CLK下可以申请多个EZK,与HDFS上的加密区对应,用于加密数据加密密钥,EZK在第三方KMS中持久化保存。
- DEK由第三方KMS生成,通过EZK加密后持久化保存到NameNode中,使用的时候使用EZK解密。
- CLK和EZK两层密钥可以轮转。CLK作为每个集群的根密钥,在集群侧不感知,轮转完全由第三方KMS控制管理。EZK可通过FI KMS管理,轮转在FI KMS可控制管理,同时第三方KMS管理员拥有KMS内密钥的管理能力,也可以做EZK的轮转。
LUKS分区加密
对于Kafka、Redis等业务数据直接持久化存储到本地磁盘的组件,FusionInsight集群支持基于LUKS的分区加密进行敏感信息保护。
FusionInsight安装过程的脚本工具使用Linux统一密钥设置(Linux Unified Key Setup,简称LUKS)分区加密方案,该方案加密分区时会在集群每个节点生成或者从第三方KMS获取访问密钥,用于加密数据密钥,以保护数据密钥安全性。磁盘分区加密后,重启操作系统或者更换磁盘场景下,系统能够自动获取密钥并挂载或创建新的加密分区。
相关文章
- EasyCVR服务器集群设备列表返回数量异常的排查与优化
- hadoop+spark+zookeeper+hive的大数据分布式集群搭建
- HBase学习之路 (三)HBase集群Shell操作详解大数据
- MySQL 集群部署:实现高可用性(mysql集群部署)
- 复制建立Redis集群:主从复制的实现(redis集群主从)
- 弹性伸缩:构建Redis全量缓存集群(redis全量缓存)
- 如何搭建高效稳定的Linux无盘集群系统?25字(linux无盘集群)
- CDH集群下MySQL的功能及应用(cdh mysql作用)
- 云端部署Redis集群,支撑数据存储需求(云服务部署redis集群)
- 深入了解MySQLMMM高可用集群管理工具(mysql_mmm)
- 公共Redis集群监控及时保障业务运行(公共redis集群监控)
- 重大失误Redis集群重启失败(redis 集群重启失败)
- Redis集群从入门到实践白皮书(redis集群白皮书)
- 数据使用Redis集群模式更高效地删除数据(redis集群模式删除)
- 探索Redis集群服务的无限可能(redis集群服务查看)
- 优化增强Redis集群数据吞吐量的改进方案(redis集群数据吞吐量)
- 实现分布式环境下Redis集群数据同步(redis集群同步机制)
- Redis集群结构变动新增节点(redis集群加了节点)
- Redis集群写入数据的困惑不知原因(redis集群写不进数据)
- 入数据使用Redis集群增强数据写入功能(redis集群写)
- Redis集群稳定实现数据入库(redis集群入库)
- Redis集群踏入新技术世界(redis集群入门)
- 的解决方案解决Redis集群乱码问题的好方法(redis 集群乱码)
- 在Redis集群中使用域名的优势(redis集群中使用域名)