Java架构师-分布式(四):分布式文件系统【FastDFS(自己搭建)、阿里OSS(第三方文件存储系统)】
2023-09-27 14:20:41 时间
一、分布式文件系统概述
1、什么是分布式文件系统
- 随着文件数据的越来越多,通过tomcat或nginx虚拟化的静态资源文件在单一的一个服务器节点内是存不下的,如果用多个节点来存储也是不利于管理和维护,所以我们需要一个系统来管理多台计算机节点上的文件数据,这就是分布式文件系统。
- 分布式文件系统是一个允许文件通过网络在多台节点上分享的文件系统,多台计算机节点共同组成一个整体,为更多的用户提供分享文间。比如常见的网盘,本质就是一个分布式的文件存储系统。虽然我们是一个分布式的文件系统,但是对用户来说是透明的,用户使用像是访问本地磁盘一样。
- 分布式文件系统可以提供冗余备份,所以容错能力很高。 系统中有某些节点宕机,但是整体文件服务不会停止,还是能够为用户提供服还是运作的,数据也不会丢失。
- 分布式文件系统的可扩展性强,增加或减少节点都很简单,不会影响线上服务,增加完毕后会发布到线上,加入到集群中为用户提供服
- 分布式文件系统可以提供负载均衡能力,在读取文件副本的时候可以由多个节点共同提供服务,而且可以通过横向扩展来确保性能的提
2、什么是分布式文件系统
使用分布式文件系统可以解决如下几点问题:
- 海量文件数据存储
- 文件数据高可用(冗余备份)
- 读写性能和负载均衡
以上3点都是我们之前使用tomcat或nginx所不能够实现的,这也是我们为什么要使用分布式文件系统的原因
3、FastDFS 与 HDFS
说到分布式文件存储,肯定会有人想到HDFS,他们两者主要定位和应用场景是不一样的。
- Hadoop中的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大,采用了分块(切分)存储的方式
数据大文件存储来使用的场景。 - FastDFS主要用于互联网网站,为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好,FastDFS不会对
快存储。FastDFS用于存储中小文件都是不错的,比如用户头像啊,一些较小的音视频文件啊等等都行。
二、FastDFS
1、FastDFS概念
2、FastDFS架构
3、配置FastDFS
3.1 环境准备、安装
3.2 配置tracker服务
3.3 配置storage服务
3.4 配置 Nginx FastDFS实现文件服务器
三、OSS(比如:阿里云OSS)
相关文章
- 以Java属性文件的格式创建Hibernate的配置文件和DTD特殊符号作用
- Java 目录操作三(在指定目录中查找某字母开头文件、获取系统根目录、获取当前工作目录、遍历目录)
- Word处理控件Aspose.Words功能演示:使用 Java 拆分 MS Word 文档
- java基础—文件的切割与合并
- final在java中的作用
- 探索Pulsar之使用Go和Java操作Pulsar
- java对xml文件做增删改查
- 【Java】+文件操作 hutool
- 探索Java中的网络编程技术
- Java基础之关键字
- Java poi Excel导出文件,Java poi 分批次导出大批量数据
- Ant学习-002-ant 执行 TestNG 测试用例时 [testng] java.lang.NoClassDefFoundError: com/beust/jcommander/ParameterException 解决方案
- Java学习-012-文件删除实例及源代码
- Eclipse 编译java文件后出错 左树无红叉
- Java IO和Java NIO在文件拷贝上的性能差异分析
- 基于SMB协议的共享文件读写 博客分类: Java
- java安全编码指南之:文件和共享目录的安全性
- Java集合篇:Map常用遍历方式 以及 性能对比
- java下载excel模板文件
- 华为OD机试 -出租车计费(Java) | 机试题+算法思路+考点+代码解析 【2023】
- java读取文件并获得文件编码,转换为指定编码的工具类代码
- maven 依赖文件 pom.xml 编译 mvn compile 运行 不用mvn exec:java -Dexec.mainClass="hello.HelloWorld" 打成jar包 mvn package mvn install http://blog.csdn.net/yaya1943/article/details/48464371
- Thymeleaf常用语法:模板文件中表达式调用Java类的静态方法
- 2013编程之美资格赛之长方形(Java实现)
- 一看就会的FTP文件服务器操作,Java,全!
- Java实现文件MD5加密
- Java读取CSV文件
- java 字符串输出到文件
- Java 动态加载jar和class文件