HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统详解架构师
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
二、Keepalived简介它是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障。一个WEB服务至少会 有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发 送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。
三、Flume简介Flume是Apache提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
注:根据我们公司具体业务需求,对其进行二次开发满足跨国跨机房日志数据完整传输录入到hadoop,同时确保高性能(tps:10k),当前已经有部分业务线上介入,日收集日志条数2亿+(日志大小约30G)。
四、Keepalived安装&配置(1) keepalived依赖环境
yum install -y openssl-devel openssl;
yum install -y popt-devel;
(2) 从keepalived官网下载最新的版本:http://www.keepalived.org/download.html
(3) 安装与编译:
./configrure;
make make install
(4) 设置service启动服
[[email protected]~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d
[[email protected]~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[[email protected]~]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
interfaceeth2 # 监控网卡,要产生虚拟ip的网卡,如机器161.106内网网卡为eth0则必须为eth0
五、HAProxy安装 配置
(1) 从官网下载最新版本haproxy: http://haproxy.1wt.eu/#down
(2) 安装
make TARGET=linux26 PREFIX=/usr/local/haproxy #将haproxy安装到/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
(3) 配置文件
#weight 代表权重 inter代表检测频率 rise代表检测成功多少次服务器可用 fall代表检测失败多少次服务器不可用
(4) 平滑重启haproxy
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy_tcp.cfg -p /usr/local/haproxy/ha.pid -st `cat /usr/local/haproxy/ha.pid`
6959.html
架构架构师架构设计相关文章
- 安全日志审计系统服务器,日志审计服务器「建议收藏」
- ELK+FileBeat日志分析系统(正式环境nginx日志)
- EFK(Elasticsearch+Filebeat+Kibana)日志收集系统
- MySQL清理binlog日志
- 基于AD Event日志识别Skeleton Key后门
- 一分钟搞懂Redis的慢查询日志操作
- MongoDB日志跟踪:提升数据安全性和可操作性(mongodb记录日志)
- Linux查看访问日志:发挥系统潜力(linux查看访问日志)
- 日志Oracle恢复归档日志技术指南(oracle恢复归档)
- MySQL连接日志:跟踪系统性能和安全(mysql连接日志)
- 妙用Redis: 快速配置日志系统(redis日志配置)
- MySQL日志类型:错误日志、慢查询日志及更多(mysql日志类型)
- MySQL 执行日志文件:深入研究(mysql执行日志文件)
- Oracle 日志:践行安全记录你的行为(oracle有哪些日志)
- 删除无用Linux日志,优化系统运行(linux日志删除)
- 解析Linux系统登录日志文件(linux登录日志文件)
- 使用log_format为Nginx服务器设置更详细的日志格式
- 利用Linux和C语言实现高效优雅的日志记录(linuxc写日志)
- 让 Linux 系统运行更清爽:日志清理之道(linux系统日志清理)
- Linux:洞悉系统内部的日志(linux的系统日志)
- Linux系统审计:掌握日志问题关键(linux审计日志)
- Linux查看关机记录,发掘系统关闭原因(linux查看关机日志)
- 利用 Redis 记录与分析慢查询日志(redis慢查询日志)
- Mysql记录慢查询日志:开启追踪系统性能问题(mysql开启慢查询日志)
- 关闭Oracle,补充日志已记录(oracle关闭补充日志)
- Oracle关闭日志功能路上有更多选择(oracle关闭日志功能)
- Oracle共享日志利用智慧降低企业风险(oracle共享日志)
- Oracle优化减小日志文件尺寸(oracle减小日志文件)
- 用AMH清理MySQL日志,轻松提升系统性能(amh清理mysql日志)
- Oracle中的重做日志保护数据的坚实基石(oracle中的重做日志)
- Redis堵塞日志提升系统效率的解决方案(redis 阻塞日志)
- win2003x64apachephp开发环境配置日志