集群
MySQL：MySQL的集群——主从复制的原理和配置
前言 在实际生产环境中，如果对mysql数据库的读和写都在一台数据库服务器中操作，无论是在安全性、高可用性，还是高并发等各个方面都是不能满足实际需求的，一般要通过主从
日期 2023-10-26 10:14:03
redis 复制集群搭建
前言 redis 复制集群是开发中一种比较常用的集群模式，本篇演示如何在centos7上快速搭建一个redis复制集群； 环境准备 1、基于centos7系统的服务器（或者云服务器）； 2、redis 安装包； 搭建过程 由于资源限制
日期 2023-10-26 10:14:03
Redis【7】-Redis集群
八. 集群（Cluster） 前提：已经安装好redis单机版。 当集群中超过或等于1/2节点不可用时，整个集群不可用。为了搭建稳定集群，都采用奇数节点。 1 .复制redis配置文件 从/usr/local/redis/bin下把redis.conf复制到当前
日期 2023-10-26 10:14:03刷新纪录！我国完成119架固定翼无人机集群试验
中国电子科技集团日前成功完成了119架固定翼无人机集群飞行试验，继2016年珠海航展的67架固定翼无人机集群飞行试验后，再创我国在该领域的新高度。试验中，119架小型固定翼无人机成功演示了密集弹射起飞、空中集结、多目标分组、编队合围、集群行动等动作。 近年来，随着自主控制、人工智能、大数据、通信网络等前沿技术迅速发展，以美国为首的发达国家率先掀起了研发无人机集群作战技术的热潮。中国也不甘落后，在
日期 2023-10-26 10:14:03
Mongodb副本集＋分片集群环境部署记录
前面详细介绍了mongodb的副本集和分片的原理，这里就不赘述了。下面记录Mongodb副本集＋分片集群环境部署过程： MongoDB Sharding Cluster，需要三种角色： Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单点故障Config Se
日期 2023-10-26 10:14:03
京东云Kubernetes集群+Traefik实战
Traefik支持丰富的annotations配置，可配置众多出色的特性，例如：自动熔断、负载均衡策略、黑名单、白名单。所以Traefik对于微服务来说简直就是一神器。 利用Traefik，并结合京东云Kubernetes集群及其他云服务（RDS，NAS
日期 2023-10-26 10:14:03Kafka集群无法外网访问问题解决攻略
Kafka无法集群外网访问问题解决方法 讲解本地消费者和生产者无法使用远程Kafka服务器的处理办法 服务搭建好Kafka服务后，机本。测试 OK，外面机器却无法访问，很是怪异。 环境说明： Kafka服务器： 阿里云VPC网络服务器，内网IP：10.10.10.10，绑定的弹性IP（外网IP）XXXX，是单机测试环境，
日期 2023-10-26 10:14:03Application Request Route实现IIS Server Farms集群负载详解
序言 随着公司业务的发展，后台业务就变的越来越多，然而服务器的故障又像月经一样，时不时的汹涌而至，让我们防不胜防。那么后台的高可用，以及服务器的处理能力就要做一个横向扩展的方案，以使后台业务持续的稳定可用，平复人心。 由于我们的后台业务，清一色都是.net应用程序，加上总监的一致推荐，我们的负载均衡其中一个方案就选用了微软与iis集成的反向代理Application Request Route。
日期 2023-10-26 10:14:03
Druid 集群方式部署 —— 配置调整
从一个单独部署服务器上进行合并到集群的时候，需要对下面的一些配置进行调整。 Master 服务 如果你已经有一个已经存在并且独立运行的独立服务器部署的话，例如在页面 single-server deployment examples 中部署的服务器，下面的这个示例将会帮助你将 Coordinator 和 Overlord 合并到一个进程上面 co
日期 2023-10-26 10:14:03让数据库无惧灾难，华为云GaussDB同城双集群高可用方案正式发布！
摘要：在华为全联接2021期间，华为云GaussDB(for openGauss)正式推出重大内核新特性——同城双集群高可用方案，提供金融级高可用服务，支持RPO=0 、RTO<60s的同城双集群切换，尽最大可能保障企业用户的核心业务7X24小时无中断。 在华为全联接2021期间，华为云GaussDB(for openGauss)正式推出重大内核新特性——同城双集群高可用方案，提供金融级高
日期 2023-10-26 10:14:03[Zookeeper系列003] Zookeeper伪分布式集群搭建
一、描述 伪分布式集群就是在一台机器部署多个zk应用，部署之前服务器需要有jdk环境 java -version可以显示相关java信息才可以进行zookeeper搭建 二.步骤 第一步下载好zooke
日期 2023-10-26 10:14:03hadoop hbase集群断电数据块被破坏无法启动
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝
日期 2023-10-26 10:14:03RVM安装ruby(redis集群需要)
1.先执行一条官方 https://rvm.io/ 复制来的长命令(...C0E3空格7D2B...) [root@redis126 ~]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0
日期 2023-10-26 10:14:03Zookeeper集群搭建详细过程 | 附带详细过程截图
🚀 作者 ：“大数据小禅” 🚀 简介：详细讲解Zookeeper的环境搭建，附带过程截图。 🚀 安装包获取：获取对
日期 2023-10-26 10:14:03查看k8s集群使用的防火墙模式
查看k8s集群使用的防火墙模式： [root@K8s-node ~]# curl 127.0.0.1:10249/proxyMode iptables[root@K8s-node ~]#
日期 2023-10-26 10:14:03kubeadm 搭建 k8s 集群 [离线版] v1.18.6
Kubernetes 概述 kubernetes 是什么 kubernetes 是 Google 在 2014年开源的一个容器集群管理平台，kubernetes简称 k8s k8s用于容器化应用程序的部署，扩展和管理。 k8s提供了容器的编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能 kubernetes目标是让部署容器化应用简单高效 Kubernetes 特性 自我修复 在
日期 2023-10-26 10:14:03elasticsearch-7.3.2集群搭建
一、简述 1、es介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elastic
日期 2023-10-26 10:14:03redis 一二事 - 搭建集群缓存服务器
在如今并发的环境下，对大数据量的查询采用缓存是最好不过的了，本文使用redis搭建集群 （个人喜欢redis，对memcache不感冒） redis是3.0后增加的集群功能，非常强大 集群中应该至少有三个节点，每个节点有一备份节点。这样算下来至少需要6台服务器 考虑到有些朋友的电脑配置不是很高，跑多个虚拟机就会卡，这边放出伪分布式和分布式 （2年前的配置） 前提先装好一个单例情况下的redis
日期 2023-10-26 10:14:03OpenStack Swift跨地域存储集群的部署与优化
OpenStack Swift，大家会说它是OpenStack的对象存储服务，或者对象存储项目，但是实际上对象存储这个词它的含义，不同的人有不同的理解。 首先，让我们先看一个例子，就是淘宝在06、07年的时候，开始用他们自己研发的分布式存储系统，或者用现在时髦的话说叫SDS存储系统，来替代NAS设备。就以前淘宝的图片都是放在NAS里面的，但是从06年开始逐步的替换，当然很快，现在早已经不见了，没
日期 2023-10-26 10:14:03集群的分类
集群是我们经常听到的概念，但是实际接触当中，可能大部分人还是不能很好的区分出其中的区别，为啥这个计算中心叫做集群，那个分布式数据库也叫做集群。所以我们可以按照功能的不同，大概可以分为以下三类： 高性能计算集群 高性能计算集群采用将计算任务分配到不同计算节点来提高整体计算能力，因而主要应用在科学计算领域。这种集群是并行计算的基础，其处理能力比普通的服务器高太多，并且具有优良的性价比。这种集群就是现
日期 2023-10-26 10:14:033D渲染集群，你了解多少？
摘要：渲染是批处理运行模式，那能不能使用Docker容器技术，做大规模的渲染集群呢？ 我们先说说3D渲染涉及哪些领域： 1、什么是3D渲染 简单粗暴的讲：就是将虚拟世界里的3D模型，变为（人眼看到）平面图片。 比如你画了个3D模型，经过渲染，变成了最终我们看到的图片： （3D模型） （2D图片） 2 、3D模型，怎么得到2D图片 将一个想象的“摄像机”放到3D空间中，去拍摄图片。这个“摄像
日期 2023-10-26 10:14:03数仓项目02：集群搭建
1.集群规划 服务名称 子服务 服务器 hadoop102 服务器 hadoop103 服务器 hadoop104 HDFS NameNode √ DataNode √ √ √ SecondaryNameNode √ Yarn NodeMa
日期 2023-10-26 10:14:03ElasticSearch学习之基本概念及单机/集群部署
一、ElasticSearch简介 1、ElasticSearch简介 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复
日期 2023-10-26 10:14:03第31课：集群运行模式下的Spark Streaming调试和难点解决实战经验分享
第31课：集群运行模式下的Spark Streaming调试和难点解决实战经验分享 一个batch中产生2个或3个job跟 spark streaming没有任何关系，2个 3个job只跟rdd的take有关。 分区中扫描，找不到数据循环执行job扫分区 ；
日期 2023-10-26 10:14:03ElasticSearch 学习07 - 分布式集群学习 2
前面主要学习了ElasticSearch分布式集群的存储过程中集群、节点和分片的知识（ElasticSearch 5学习(6)——分布式集群学习分享1），下面主要分享应对故障的一些实践。 应对故障 前面说了很多关于复制分片可以应对节点失效，很好保证集群的安全性
日期 2023-10-26 10:14:03Quartz.net持久化与集群部署开发详解
序言 我前边有几篇文章有介绍过quartz的基本使用语法与类库。但是他的执行计划都是被写在本地的xml文件中。无法做集群部署，我让它看起来脆弱不堪，那是我的罪过。 但是quart.net是经过许多大项目的锤炼，走到啦今天，支持集群高可用的开发方案那是一定的，今天我就给小结下我的quartz.net开发升级过程。 Quartz.net的数据库表结构 如果支持集群与持久化，单靠本机的
日期 2023-10-26 10:14:03Hadoop集群搭建，14张过程截图超详细教程
🚀 作者 ：“大数据小禅” 🚀 **文章简介 **：本篇文章主要讲解Hadoop集群的搭建，为了方便大家理解与操作，关键的步骤
日期 2023-10-26 10:14:03Nginx＋PHP负载均衡集群环境中Session共享方案 - 运维笔记
在网站使用nginx+php做负载均衡情况下，同一个IP访问同一个页面会被分配到不同的服务器上，如果session不同步的话，就会出现很多问题，比如说最常见的登录状态。 下面罗列几种nginx负载均衡中session同步的方式 1）不使用session，换用cookiesession是存放在服务器端的，cookie是存放在客户端的，我们可以把用户访问页面产生的session放到co
日期 2023-10-26 10:14:03为什么需要集群
为什么需要集群 摘要 设备是廉价的极端容易损坏的 最近世代的数据中心与大型机小型机时代最大的区别在于 大型机小型机时代, 都是scale up.假设基础设施是非常稳定的(也的确如此). 新时代的数据中心,都是scale out的.都是假定设备是非常不稳定,容易损坏的. 最近时代, 不管是内存,CPU还有硬盘,以及整机服务器都变得非常廉价. 也更加容易损坏. 所以数据中心必须考虑硬件损坏的
日期 2023-10-26 10:14:03Redis学习笔记之Redis单机,伪集群,Sentinel主从复制的安装和配置
0x00 Redis简介 Redis是一款开源的、高性能的键-值存储（key-value store）。它常被称作是一款数据结构服务器（data structure server）。 Redis的键值可以包括字符串（strings）类型，同时它还包括哈希（hashes）、列表（lists）、集合（sets）和 有序集合（sorted sets）等数据类型。 对于这些数据
日期 2023-10-26 10:14:03在不同版本号hdfs集群之间转移数据
在不同版本号hdfs集群之间转移数据 最简单的办法就是把src集群的数据导到本地，然后起还有一个进程将本地数据传到des集群上去。 只是这有几个问题： 效率减少 占用本地磁盘空间 不能应付实时导数据需求 两个进程须要协调，复杂度添加&nb
日期 2023-10-26 10:14:03CDH大数据集群Linux系统参数调优
文章目录 vm.swappinessvm.min_free_kbytes透明大页面（THP）vm.zone_reclaim_modetuned服务 系统版本为CentO
日期 2023-10-26 10:14:03Kubernetes集群安装及kubectl命令行大全
1 下载 docker-desktop 从 docker 下载 docker-desktop (opens new window)，并完成安装 2 启用 Kubernetes 集群 启动 docker-d
日期 2023-10-26 10:14:03Centos7离线部署redis集群
目录 一、安装redis需要的依赖 二、安装redis 三、部署redis集群 一、安装redis需要的依赖 1、安装GCC 1、检查是否安装gcc 命令: gcc -v 如果能输出gcc版本信息,，说明安装了gcc。反之需要安装gcc 2、安装gcc 2.1创建目
日期 2023-10-26 10:14:03解读革命性容器集群CCE Turbo：计算、网络、调度全方位加速
摘要：CCE Turbo是华为云推出的一款革命性容器集群。 5月31日，在华为云Techwave云基础设施技术专题日上，华为云容器批量计算首席架构师马达对CCE Turbo的技术内幕进行了深度解读，CCE Turbo是华为云推出的一款革命性容器集群，在华为开发者大会（Cloud）2021上正式发布，通过计算、网络、调度的全方位加速，为企业应用创新提速。 &nbs
日期 2023-10-26 10:14:03MongoDB集群和实战详解
1.概述 最近有同学和网友私信我，问我MongoDB方面的问题;这里我整理一篇博客来赘述下MongoDB供大家学习参考，博客的目录内容如下： MapReduce 本篇文章是基于MongoDB集群(Sharding+Replica Sets)上演示的，故操作的内容都是集群层面的，所以有些命令和单独的使用MongoDB库有异样。 2.基本操作 常用的 Shell 命令如下所示：
日期 2023-10-26 10:14:03容器化MYSQL集群在Uber系统中的应用
本文讲的是容器化MYSQL集群在Uber系统中的应用【编者的话】Uber使用的Schemaless存储系统支撑了Uber最重要的服务，如，Mezzanine等。Schemaless 是一个构建在MySQL集群上，可扩展高可用的数据存储。但管理Uber数据量庞大的数据库集群服务需要应用Docker技术。当集群节点数为16个时，集群管理非常容易，但若集群规模超过1000，并运行了4000多个数据库服务
日期 2023-10-26 10:14:03【MongoDB】副本集 & 分片集群
MongoDB 副本集 & 分片集群 1. 副本集 - Replica Sets1.1 简介1.2 副本集的三个角色1.3 副本集架构目标1.4 副本集的创建1.4.1 第一步：创建主节点
日期 2023-10-26 10:14:03Linux下"负载均衡+高可用"集群的考虑点 以及 高可用方案说明(Keepalive/Heartbeat)
当下Linux运维技术越来越受到企业的关注和追捧, 在某些企业, 尤其是牵涉到电子商务和电子广告类的网站，通常会要求作负载均衡和高可用的Linux集群方案。那么如何实施Llinux集群架构，才能既有效保证网站健康运行，又能节省运维成本呢？以下是根据本人几年的运维经历，简单梳理下自己的一点感悟。 1) 机房的选择如果有自己公司的机房那是再好不过的了；如果没有，建议放在BGP机房内托管
日期 2023-10-26 10:14:03[k8s]zookeeper集群在k8s的搭建(statefulset模式)-pod的调度
之前一直docker-compose跑zk集群,现在把它挪到k8s集群里. docker-compose跑zk集群 zk集群in k8s部署 参考: https://github.com/kubernetes/contrib/blob/master/statefulsets/zookeeper/zookeeper.yaml https://kubernetes.io/docs/tutorials
日期 2023-10-26 10:14:03windows+mysql集群搭建-三分钟搞定集群
注：本文来源： 陈晓婵 《 windows+mysql集群搭建-三分钟搞定集群 》一：mysql集群搭建教程-基础篇 计算机一级考试系统要用集群，目标是把集群搭建起来，保证一个库dang了，不会影响程序的运行。于是在孟海滨师哥的带领下开始了我的第一次搭建mysql集群，首先看了一些关于集群的资料，然后根据步骤一步步的整，遇到
日期 2023-10-26 10:14:03大数据 IMF 传奇 困扰很久的问题解决！ecliplse 远程提交程序到虚拟机 hadoop集群 ，ecliplse 没有显示输出 的问题解决！
问题 ： 1、ecliplse 远程提交程序到虚拟机 hadoop集群 ，运行wordcount程序有问题，又没有提示 ，当时 下载了 windows 32的 winutils.exe hadoop.dll，以为解决了 2、ecliplse 远程提交程序到虚拟机 hadoop集群 ，运行天气预报 程序temperature又有问题
日期 2023-10-26 10:14:03Centos 7.5基于MySQL 5.7的 InnoDB Cluster 多节点高可用集群环境部署记录
一. MySQL InnoDB Cluster 介绍MySQL的高可用架构无论是社区还是官方，一直在技术上进行探索，这么多年提出了多种解决方案，比如MMM, MHA, NDB Cluster, Galera Cluster, InnoDB Cluster, 腾讯的PhxSQL, MySQL Fabric., aliSQL。MySQL官方在2017年4月推出了
日期 2023-10-26 10:14:03hfish 集群蜜罐搭建
一、前言 HFish 是一款基于 Golang 开发的跨平台多功能主动攻击型蜜罐钓鱼平台框架系统，为了企业安全防护测试做出了精心的打造 发布版本下载链接： https://github.com/hacklcx/HFish/releases Github: https://github.c
日期 2023-10-26 10:14:03CentOS7 设置集群时间同步
1. 安装ntp时间同步工具 yum -y install ntp ntpdate #安装ntpdate时间同步工具 ntpdate cn.pool.ntp.org #设置时间同步 hwclock --systohc #将系统时间写入硬件时间 timedatectl #查看系统时间 一般来讲，经过这几部之后，应该就OK了。关于时间服务的
日期 2023-10-26 10:14:03kafka集群的错误处理--kafka一个节点挂了，导致消费失败
今天由于kafka集群搭建时的配置不当，由于一台主消费者挂掉(服务器崩了，需要维修)，导致了所有新版消费者(新版的offset存储在kafka)都无法拉取消息。 由于是线上问题，所以是绝对不能影响用户的，使用老版客户端(offset存储在zk)进行消费，然后将kafka迁移到备用服务。 下面来说一下这次事故的具体处理思路 首先要确保获取到的消息不能丢失，所以老版消费者进行消费 线上服务通过均衡
日期 2023-10-26 10:14:03Ceph实战（二）：用docker搭建Ceph集群之docker的基本概念以及操作
您好，我是码农飞哥，本篇文章是Ceph实战专栏的第二篇文章，本文首先会简单介绍一下Docker的基本概念，接下来会介绍在CentOS 7上部署docker，
日期 2023-10-26 10:14:03052.Kubernetes集群管理-故障排错指南
一 故障指南 1.1 常见问题排障 为了跟踪和发现在Kubernetes集群中运行的容器应用出现的问题，常用如下查错方法： 查看Kubernetes对象的当前运行时信息，特别是与对象关联的Event事件。这些事件记录了相关主题、发生时间、最近发生时间、发生次数及事件原因等，对排查故障非常有价值。此外，通过查看对象的运行时数据，还可以发现参数错误、关联错误、状态异常等明显问题。由于在Kuber
日期 2023-10-26 10:14:03ELK学习笔记之简单适用的ES集群监控工具cerebro安装使用
安装指导及使用简介 1. 下载安装包： https://github.com/lmenezes/cerebro/releases/download/v0.7.3/cerebro-0.7.3.tgz 2. 将安装包copy到ECS节点，该节点网络和待监控的ES集群在同一V
日期 2023-10-26 10:14:03Docker Swarm和Kubernetes在大规模集群中的性能比较
本文讲的是Docker Swarm和Kubernetes在大规模集群中的性能比较，【编者的话】本文建立了一套通用测评工具，通过容器启动时延等指标测评Swarm和Kubernetes在大规模部署下的性能表现，分析结果认为Swarm比Kubernetes的性能好。此外还提供了详尽的测试数据， 供应用者参考。 这篇文章主要针对Docker Swarm和Kubernetes在大规模部署的条件下的3个问题
日期 2023-10-26 10:14:03