分布式
【最优潮流】基于分布式交变方向乘法器(ADMM)方法来求解带碳排放交易的直流动态最优潮流（Matlab代码实现）
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。
日期 2023-09-28 09:16:39
java分布式通信系统（J2EE分布式服务器架构）
http://blog.csdn.net/tannafe/article/details/6123412 一、序言 近几个月一直从事一个分布式异步通信系统,今天就整理并blog一下. 这是一个全国性的通信平台,对性能,海量数据,容错性以及扩展性有非常高的要求,所以在系统的架构上就不能简单的采用集中式.简单的总结一下就是: 1.数据分布式存储
日期 2023-09-28 09:16:39
Twitter的分布式自增ID算法Snowflake实现分析及其Java、Php和Python版
在上面的字符串中，第一位为未使用（实际上也可作为long的符号位），接下来的41位为毫秒级时间，然后5位datacenter标识位，5位机器ID（并不算标识符，实际是为线程标识），然后12位该毫秒内的当前毫秒内的计数，加起来刚好64位，为一个Long型。 这样的好处是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞（由datacenter和机器ID作区分），并且效率较高，经测试，s
日期 2023-09-28 09:16:39
分布式作业 Elastic-Job 快速上手指南，从理论到实战一文搞定！
Elastic-Job支持 JAVA API 和 Spring 配置两种方式配置任务，这里我们使用 JAVA API 的形式来创建一个简单的任务入门，现在都是 Spring Boot 时代了，所以不建议使用 Spring 配置文件的形式。 Elastic-Job 需要依赖 Zookeeper 中间件，用于注册和协调作业分布式行为的组件，目前仅支持 Zookeeper。我们已经创建了 Zookee
日期 2023-09-28 09:16:39浅谈分布式环境下`WebSocket`消息共享问题
WebSocket是一种在Web浏览器和Web服务器之间建立持久连接的技术，它允许实时双向通信。在分布式环境中，多个WebSocket连接可能会同时连接到不同的服务器上，这就带来了WebSocket消息共享的问题。本文将对分布式环境下WebSocket消息共享问题进行浅谈。 一、分布式环境下WebSocket
日期 2023-09-28 09:16:39TensorFlow分布式部署【多机多卡】
让TensorFlow们飞一会儿 前一篇文章说过了TensorFlow单机多卡情况下的分布式部署，毕竟，一台机器势单力薄，想叫兄弟们一起来算神经网络怎么办？我们这次来介绍一下多机多卡的分布式部署。 其实多机多卡分布式部署在我看来相较于单机多卡分布式更容易一些，因为一台机器下需要考虑我需要把给每个device分配哪些操作，这个过程很繁琐。多台机器虽然看起来更繁琐，然而我们可以把每一台机器看作是一
日期 2023-09-28 09:16:39GoLang实现基于Jaeger的分布式链路追踪
码字不易，转载请附原链，搬砖繁忙回复不及时见谅，技术交流请加QQ群：909211071 完整源码：https://github.com/why444216978/gin-api jaeger下载地址：Jaeger – Download Jaeger 运行
日期 2023-09-28 09:16:39[Redis] 基于redis的分布式锁
前言分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。 可靠性首先，为了确保分布式锁可用，我们至少要确保锁的实现同时满足以下四个条件： 互斥性。在任意时刻，只有一个客户端能持有锁。不会发生死锁。即使有一个客户端在持有锁的期间崩溃而没有主动解锁，也能保证后续其他客户端能加锁。
日期 2023-09-28 09:16:39
分布式定时调度-xxl-job
分布式定时调度-xxl-job 一.定时任务概述 1.定时任务认识 1.1.什么是定时任务 定时任务是按照指定时间周期运行任务。使用场景为在某个固定时间点执行，或者周期性的去执行某个任务，比如：每天晚上24点做数据汇总，定时发送短信等。 1.2.常见定时任务方案 While + Sleep : 通过循环加休眠的方式定时执行 Timer和TimerTask实现 ：JDK自带的定时任务，可以实
日期 2023-09-28 09:16:39
Ceph-deploy快速部署Ceph分布式存储
之前已详细介绍了Ceph分布式存储基础知识，下面简单记录下Centos7使用Ceph-deploy快速部署Ceph环境：1）基本环境 192.168.10.220 ceph-admin（ceph-deploy） mds1、mon1（也可以将monit节点另放一台机器） 192.168.10.239 ceph-node1 osd1
日期 2023-09-28 09:16:39分布式锁的几种实现方式
目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中，都需要牺牲强一
日期 2023-09-28 09:16:39git分布式版本控制(五)
条腿
日期 2023-09-28 09:16:392021-05-13 后续分布式存储预备计划
开发了很多年，做了很多系统，非常感谢那些给我机会公司，也非常感谢给我指导的人。但是成长的路，最重要的是需要自己的思考，更需要从实际经验中反思。 本篇文章的目的，在于为了后续职业的长久的生命力，切入更为深入的赛道。 有以下问题需要深入反思: redis
日期 2023-09-28 09:16:39讲给普通人听的分布式数据存储（转载）
转载：http://www.linuxeden.com/html/news/20150925/162996.html 虽然说是讲给普通人的，恐怕没有数据理论知识也是看不懂的，不过已经将的很明白了，个人觉得将的很不错的一点： 联系到我们之前的主／副例子，如果选择认为只有当数据在所有地方被复制（也称作同步复制）之后写操作才算完成，我们就是以写操作延迟为代价选择了一致性。另一方面，如果选择认为一旦数据
日期 2023-09-28 09:16:39分布式锁（一） Zookeeper分布式锁
什么是Zookeeper？ Zookeeper（业界简称zk）是一种提供配置管理、分布式协同以及命名的中心化服务，这些提供的功能都是分布式系统中非常底层且必不可少的基本功能，但是如果自己实现这些功能而且要达到高吞吐、低延迟同时还要保持一致性和可用性，实际上非常困难。因此zookeeper提供了这些功能，开发者在zookeeper之上构建自己的各种分布式系统。 虽然zookeeper的实现比较复杂
日期 2023-09-28 09:16:39storm 一个分布式的、容错的实时计算系统 官网指导
官网 中文入门
日期 2023-09-28 09:16:39golang微服务实践：分布式链路追踪系统-jaeger安装与简单使用
简介 jaeger是一个比较有名的分布式链路追踪系统，底层用golang实现，兼容opentracing标准。 文档地址：docs github地址：github 官网：website blog：blog 部署 我们用docker部署，集成整套环境all-in-one，docker地址：https://hub.docker.com/r/jaegertracing/all-in-one 注意
日期 2023-09-28 09:16:39springboot 分布式全局唯一id的生成-雪花算法snowflake
一 背景描述 1.1 问题产生 在分布式系统中，怎么使用全局唯一id？ 在分布式是，微服务的架构中，或者大数据分库分表中，多个不同节点怎么保持每台机器生成的主键id不重复，具有唯一性？ 方案1：mysql的自增主键； 设定一
日期 2023-09-28 09:16:39使用雪花算法为分布式下全局ID、订单号等简单解决方案考虑到时钟回拨
1.snowflake简介 互联网快速发展的今天，分布式应用系统已经见怪不怪，在分布式系统中，我们需要各种各样的ID，既然是ID那么必然是要保证全局唯一，除此之外，不同当业务还需要不同的特性，比如像并发巨大的业务
日期 2023-09-28 09:16:39说说分布式文件存储系统
分布式文件存储系统主要被分为三种类型：分布式文件存储、块存储、对象存储。这三种存储系统都有着自己的特点和适用场景。 其中分布式文件存储和对象存储是联系非常紧密的，大多对象存储系统都是在分布式文件系统基础上实现的。 很幸运自己在过去的工作中对这三种系统都有过或深或浅的接触，因此有了想要把这其中零散的知识点做一个整理，毕竟才疏学浅，希望跟有兴趣的同学共同进步。 对于分布式文件存储系统，我们常
日期 2023-09-28 09:16:39Ceph-集群内分布式存储解决方案及基于Docker的部署
打造集群高可用分布式存储Ceph很早以前在玩集群的时候就折腾过分布式存储服务来作为跨节点的数据共享和可靠存储，以前尝试过GlusterFS，但是由于读写速度实在是太低，就放弃了。见基于GlusterFS设计 Docker集群存储方案。后来的解决方案是所有机器都挂载了 NAS ，读写速度是提升上去了，但是存在着几个问题： 一是 NAS 的单点故障问题，虽然 NA
日期 2023-09-28 09:16:39j2ee分布式缓存同步实现方案dlcache v1.0.1
j2ee分布式缓存同步实现方案dlcache v1.0.1 发布 修复问题： 1、支持两个层次的缓存，典型的用于产品大类、产品小类，数据字典以及子项； 更新后见： pan http://pan.baidu.com/s/1kVjisdh。
日期 2023-09-28 09:16:39我们是怎样打造一款分布式数据库的
转载：https://zhuanlan.zhihu.com/p/97887325
日期 2023-09-28 09:16:39Openstack 之分布式存储技术比较
关于Openstack的分布式存储,我关注Ceph,swift,hdfs的功能实现和优缺点，适用场景。 1.存储文件大小 HDFS、HBase、Hive不太适合存文档、图片大小的文件，HDFS适用于存大文件。 SWIFT：处理几个G的大文件性能上可能会比HDFS差，因为没有条带化。但遇到很多几兆、几十兆的，这些文件的存储，HDFS就不如SWIFT。所以对于日常文件的单独处理用SWIFT，集中
日期 2023-09-28 09:16:39nginx基于域名的虚拟主机配置（本地分布式项目域名配置及测试方法）
最有用的虚拟主机配置方式。 一个域名只能绑定一个ip地址，一个ip地址可以被多个域名绑定。 可以修改host文件实现域名访问。 前提：即使我们在nginx中配置基于域名的虚拟主机，也需要域名解析，即nginx不负责域名解析（即其不负责将请求的域名字母转换为ip地址），它的作用只是能在一个服务器上（同一个ip地址上的同一个端口上）部署多个项目，并且 只根据不同的请求字符串（无需填写ip
日期 2023-09-28 09:16:39分布式任务调试框架的意义及与消息中间件的区别
我们先思考下面几个业务场景的解决方案: 1、支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算 2、电商整点抢购，商品价格8点整开始优惠 3、12306购票系统，超过30分钟没有成功支付订单的，进行回收处理 4、商品成功发货后，需要向客户发送短信提醒 5、假如我们的大数据中心elasticsearch不足以支持类似于成绩分析这样数据千万级别的实时查询（当然，我们首先应该是加大elas
日期 2023-09-28 09:16:39【分布式存储】GlusterFS failing to mount at boot with Ubuntu 14.04
GlusterFS failing to mount at boot with Ubuntu 14.04 &nb
日期 2023-09-28 09:16:39《VMware Virtual SAN权威指南》一3.4 VSAN网络配置之vSphere分布式交换机
本节书摘来华章计算机《VMware Virtual SAN权威指南》一书中的第3章 ，第3.4节， ［美］ 科马克·霍根（Cormac Hogan）邓肯·埃平（Duncan Epping） 著 徐 炯 译译更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4 VSAN网络配置之vSphere分布式交换机 VSAN要使用VDS，需要配置一个分布式端口组来承载VSAN流量。创建分布式端
日期 2023-09-28 09:16:39UUID实现之一twitter的分布式自增IDsnowflake算法
Twitter的分布式自增ID算法snowflake (Java版) 概述 分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。 有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。 而twitter的snowflake解决了这种需求，最初T
日期 2023-09-28 09:16:39分布式版本控制系统 Git 教程
简介 Git 是什么？ Git 是一个开源的分布式版本控制系统。 什么是版本控制？ 版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。 什么是分布式版本控制系统？ 介绍分布式版本控制系统前，有必要先了解一下传统的集中式版本控制系统。 集中化的版本控制系统，诸如 CVS，Subversion 等，都有一个单一的集中管理的服务器，保存所有文件的修订版本，而协同工作的人们都
日期 2023-09-28 09:16:39OAuth 2.0实现分布式认证授权-网关搭建（8）
一 网关作用 网关整合 OAuth2.0 有 两种思路： 1.一种是认证服务器生成jwt令牌, 所有请求统一在网关层验证，判断权限等操作； 2.另一 种是由各资源服务处理，网关只做请求转发 。 本案例就是API 网关
日期 2023-09-28 09:16:39Eagle - 来自eBay的分布式实时监控及预警框架
Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。 Eagle主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题，具有高扩展性，高实时性，以及高可用性等特点，同时支持使用机器学习为复杂情况提供预测分析。 Eagle核心框架提供实时监控系统开发过程中所
日期 2023-09-28 09:16:39【分布式】Zookeeper请求处理
一、前言 在前面学习了Zookeeper中服务器的三种角色及其之间的通信，接着学习对于客户端的一次请求，Zookeeper是如何进行处理的。 二、请求处理 2.1 会话创建请求 Zookeeper服务端对于会话创建的处理，大体可以分为请求接收、会话创建、预处理、事务处理、事务应用和会话响应六大环节，其大体流程如 1. 请求接收 (1) I/O层接收来自客户端的请求。NIOSe
日期 2023-09-28 09:16:39【云计算】docker三剑客如何支持分布式部署？
This blog will explain how to create multi-container application deployed on multiple hosts using Docker. This will be achieved using Docker Machine, Swarm and Compose. Yes, all three tool
日期 2023-09-28 09:16:39大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看window
日期 2023-09-28 09:16:39简单介绍Ceph分布式存储集群
在规划Ceph分布式存储集群环境的时候，对硬件的选择很重要，这关乎整个Ceph集群的性能，下面梳理到一些硬件的选择标准，可供参考： 1）CPU选择 Ceph metadata server会动态的重新分配负载，它是CPU敏感性的，所以Metadata Server应该有比较好的处理器性能 (比如四核CPU). Ceph OSDs运行RADOS服务，需要通过CRUSH来计算数据的存放位置，repl
日期 2023-09-28 09:16:39quartz集群分布式(并发)部署解决方案-Spring
项目中使用分布式并发部署定时任务，多台跨JVM，按照常理逻辑每个JVM的定时任务会各自运行，这样就会存在问题，多台分布式JVM机器的应用服务同时干活，一个是加重服务负担，另外一个是存在严重的逻辑问题，比如需要回滚的数据，就回滚了多次，刚好quartz提供很好的解决方案。 集群分布式并发环境中使用QUARTZ定时任务调度，会在各个节点会上报任务，存到数据库中，执行时会从数据库中取出触发
日期 2023-09-28 09:16:39一个简单的案例带你入门Dubbo分布式框架
相信有很多小伙伴都知道，dubbo是一个分布式、高性能、透明化的RPC服务框架，提供服务自动注册、自动发现等高效服务治理方案，dubbo的中文文档也是非常全的，中文文档可以参考这里dubbo.io。由于官网的介绍比较简洁，我这里打算通过Maven多模块工程再给小伙伴们演示一下用法。 环境：IntelliJ IDEA2017.1 关于如何在IntelliJ IDEA中创建Maven多模块项目
日期 2023-09-28 09:16:39Redis分布式锁实现
一、使用分布式锁要满足的几个条件： 系统是一个分布式系统（关键是分布式，单机的可以使用ReentrantLock或者synchronized代码块来实现） 共享资源（各个系统访问同一个资源，资源的载体可能是传统关系型数据库或者NoSQL） 同步访问（即有很多个进程同事访问同一个共享资源。没有同步访问，谁管你资源竞争不竞争） 二、应用的场景例子 管理后台的部署架构（多台tomcat服务器+
日期 2023-09-28 09:16:39手把手教你用 FastDFS 构建分布式文件管理系统
说起分布式文件管理系统，大家可能很容易想到 HDFS、GFS 等系统，前者是 Hadoop 的一部分，后者则是 Google 提供的分布式文件管理系统。除了这些之外，国内淘宝和腾讯也有自己的分布式文件管理系统，都叫 TFS（Taobao File System 和 Tencent File System）。 相对于上面提到的这些分布式文件管理系统而言，FastDFS 可能离我们 Java 工程师
日期 2023-09-28 09:16:39使用事件和消息队列实现分布式事务
背景 不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据源之间进行多次等待. 有一种方法同样可以解决分布式事务问题, 并且性能较好, 这就是我这篇
日期 2023-09-28 09:16:39“分布式猜解”攻击可六秒钟内搞定Visa卡的安全验证
如果在电商网站输错多次某信用卡的有效期和CVV安全码，该网站将禁止使用该信用卡，以防止网络罪犯猜解信用卡。但是电商网站有很多，如果把这些网站同时利用起来猜解信用卡的凭证信息呢?结果是只需6秒钟，就可达到目的。 英国纽卡斯尔大学的研究人员在其论文中介绍，猜解信用卡的有效期并不难，一般Visa信用卡的有效期最多5年，猜解次数就是5*12等于60次，而3位的CVV码是1000次。通过把不同的猜解以
日期 2023-09-28 09:16:39j2ee分布式缓存同步实现方案dlcache
现成的分布式K/V缓存已经有很多的实现，最主要的比如redis,memcached,couchbase。那为什么我们还要自己去实现呢，在我们解决了分布式系统下大量rpc调用导致的高延时后，我们发现很多服务需要大量的访问分布式缓存，由于分布式缓存通常部署在单独的服务器中，在lan中，通常单次网络也需要1ms，一个请求少的可能需要一两次缓存访问，复杂的服务比如委托、出入金、融资等会访问一二十次，即使
日期 2023-09-28 09:16:39OAuth 2.0实现分布式认证授权-资源服务器的配置（4）
一 @EnableResourceServer 的配置 1.1 配置资源服务 @EnableResourceServer 注解到一个 @Confifiguration 配置类上，并且必须使用 ResourceServerConfifigurer 这个 配置对象来进行配置
日期 2023-09-28 09:16:39分布式事务专题之4、分布式事务常见5种解决方案
分布式事务常见的7种解决方案。 方案1：2PC（二阶段提交） 方案2：3PC（三阶段提交） 方案3：TCC 方案4：可靠消息 方案5：最大努力通知型 下面依次来介绍这5种方案。 来源：http://www.itsoku.com/course/7/163
日期 2023-09-28 09:16:39jmeter 分布式实战
最近作者在公司部署公司的分布式压力测试情况的时候，遇到了问题，什么问题呢，各种错误，于是大晚上的为了不耽误压测，我们就两个同事两台电脑搞，可是还是不行的呢，我要研究研究这个是什么梗，于是乎，大晚上加班回家后，白天睡醒第一件事就是来着手在自己家的电脑试试，庆幸的事实我目前手里正好有unbantu的一个系统，那么我就开始实战吧，首先去unbantu
日期 2023-09-28 09:16:39redis-13 redis 和 zookeeper 实现分布式锁
1、为什么需要分布式锁 随着互联网世界的发展，单体应用已经越来越无法满足复杂互联网的高并发需求，转而慢慢朝着分布式方向发展。所以同样，我们需要引入 分布式锁 来解决分布式应用之间 访问共享资源 的并发问题。 一般情况下，我们使用分布式锁主要有两个场景： 避免不同节点重复相同的工作：比如用户执行了某个操作有可能不同节点会发送多封邮件； 避免破坏数据的正确性：如果两个节点在同一条数据
日期 2023-09-28 09:16:39Spring Cloud 微服务分布式链路跟踪 Sleuth 与 Zipkin
Zipkin 是一个开放源代码分布式的跟踪系统，由 Twitter 公司开源，它致力于收集服务的定时数据，以解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。它的理论模型来自于 Google Dapper 论文。 每个微服务向 Zipkin 报告计时数据，Zipkin 会根据调用关系通过 Zipkin UI 生成依赖关系图，显示了多少跟踪请求通过每个服务，该系统让开发者可通过一个 W
日期 2023-09-28 09:16:39分布式能源：商业模式重构与融资机制创新
能源是一个古老的行业，自人类开始利用化石能源以来，“中心化”的开采、运输、消费——这一基本模式就从来没有变过。在全球的大部分区域，能源的生产中心与消费中心往往存在地理分隔，因为大型电厂的选址通常取决于一次能源的地理分布，而较少考虑负荷集中区域所在的位置，如火电厂建设在煤矿附近、水电厂建在水资源丰富区域。在此模式下，上游大型电厂所生产的电力由中游的高压输电线路远距离运送至负荷中心，最后通过本地配电网
日期 2023-09-28 09:16:39mybaits实现分布式缓存
一.背景描述 1.1 背景描述以及方案描述 mybatis中默认自带的二级缓存有个弊端，即无法实现分布式缓存，也就是说缓存的数据在自己的服务器上，假设现在有两个服务器A和B，用户访问的时候访问了A服务器，查询后的缓存就会放在A服务器上，假设现在有个用户访问的是B服务器，那么他在B服务器上就无法获取刚刚那个缓存，如下图所示： 针对以上问题，
日期 2023-09-28 09:16:39