浅谈Java分布式与集群
在日常操作中，相信很多人在怎么理解Java分布式与集群问题上存在疑惑，今天就大概说说，不注意听，觉得两个可能是同一个东西，其实这个是两个概念。
一句话概括：分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
这个可能听着有点官方，接下来举例说明一下：
分布式
把一个业务，拆分成多个业务，然后部署到不同的服务器上，这就是分布式。
举个例子
公司的网上商城，拆分成两个系统：商品系统和支付系统，用户在商品系统上完成浏览商品、加入购物车的动作，在支付系统上完成支付动作(当然用户是无法感知到是在两个系统上完成的操作)，这就是分布式。当然，还能继续拆，例如拆出来：用户系统、积分系统、物流系统等等等等。
分布式的好处
领导说，我们再做一个二手交易平台，类似于X鱼，这时候用户系统、支付系统就可以复用了，做到了服务复用。
集群
一个业务，部署在多台服务器上，这就是集群。这里的一个业务，可以直接看做一个程序包。
举个例子
公司开发了一个网上商城，类似于T宝，顾客可以在上面浏览商品、加入购物车、支付，完成整个的购物流程。
公司买了一台服务器，把这套程序部署上去，可以满足一千个人同时在线购物。
当顾客越来越多，服务器负载越来越高，商城的页面也越来越卡，这时候公司再买几台服务器，把商城的程序在每个服务器上都部署一套，由负载均衡将请求转发到各个服务器上，这就是集群。
集群分类
Linux集群主要分成三大类( 高可用集群， 负载均衡集群，科学计算集群)
1. 高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如"双机热备", “双机互备”, “双机”.
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
分布式 + 集群
分布式和集群通常是是结合在一起使用的;
比如商品系统部署两台，支付系统部署两台，前面各自挂负载均衡，这样就算有单个服务器 Down 掉，也不会对整个业务流程造成影响。
小结：
分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。
举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，一个节点垮了，哪这个业务就不可访问了。
引申：
刚才已经说过负载均衡和反向代理了，那不得不提一下Nginx，可以说用来做这个再合适不过了。接下来说一下Nginx的配置和如何实现反向代理以及负载均衡。
Nginx配置实现多台服务器负载均衡
基本命令
nginx -t 检查配置文件是否有语法错误
nginx -s reload 热加载，重新加载配置文件
nginx -s stop 快速关闭
nginx -s quit 等待工作进程处理完成后关闭
Nginx负载均衡服务器的nginx.conf
# 工作进程的数量
worker_processes 1;
events {
worker_connections 1024; # 每个工作进程连接数
}
http {
include mime.types;
default_type application/octet-stream;
# 日志格式
log_format access '$remote_addr - $remote_user [$time_local] $host "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" "$clientip"';
access_log /srv/log/nginx/access.log access; # 日志输出目录
gzip on;
sendfile on;
# 链接超时时间，自动断开
keepalive_timeout 60;
# 虚拟主机
server {
listen 8080;
server_name localhost; # 浏览器访问域名
charset utf-8;
access_log logs/localhost.access.log access;
# 路由
location / {
root www; # 访问根目录
index index.html index.htm; # 入口文件
}
}
# 引入其他的配置文件
include servers/*;
}
upstream的负载均衡,四种调度算法
调度算法1:轮询.每个请求按时间顺序逐一分配到不同的后端服务器,
如果后端某台服务器宕机,故障系统被自动剔除,使用户访问不受影响
upstream webhost {
server 192.168.0.5:6666 ;
server 192.168.0.7:6666 ;
}
调度算法2:weight(权重).可以根据机器配置定义权重.权重越高被分配到的几率越大
upstream webhost {
server 192.168.0.5:6666 weight=2;
server 192.168.0.7:6666 weight=3;
}
调度算法3:ip_hash. 每个请求按访问IP的hash结果分配,这样来自同一个IP的访客固定访问一个后端服务器,
有效解决了动态网页存在的session共享问题
upstream webhost {
ip_hash;
server 192.168.0.5:6666 ;
server 192.168.0.7:6666 ;
}
调度算法4:url_hash(需安装第三方插件).此方法按访问url的hash结果来分配请求,
使每个url定向到同一个后端服务器,可以进一步提高后端缓存服务器的效率.
Nginx本身是不支持url_hash的,如果需要使用这种调度算法,必须安装Nginx 的hash软件包
upstream webhost {
server 192.168.0.5:6666 ;
server 192.168.0.7:6666 ;
hash $request_uri;
}
调度算法5:fair(需安装第三方插件).这是比上面两个更加智能的负载均衡算法.
此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,
响应时间短的优先分配.Nginx本身是不支持fair的,如果需要使用这种调度算法,必须下载Nginx的upstream_fair模块
虚拟主机的配置(采用调度算法3:ip_hash)
server
{
listen 80;
server_name mongo.demo.com;
#对 “/” 启用反向代理
location / {
proxy_pass http://webhost;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#以下是一些反向代理的配置,可选.
proxy_set_header Host $host;
client_max_body_size 10m; #允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数,
proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; #连接成功后,后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的设置
proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）
proxy_temp_file_write_size 64k;
#设定缓存文件夹大小,大于这个值,将从upstream服务器传
}
}
}
配置 192.168.0.4（Nginx-Server）
创建文件夹准备存放配置文件
$ mkdir -p /opt/confs
$ vim /opt/confs/nginx.conf
events
{
use epoll;
worker_connections 65535;
}
http
{
upstream webhost {
ip_hash;
server 192.168.0.5:6666 ;
server 192.168.0.7:6666 ;
}
server
{
listen 80;
server_name mongo.demo.com;
location / {
proxy_pass http://webhost;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $host;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}
}
先这样吧，文中引申部分
https://www.jb51.net/article/218545.htm
https://www.cnblogs.com/hanease/p/15890509.html
相关文章：
SpringCloud Alibaba集成 Gateway(自定义负载均衡器)、Nacos(配置中心、注册中心)、Loadbalancer
要为未被某些网关路由谓词处理的请求提供相同的CORS配置，请将属性spring.cloud.gateway.globalcors.add-to-simple-url-handler-mapping设置为true。断言（Predicate）：Java8中的断言函数，Spring Cloud Gateway中的断言函数输入类型是 Spring5.0框架中的ServerWebExchange。对于所有GET请求的路径，来自docs.spring.io的请求都将允许CORS请求。
并发编程下的集合：数组寻址、LinkedList、HashMap、ConcurrentHashMap
如果发现hash取模后的数组索引位下无元素则直接新增，若不是空那就说明存在hash冲突，则判断数组索引位链表结构中的第一个元素的key以及hash值是否与新的key一致则直接覆盖，若不一致则判断当前的数组索引下的链表结构是否为红黑树，若为红黑树则走红黑树的新增方法，若不为红黑树则遍历当前链表结构，遍历中发现某个节点元素的next为null是则直接将新元素指针与next进行关联，若在遍历到next为空前判断到，某个节点的key以及key的hash值与新的key与新的keyhash值一致时则走覆盖。
【日常开发之插件篇】IDEA plugins 神器助我！！
今早因为老代码的一些bug让我突然觉得Idea的一些插件特别好用，我准备将我平时所用到的一些插件做个推荐以及记录。
【日常开发之FTP】Windows开启FTP、Java实现FTP文件上传下载
FTP是一个专门进行文件管理的操作服务，一般来讲可以在任意的操作系统之中进行配置，但是如果考虑到简便性，一般来讲可以直接在Linux系统下进行安装。FTP (File Transfer Protocol、文件传输协议）是TCP/IP协议中的一部分，属于应用层协议。使用FTP最主要的功能是对文件进行管理，所以在FTP内部对于文件支持有两种传输模式:文本模式(ASCII、默认）和二进制模式(Binary)，通常文本文件使用ASCIl模式，而对于图片、视频、声音、压缩等文件则会使用二进制的方式进行传输。
【Linux之升华篇】Linux内核锁、用户模式与内核模式、用户进程通讯方式
alloc_pages(gfp_mask, order),_ _get_free_pages(gfp_mask, order)等。字符设备描述符 struct cdev,cdev_alloc()用于动态的分配 cdev 描述符,cdev_add()用于注。外,还支持语义符合 Posix.1 标准的信号函数 sigaction(实际上,该函数是基于 BSD 的,BSD。从最初的原子操作,到后来的信号量,从。(2)命名管道(named pipe):命名管道克服了管道没有名字的限制,因此,除具有管道所具有的。
【Mongdb之数据同步篇】什么是Oplog、Mongodb 开启oplog，java监听oplog并写入关系型数据库、Mongodb动态切换数据源
oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。Oplog 可以说是Mongodb Replication的纽带了。
zookeeper集群部署以及zookeeper原理
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，提供Java和C的接口。
【日常开发之Windows共享文件】Java实现Windows共享文件上传下载
下拉框选择你选择的用户点击添加，然后共享确定。创建一个文件夹然后点击属性界面，点击共享。maven版本存在于SMB协议的兼容问题。首先开启服务，打开控制面板点击程序。点击启用或关闭Windows功能。我这边是专门创建了一个用户。SMB1.0选中红框内的。
CXFServlet类的作用
CXFServlet是Apache CXF框架中的一个核心组件，用于处理HTTP请求并将它们转换为Web服务调用。通过配置CXFServlet，你可以轻松地部署和管理SOAP和RESTful Web服务。
@Scheduled注解的scheduler属性什么作用
注解是 Spring Framework 提供的一种机制，用于定义计划任务，即周期性执行的任务。 注解可以应用于方法上，以指示 Spring 容器在特定的时间间隔或按照某种调度规则来调用该方法。 属性是 注解的一个可选属性，它的作用是允许开发者指定一个自定义的 对象来控制任务的调度方式。默认情况下， 注解使用 Spring 内部的 来执行任务，但如果需要更高级的定制化需求，可以通过 属性指定一个自定义的 实现。自定义调度器:共享调度器资源:高级调度需求:假设你想使用 作为调度器，并且希望所有带有
过滤器、拦截器、aop的先后顺序和作用范围&拦截器preHandle(),postHandle(),afterComplation()方法执行顺序
在Spring框架中，过滤器（Filter）、拦截器（Interceptor）和面向切面编程（AOP）都是用于处理请求和处理流程的组件，但它们的作用范围和触发时机有所不同。下面我会解释这三者的先后顺序和作用范围。执行顺序：请注意，这个顺序可能因具体的配置和使用的技术而有所不同。在实际应用中，建议根据项目的具体需求来合理配置和使用这些组件。拦截器执行流程图：实现拦截器需要实现这个接口，这个 接口中有三个默认方法，这三个方法的执行顺序：我们实现接口然后重写这三个方法，就会在对应的时机被自动执行。这里就是调用处理
Zookeeper概要、协议、应用场景
Zoopkeeper提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构并对树中的节点进行有效管理，从而可以设计出多种多样的分布式的数据管理模型，作为分布式系统的沟通调度桥梁。
spring.factories文件的作用
即spring.factories文件是帮助spring-boot项目包以外的bean（即在pom文件中添加依赖中的bean）注册到spring-boot项目的spring容器中。在Spring Boot启动时，它会扫描classpath下所有的spring.factories文件，加载其中的自动配置类，并将它们注入到Spring ApplicationContext中，使得项目能够自动运行。spring.factories文件是Spring Boot自动配置的核心文件之一，它的作用是。
Spring事务七大传播机制与五个隔离级别，嵌套事务
如果当前方法正有一个事务在运行中，则该方法应该运行在一个嵌套事务中，被嵌套的事务可以独立于被封装的事务中进行提交或者回滚。如果封装事务存在，并且外层事务抛出异常回滚，那么内层事务必须回滚，反之，内层事务并不影响外层事务。当前方法必须在一个具有事务的上下文中运行，如有客户端有事务在进行，那么被调用端将在该事务中运行，否则的话重新开启一个事务。当前方法必须运行在它自己的事务中。一个新的事务将启动，而且如果有一个现有的事务在运行的话，则这个方法将在运行期被挂起，直到新的事务提交或者回滚才恢复执行。
常见的七种加密算法及实现
**数字签名**、**信息加密** 是前后端开发都经常需要使用到的技术，应用场景包括了用户登入、交易、信息通讯、`oauth` 等等，不同的应用场景也会需要使用到不同的签名加密算法，或者需要搭配不一样的 **签名加密算法** 来达到业务目标。这里简单的给大家介绍几种常见的签名加密算法和一些典型场景下的应用。## 正文### 1. 数字签名**数字签名**，简单来说就是通过提供 **可鉴别** 的 **数字信息** 验证 **自身身份** 的一种方式。一套 **数字签名** 通常定义两种 **互补
7min到40s：SpringBoot 启动优化实践
然后重点排查这些阶段的代码。先看下。
SpringBoot系列教程之Bean之指定初始化顺序的若干姿势
之前介绍了@Order注解的常见错误理解，它并不能指定 bean 的加载顺序，那么问题来了，如果我需要指定 bean 的加载顺序，那应该怎么办呢？本文将介绍几种可行的方式来控制 bean 之间的加载顺序。
在Java中使用WebSocket
WebSocket是一种协议，用于在Web应用程序和服务器之间建立实时、双向的通信连接。它通过一个单一的TCP连接提供了持久化连接，这使得Web应用程序可以更加实时地传递数据。WebSocket协议最初由W3C开发，并于2011年成为标准。
3种方案，模拟两个线程抢票
在多线程编程中，资源竞争是一个常见的问题。资源竞争发生在多个线程试图同时访问或修改共享资源时，可能导致数据不一致或其他并发问题。在模拟两个线程抢票的场景中，我们需要考虑如何公平地分配票，并确保每个线程都有机会成功获取票。本篇文章将通过三种方式来模拟两个线程抢票的过程，以展示不同的并发控制策略。使用 Synchronized 来确保一次只有一个线程可以访问票资源。使用 ReentrantLock 来实现线程间的协调。使用 Semaphore 来限制同时访问票的线程数量。
替代Druid，HakariCP 为什么这么快？
这次源码探究，真的感觉看到了无数个小细节，无数个小优化，积少成多。平时开发过程中，一些小的细节也一定要“扣”。
Java中volatile 的使用场景有哪些？
volatile是一种轻量级的同步机制，它能保证共享变量的可见性，同时禁止重排序保证了操作的有序性，但是它无法保证原子性。所以使用volatilevolatile。
JDK22 正式发布了 ！
Java 22 除了推出了新的增强功能和特性，也获得 Java Management Service (JMS) 的支持，这是一项新的 Oracle 云基础设施远程软件服务(Oracle Cloud Infrastructure, OCI) 原生服务，提供统一的控制台和仪表盘，帮助企业管理本地或云端的 Java 运行时和应用。使包含运行时计算值的字符串更容易表达，简化 Java 程序的开发工作，同时提高将用户提供的值编写成字符串，并将字符串传递给其他系统的程序的安全性。支持开发人员自由地表达构造器的行为。
Jackson 用起来！
你可以创建自定义序列化器和反序列化器以自定义特定字段或类的序列化和反序列化行为。为此，请创建一个实现或接口的类，并在需要自定义的字段或类上使用和注解。@Override// ...其他代码...优势性能优异：Jackson在序列化和反序列化过程中表现出优秀的性能，通常比其他Java JSON库更快。灵活性：通过注解、自定义序列化器/反序列化器等功能，Jackson提供了丰富的配置选项，允许你根据需求灵活地处理JSON数据。易于使用：Jackson的API设计简洁明了，易于学习和使用。
拜托！别再滥用 ! = null 判空了！！
另外，也许受此习惯影响，他们总潜意识地认为，所有的返回都是不可信任的，为了保护自己程序，就加了大量的判空。如果你养成习惯，都是这样写代码（返回空collections而不返回null)，你调用自己写的方法时，就能大胆地忽略判空）这种情况下，null是个”看上去“合理的值，例如，我查询数据库，某个查询条件下，就是没有对应值，此时null算是表达了“空”的概念。最终，项目中会存在大量判空代码，多么丑陋繁冗！，而不要返回null，这样调用侧就能大胆地处理这个返回，例如调用侧拿到返回后，可以直接。
详解Java Math类的toDegrees()方法：将参数从弧度转换为角度
Java Math 类的 toDegrees() 方法是将一个角度的弧度表示转换为其度表示，返回值为double类型，表示从弧度数转换而来的角度数。这就是Java Math 类的 toDegrees() 方法的攻略。我们已经了解了该方法的基本概念、语法、注意事项以及两个示例。希望这篇攻略对你有所帮助。
SpringBoot接口防抖(防重复提交)的一些实现方案
作为一名老码农，在开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统，对接过许多开放平台，也搞过消息中心这类较为复杂的应用，但幸运的是，我至今还没有遇到过线上系统由于代码崩溃导致资损的情况。这其中的原因有三点：一是业务系统本身并不复杂；二是我一直遵循某大厂代码规约，在开发过程中尽可能按规约编写代码；三是经过多年的开发经验积累，我成为了一名熟练工，掌握了一些实用的技巧。啥是防抖所谓防抖，一是防用户手抖，二是防网络抖动。
公司新来一个同事：为什么 HashMap 不能一边遍历一边删除？一下子把我问懵了！
前段时间，同事在代码中KW扫描的时候出现这样一条：上面出现这样的原因是在使用foreach对HashMap进行遍历时，同时进行put赋值操作会有问题，异常ConcurrentModificationException。于是帮同简单的看了一下，印象中集合类在进行遍历时同时进行删除或者添加操作时需要谨慎，一般使用迭代器进行操作。于是告诉同事，应该使用迭代器Iterator来对集合元素进行操作。同事问我为什么？这一下子把我问蒙了？对啊，只是记得这样用不可以，但是好像自己从来没有细究过为什么？
每天一个摆脱if-else工程师的技巧——优雅的参数校验
在日常的开发工作中，为了程序的健壮性，大部分方法都需要进行入参数据校验。最直接的当然是在相应方法内对数据进行手动校验，但是这样代码里就会有很多冗余繁琐的if-else。throw new IllegalArgumentException("用户姓名不能为空");throw new IllegalArgumentException("性别不能为空");throw new IllegalArgumentException("性别错误");
SpringBoot请求转发与重定向
但是可能由于B网址相对于A网址过于复杂，这样搜索引擎就会觉得网址A对用户更加友好，因而在重定向之后任然显示旧的网址A，但是显示网址B的内容。在平常使用手机的过程当中，有时候会发现网页上会有浮动的窗口，或者访问的页面不是正常的页面，这就可能是运营商通过某种方式篡改了用户正常访问的页面。重定向，是指在Nginx中，重定向是指通过修改URL地址，将客户端的请求重定向到另一个URL地址的过程，Nginx中实现重定向的方式有多种，比如使用rewrite模块、return指令等。使用场景：在返回视图的前面加上。
SSO 单点登录和 OAuth2.0 有何区别？
此方法的缺点是它依赖于浏览器和会话状态，对于分布式或者微服务系统而言，可能需要在服务端做会话共享，但是服务端会话共享效率比较低，这不是一个好的方案。在单点登录的上下文中，OAuth 可以用作一个中介，用户在一个“授权服务器”上登录，并获得一个访问令牌，该令牌可以用于访问其他“资源服务器”上的资源。首先，SSO 主要关注用户在多个应用程序和服务之间的无缝切换和保持登录状态的问题。这种方法通过将登录认证和业务系统分离，使用独立的登录中心，实现了在登录中心登录后，所有相关的业务系统都能免登录访问资源。