redis主从复制、高可用和集群

redis简介：

    redis是一个key-value存储系统.和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）;这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的;在此基础上，redis支持各种不同方式的排序.与memcached一样，为了保证效率，数据都是缓存在内存中;区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis的优点:

• 性能极高 – Redis能支持超过 100K+ 每秒的读写频率。
• 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
• 原子性 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。
• 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

主从复制：

实验环境：

test1: 172.25.1.11      作主机

test2: 172.25.1.12      作备机

test3: 172.25.1.13      作备机

test1、test2、test3:

tar zxf redis-4.0.8.tar.gz

cd redis-4.0.8

yum install gcc -y

make && make install

which redis-cli

cd utils/

./install_server.sh

redis-cli          //ctrl+c退出

netstat -antlp | grep redis

test1:

vim /etc/redis/6379.conf

/etc/init.d/redis_6379 restart

[root@test1 utils]# redis-cli

test2和test3:

[root@test2 redis]# vim 6379.conf                //这里的slaveof后的ip应是test1(master)的ip,端口为6379，目的是：与master同步

[root@test2 redis]# /etc/init.d/redis_6379 restart

[root@test2 redis]# redis-cli

//test3和test2执行相同的步骤

此时，给test1执行：

则test2和test3已经同步过来了：

哨兵模式实现主从高可用

//做主从切换的时候只能有一个与主发起同步

redis提供了哨兵,实现高可用。哨兵节点进行自主监控主从节点以及其他哨兵节点，当发现主节点挂掉时自动故障转移。

哨兵节点最好为奇数：

test1:

[root@test1 redis-4.0.8]# pwd
/root/redis-4.0.8
[root@test1 redis-4.0.8]# cp sentinel.conf /etc/redis/
[root@test1 redis-4.0.8]# vim /etc/redis/sentinel.conf

//这里的sentinel后跟的ip为哨兵节点的领导者，用来做故障转移。

[root@test1 ~]# scp /etc/redis/sentinel.conf test2:/etc/redis/

[root@test1 ~]# scp /etc/redis/sentinel.conf test3:/etc/redis/

[root@test1 ~]# cd /etc/redis

test1:

[root@test1 redis]# redis-server /etc/redis/sentinel.conf --sentinel                //查看连接状态

test2:

[root@test2 redis]# cd /etc/redis
[root@test2 redis]# redis-server /etc/redis/sentinel.conf --sentinel

1152:X 31 Mar 03:33:43.740 * +sentinel sentinel d5482bb57d42d1e217c5b4d794177aebd1d17173 172.25.1.11 26379 @ mymaster 172.25.1.11 6379
1152:X 31 Mar 03:34:49.031 * +sentinel sentinel f34d21c240b9903cbd6f51a3546ad87a2d84c89a 172.25.1.12 26379 @ mymaster 172.25.1.11 6379
1152:X 31 Mar 03:36:15.879 # +sdown sentinel f34d21c240b9903cbd6f51a3546ad87a2d84c89a 172.25.1.13 26379 @ mymaster 172.25.1.11 6379

test3:

[root@test3 redis]# cd /etc/redis/

[root@test3 redis]# redis-server /etc/redis/sentinel.conf --sentinel

1251:X 31 Mar 03:46:42.534 * +slave slave 172.25.1.12:6379 172.25.1.12 6379 @ mymaster 172.25.1.11 6379
1251:X 31 Mar 03:46:42.534 * +slave slave 172.25.1.11:6379 172.25.1.13 6379 @ mymaster 172.25.1.11 6379
1251:X 31 Mar 03:47:12.562 # +sdown slave 172.25.1.11:6379 172.25.1.11 6379 @ mymaster 172.25.1.11 6379

若此时将test1的sentinel关掉，假设出现故障：

[root@test1 redis]# redis-cli
127.0.0.1:6379> shutdown
not connected>

test2和test3监控分别显示：

此时，test3接替test1作为哨兵节点的领导者，负责故障转移。

查看哨兵配置文件：

test3:

test2:

配置文件自动更新为172.25.1.13

若再次将test1的哨兵节点恢复，则此时：

[root@test1 redis]# /etc/init.d/redis_6379 start

可以看到test1的哨兵服务开启后，test1并没有恢复以前的master身份，而是转为slave

[root@test3 redis]# redis-server /etc/redis/sentinel.conf --sentinel

可以在配置文件中查看：

[root@test1 redis]# vim 6379.conf

可以看出test1的配置文件的最后一行自动添加了  slaveof 172.25.1.13 6379，即test3为master

test3配置文件中的  slaveof 172.25.1.11 6379已经自动消失

Redis集群搭建

//若某节点与其他节点通信时过半的master与其无法通信则该master挂掉。

//任意一个master挂掉，若该master没有从节点,则该集群挂掉。

//过半的 master挂掉，则该集群挂掉。

Redis集群简介

redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群；
        redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点；
        redis集群没有统一的入口，客户端连接集群的时候连接集群中的任意节点即可，集群内部的节点是相互通信的（ping-pong机制），每个节点都是一个redis实例；
        为了实现集群的高可用，即判断节点能否正常使用，redis-cluster有一个投票容错机制：如果集群中超过半数的节点投票认为某个节点挂了，则该结点就挂了（fail）；

什么时候整个集群不可用？
       1、 若集群中任意一个节点挂了且该节点没有从节点（备份节点），则集群就挂了，即不可用 ；

2、如果集群超过半数以上master挂掉，无论是否有slave，集群进入fail状态 。
        任意一个节点挂了且该结点没有从节点，则这个集群就挂了的原因 -> 因为集群内置了16384个哈希槽，并且把所有的物理节点映射到了这16384[0-16383]个哈希槽上，或者说把这些哈希槽均等的分配给了各个节点。当需要在Redis集群存放一个数据（key-value）时，redis会先对这个key进行crc16（循环冗余码校验）算法，然后得到一个结果，再把这个结果对16384进行求余，这个余数会对应[0-16383]其中一个槽，从而决定key-value存储到哪个节点中。所以一旦某个节点挂了，该节点对应的哈希槽就无法使用，那么就会导致集群无法正常工作。
        注：每个Redis集群理论上最多可以有16384个节点。

实验环境：
Redis集群至少需要3个节点，因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了，所以2个节点无法构成集群。
为保证集群的高可用，需要每个节点都有从节点，所以redis集群至少需要6台服务器。因为我没有那么多服务器，也启动不了那么多虚拟机，所在这里搭建的是伪分布式集群，即一台服务器虚拟运行6个redis实例，修改端口号为（7001-7006）。

[root@test1 ~]# cd /usr/local/
[root@test1 local]# ls
bin  etc  games  include  lib  lib64  libexec  sbin  share  src
[root@test1 local]# mkdir cluster
[root@test1 local]# cd cluster/
[root@test1 cluster]# mkdir 700{1..6}
[root@test1 cluster]# ls
7001  7002  7003  7004  7005  7006
[root@test1 cluster]# cd 7001/
[root@test1 7001]# vim redis.conf

port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

[root@test1 7001]# cd
[root@test1 ~]# cd redis-4.0.8/src/
[root@test1 src]# cp redis-trib.rb /usr/local/bin/
[root@test1 src]# cd

[root@test1 ~]# yum install -y rubygems-1.3.7-5.el6.noarch.rpm ruby-2.2.3-1.el6.x86_64.rpm libyaml-0.1.3-4.el6_6.x86_64.rpm

[root@test1 ~]# gem install --local redis-4.0.1.gem                      //这些资源须自行下载

[root@test1 ~]# gem list --local

[root@test1 ~]# /etc/init.d/redis_6379 stop
Stopping ...
Redis stopped
[root@test1 ~]# chkconfig redis_6379 off
[root@test1 ~]# cd /usr/local/cluster
[root@test1 cluster]# cd 7001/

[root@test1 7001]# vim redis.conf

port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes         //指定是否在每次更新操作后进行日志记录，redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电 时导致一段时间内数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内置 存在于内存中。默认为no

daemonzie yes                    //redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程：

pidfile /var/run/redis.pid           //当redis以守护进程方式运行时，redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

logfile /usr/local/cluster/7001/redis.log

[root@test1 7001]# touch redis.log

[root@test1 7001]# redis-server redis.conf            //启动服务

[root@test1 7001]# cat redis.log    //查看日志

[root@test1 7001]# cat /proc/sys/net/core/somaxconn

[root@test1 7001]# echo 511 > /proc/sys/net/core/somaxconn
[root@test1 7001]# sysctl -w vm.overcommit_memory=1
vm.overcommit_memory = 1
[root@test1 7001]# vim /etc/sysctl.conf
[root@test1 7001]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@test1 7001]# cp redis.conf ../7002/
[root@test1 7001]# cp redis.conf ../7003
[root@test1 7001]# cp redis.conf ../7004
[root@test1 7001]# cp redis.conf ../7005
[root@test1 7001]# cp redis.conf ../7006

[root@test1 7001]# cd ../7002
[root@test1 7002]# vim redis.conf            //将端口改为7002

port 7002

[root@test1 7002]# touch redis.log

[root@test1 7002]# redis-server redis.conf

[root@test1 7001]# cat redis.log    //查看日志,是否有报错

//以此类推,切换到7003 7004 7005 7006 并将其对应配置文件的端口改为7003 7004 7005 7006后重启并查看配置文件是否有报错

[root@test1 7006]# ps ax            //查看进程是否打开

[root@test1 7006]# redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7001
127.0.0.1:7002
127.0.0.1:7003
Adding replica 127.0.0.1:7005 to 127.0.0.1:7001
Adding replica 127.0.0.1:7006 to 127.0.0.1:7002
Adding replica 127.0.0.1:7004 to 127.0.0.1:7003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: ef39d7b9c63cfce969ba0fec6112d26a621a9ed4 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
M: 50164d159a1975dd509a65e441893883fa097159 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
M: 6b2f4d1bd89a82160786e286e2dd81474cd7de38 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
S: f451e795057133c384ad1d29993e22a190439afc 127.0.0.1:7004
   replicates 6b2f4d1bd89a82160786e286e2dd81474cd7de38
S: e92729b4589d41be6b52fef2387a62b63ada606e 127.0.0.1:7005
   replicates ef39d7b9c63cfce969ba0fec6112d26a621a9ed4
S: 3a8db69457f1c8f52f5c66e47fe48f92baff78f5 127.0.0.1:7006
   replicates 50164d159a1975dd509a65e441893883fa097159
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: ef39d7b9c63cfce969ba0fec6112d26a621a9ed4 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: f451e795057133c384ad1d29993e22a190439afc 127.0.0.1:7004
   slots: (0 slots) slave
   replicates 6b2f4d1bd89a82160786e286e2dd81474cd7de38
S: e92729b4589d41be6b52fef2387a62b63ada606e 127.0.0.1:7005
   slots: (0 slots) slave
   replicates ef39d7b9c63cfce969ba0fec6112d26a621a9ed4
M: 6b2f4d1bd89a82160786e286e2dd81474cd7de38 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 3a8db69457f1c8f52f5c66e47fe48f92baff78f5 127.0.0.1:7006
   slots: (0 slots) slave
   replicates 50164d159a1975dd509a65e441893883fa097159
M: 50164d159a1975dd509a65e441893883fa097159 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

[root@test1 7006]# redis-trib.rb check 127.0.0.1:7001

>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: ef39d7b9c63cfce969ba0fec6112d26a621a9ed4 127.0.0.1:7001               //replicates可以看出，7001是7005的master
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: f451e795057133c384ad1d29993e22a190439afc 127.0.0.1:7004      
   slots: (0 slots) slave
   replicates 6b2f4d1bd89a82160786e286e2dd81474cd7de38
S: e92729b4589d41be6b52fef2387a62b63ada606e 127.0.0.1:7005             
   slots: (0 slots) slave
   replicates ef39d7b9c63cfce969ba0fec6112d26a621a9ed4
M: 6b2f4d1bd89a82160786e286e2dd81474cd7de38 127.0.0.1:7003               //7003是7004的master
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 3a8db69457f1c8f52f5c66e47fe48f92baff78f5 127.0.0.1:7006
   slots: (0 slots) slave
   replicates 50164d159a1975dd509a65e441893883fa097159
M: 50164d159a1975dd509a65e441893883fa097159 127.0.0.1:7002                //7002是7006的master
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

7001 7002 7003是master

[root@test1 7006]# cd ../7001
[root@test1 7001]# redis-cli -c -p 7001               //登陆进入7001
127.0.0.1:7001> set name westos                  //存入数据
-> Redirected to slot [5798] located at 127.0.0.1:7002                //数据自动写入7002
OK
127.0.0.1:7002> get name            //查看数据
"westos"
127.0.0.1:7002>
[root@test1 7001]# redis-cli -c -p 7004                //登陆进入7004
127.0.0.1:7004> get name                     //查看name会跳转到7002
-> Redirected to slot [5798] located at 127.0.0.1:7002
"westos"
127.0.0.1:7002>
[root@test1 7001]# redis-cli -c -p 7005                //登陆进入7005
127.0.0.1:7005> get name                 //查看name会跳转到7002
-> Redirected to slot [5798] located at 127.0.0.1:7002        
"westos"

[root@test1 7001]# ps ax              //查看7002的进程id

1282 ?        Ssl    0:02 redis-server *:7001 [cluster]
 1316 ?        Ssl    0:02 redis-server *:7002 [cluster]
 1347 ?        Ssl    0:02 redis-server *:7003 [cluster]
 1359 ?        Ssl    0:02 redis-server *:7004 [cluster]
 1366 ?        Ssl    0:02 redis-server *:7005 [cluster]
 1374 ?        Ssl    0:02 redis-server *:7006 [cluster]

[root@test1 7001]#  kill 1316           //杀死7002

[root@test1 7001]# redis-cli -c -p 7002        //登陆发现登陆不上

[root@test1 7001]# redis-cli -c -p 7005             //此时集群是好的
127.0.0.1:7005> get name
-> Redirected to slot [5798] located at 127.0.0.1:7006
"westos"
127.0.0.1:7006>
[root@test1 7001]# cd ../7002/
[root@test1 7002]# redis-server redis.conf                //重启7002
[root@test1 7002]# redis-trib.rb check 127.0.0.1:7001                   //此时7002由master变为slave

[root@test1 7002]# ps -ax                 //查看进程id

[root@test1 7002]# kill 1374              //杀死7006
[root@test1 7002]# kill 1409              //杀死7002
[root@test1 7002]# redis-cli -c -p 7001      //登陆7001
127.0.0.1:7001> get name               //发现集群已经挂掉
(error) CLUSTERDOWN The cluster is down
127.0.0.1:7001>
[root@test1 7002]# redis-server redis.conf           //重启7002
[root@test1 7002]# cd ../7006
[root@test1 7006]# redis-cli -c -p 7001              //发现集群状态恢复
127.0.0.1:7001> get name
-> Redirected to slot [5798] located at 127.0.0.1:7002
"westos"
127.0.0.1:7002>
[root@test1 7006]# redis-server redis.conf                             //重启7006
[root@test1 7006]# redis-cli -c -p 7001
127.0.0.1:7001> get name
-> Redirected to slot [5798] located at 127.0.0.1:7002
"westos"

若将两个redis的master挂掉,挂掉7001和7003，则发现此时集群挂掉：