redis cluster 安装配置
一、redis集群安装配置
1、下载redis源码包并下载
wget http://download.redis.io/releases/redis-3.0.7.tar.gz $ tar xzf redis-3.0.7.tar.gz $ cd redis-3.0.7 yum -y install gcc gcc-c++ libstdc++-devel #解决相关依赖关系$ make && make install 因我们安装redis 集群,需要安装ruby环境,不然会报错 sudo yum -y install ruby rubygems sudo gem install redis 加载配置文件并后台运行 /usr/local/redis-3.0.7/src/redis-server & $ src/redis-cli redis> set foo bar OK redis> get foo "bar"
2、因我是集群六个节点在两台机器上(部署在三台机器相对合理),所以创建相关的redis实例目录
mkdir -p /usr/local/redis-3.0.7/redis-cluster/700{0..2} mkdir -p /opt/redis/700{0..2} #存放redis的log以及数据文件 在另外一台机器上执行 mkdir -p /usr/local/redis-3.0.7/redis-cluster/700{3..5} mkdir -p /opt/redis/700{3..5} #存放redis的log以及数据文件 同时对以上redis目录进行授权 sudo chown -R sysadmin:sysadmin /usr/local/redis-3.0.7/ sudo chown -R sysadmin:sysadmin /opt/redis/
3、配置集群的配置文件,以下为7000节点的配置文件:
vim /usr/local/redis-3.0.7/redis-cluster/7000/7000.conf daemonize yes pidfile /opt/redis/redis_7000.pid port 7000 tcp-backlog 511 bind 10.10.10.33 timeout 0 tcp-keepalive 0 loglevel notice logfile "/opt/redis/7000/7000redis.log" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /opt/redis/7000 slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly yes appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 cluster-enabled yes #cluster-enabled no cluster-config-file /usr/local/redis-3.0.7/redis-cluster/7000/nodes-7000.conf cluster-node-timeout 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes 注:其他节点的一样,把端口及相应路径替换即可
4、创建集群
/usr/local/redis-3.0.7/src/redis-trib.rb create --replicas 1 10.10.10.33:7000 10.10.10.33:7001 10.10.10.33:7002 10.10.10.34:7003 10.10.10.34:7004 10.10.10.34:7005
5、检测集群创建情况
/usr/local/redis-3.0.7/src/redis-trib.rb check 10.10.10.34:7005 >>> Performing Cluster Check (using node 10.10.10.34:7005) M: fe5aaa53d084e6fef971851830010d9d29651bfe 10.10.10.34:7005slots:5461-10922 (5462 slots) master1 additional replica(s) S: 17f7a7b9c77acf32f6669d479ec338098288361c 10.10.10.33:7001slots: (0 slots) slavereplicates f8058b5b3f6a4ad3e6d0cb301b23ce5695b92e78 S: fc0d5eb3287973d5e22fba998cfdb86aff6fe0a7 10.10.10.33:7002slots: (0 slots) slavereplicates 67f56970400414a138c74c5229d4f1c20583143a M: f8058b5b3f6a4ad3e6d0cb301b23ce5695b92e78 10.10.10.34:7003slots:0-5460 (5461 slots) master1 additional replica(s) S: 87bb6000fe034800237adb6873a6fd9d39a60f49 10.10.10.33:7000slots: (0 slots) slavereplicates fe5aaa53d084e6fef971851830010d9d29651bfe M: 67f56970400414a138c74c5229d4f1c20583143a 10.10.10.34:7004slots:10923-16383 (5461 slots) master1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
6、至此,redis cluster创建完毕,讲redis加入开机启动
/usr/local/redis-3.0.7/src/redis-server /usr/local/redis-3.0.5/redis-cluster/7000/7000.conf & /usr/local/redis-3.0.7/src/redis-server /usr/local/redis-3.0.5/redis-cluster/7001/7001.conf & /usr/local/redis-3.0.7/src/redis-server /usr/local/redis-3.0.5/redis-cluster/7002/7002.conf & 注:另一台机器也同样加入
二、使用集群过程中出现的问题,遇到的坑
1、设计的时候最好是使用三台机器,两台机器的架构坑比较多,比如我用的是windowns Azure某天因windowns Azure出现故障导致其中一天机器自动重启,因此架构总共才两台服务器,整个集群就出现故障了,会造成数据的丢失,并且机器起来后导致那台机器上的一个节点无论如何都不能自动加入到集群里面,如果放到三台机器上集群自动创建的主从,即使一台机器重启造成的数据丢失也会小一点
2、集群开始创建的时候模拟其中一个节点故障后是否自动加入集群的时候,结果停掉一个节点后再起来怎么都不会自动加入到集群,排查一通,原因是因为cluster-config-file没指定绝对路径,最后通过指定决定路径解决:
cluster-config-file /usr/local/redis-3.0.7/redis-cluster/7003/nodes-7003.conf
3、某次微软云再次出现服务器无故重启,导致重启那台机器的节点不能自动加入到集群中,结果通过查阅官网手动添加,通过如下命令加入:
./redis-trib.rb add-node 10.10.10.33:7000 10.10.10.33:7001
加入后过了一段时间发现程序里面取数据的时候有数据丢失,并且check集群状态的时候有原来有序的三主三从变成了四主两从,因为后来手动加入造成了数据槽的分配发生不均衡变化,造成了数据的丢失,避免此坑的方法:
./redis-trib.rb add-node --slave 10.10.10.34:7005 10.10.10.33:7000 #指定加入节点的状态(slave) ./redis-trib.rb fix 10.10.10.34:7005 #加入成功后修复一下 ./redis-trib.rb reshard 10.10.10.33:7000 #通过reshard重新分配一下数据槽
4、如果第三步忘记做了,那就悲催了,就要通过重新创建集群了,因重新创建集群的时候必须保证redis的数据是空的,不是空的会报错,这对于已经使用一段时间的redis就坑大了,目前发现的redis cluster 的坑就这么多,以后有发现在补充!
转载于:https://blog.51cto.com/676021/1833509
相关文章:

【ACM】汉诺塔
https://blog.csdn.net/xueerfei008/article/details/9904681

什么是机器人底盘 答案在这里!
机器人底盘承载了机器人本身的定位、导航及避障等基本功能,可帮助机器人实现智能行走,以思岚科技的ZEUS为例,内置SLAMWARE高性能自主定位导航模块,用户可根据实际需要搭载不同的应用,可广泛适用于餐厅、商场、银行、办…

嵌入式linux内存使用和性能优化
这本书有两个关切点:系统内存(用户层)和性能优化。 这本书和Brendan Gregg的《Systems Performance》相比,无论是技术层次还是更高的理论都有较大差距。但是这不影响,快速花点时间简单过一遍。 然后在对《Systems Performance》进行详细的学…

【算法导论】插入排序
循环不变式 在数学上阐述了通过循环(迭代,递归)去计算一个累计的目标值的正确性。 关于循环不变式,我们必须要证明三条性质: 初始化:循环第一次迭代之前,它为真。保持:如果循环的…

gdb+gdbserver
内容摘要 远程调试环境由宿主机GDB和目标机调试stub共同构成,两者通过串口或TCP连接。使用 GDB标准程串行协议协同工作,实现对目标机上的系统内核和上层应用的监控和调试功能。调试stub是嵌入式系统中的一段代码,作为宿主机GDB和目标机调试程…

Android开发技巧——去掉TextView中autolink的下划线
我们知道,在布局文件中设置textview的autolink及其类型,这时textivew上会显示link的颜色,并且文字下面会有一条下划线,表示可以点击。而在我们在点击textview时,应用将根据我们所设置的类型跳转到对应的界面。但是有时…

【算法导论】冒泡排序 选择排序
冒泡排序: //从大到小 void bubble_sort(int array[],int len) {int i,j,t;for(i0;i<len-1;i){for(j0;j<len-1-i;j){if(array[j]<array[j1]){tarray[j];array[j]array[j1];array[j1]t;} }} } 选择排序: //从大到小 void select_sort(int a…

监控平台zabbix高级配置
2019独角兽企业重金招聘Python工程师标准>>> 12月26日任务 19.12 添加自定义监控项目 19.13/19.14 配置邮件告警 19.15 测试告警 19.16 不发邮件的问题处理 添加自定义监控项目 zabbix可以自定义监控项目,满足个性化的需求。例如网站注册量、访问量等具体…

linux内存实际占用分析
作者: 黄永兵/译 出处:51CTO.com 阅读提示:本文是为那些经常疑惑的人准备的,“为什么一个简单的KDE文本编辑器要占用25M内存?”导致大多数人认为许多Linux应用程序,特别是KDE或GNOME程序都象ps报告一样臃肿...【51CTO.com独家译文…

CentOS 6.5 下Vim 配置图解
分享个CentOS 6.5 下Vim 配置图文详解,希望对大家有所帮助。 1. 登录并进入你常用的用户名下,查看其主目录 命令: # su xxx $ cd xxx $ ls -a 2.查看并建立目录和文件 首先看你的主目录~/ 下是否有.vimrc文件,没有就输入指令 $ to…
【ACM】杭电OJ 1106 函数atoi
函数atoi是把字符串转化成整数的函数,头文件为 #include "stdlib.h" e.g. 运行环境:Dev-C 5.11 杭电1106 调用了sort函数,运行的时间相对长一些。 #include "stdio.h" #include "string.h" #include "…

docker-dockerfile
docker文件存储驱动dockerfile镜像构建指令示例dockekr镜像是只读的,对容器修改的内容,一旦容器退出,所有的内容将会丢失。镜像是分层的,最上的一层为读写层(写时复制和用时分配) 文件系统存储驱动…

proc/[pid]/maps 文件解释
proc/[pid]/maps 文件解释 查看进程的虚拟地址空间是如何使用的。 该文件有6列,分别为: 地址:库在进程里地址范围 权限:虚拟内存的权限,r读,w写,x,s共享,p私有; 偏移量:库在进程里…

【ACM】UVa 1339
【题目】:给定两个长度相同且不超过100的字符串,判断是否能把其中一个字符串的各个字母重排,然后对26个字母做一一映射,使得两个字符串相同。输入两个字符串,输出“YES”或者“NO”。 【分析】:既然字母可…

springBoot PUT请求接收不了参数的解决办法
2019独角兽企业重金招聘Python工程师标准>>> 做项目的时候,想把接口写标准点,于是在更新内容的时候采用put提交内容,但是提交内容时总是获取不到参数,总是选择参数为null。 首先贴出我的put的方法控制器的代码 和之前的…

七牛云内容审核服务被选为「上海首批人工智能创新产品」
近日,上海人工智能应用场景建设实施计划正式发布,这是全国首次面向人工智能应用场景需求的征集计划。上海 10 大人工智能应用场景、19 个具体点位需求和 60 个人工智能创新产品集中首发,其中,上海七牛信息技术有限公司(…

linux动态库命名规则
说道“动态库版本兼容”,很多人头脑中首先蹦出的就是“Dll Hell”。啊,这曾经让人头疼的难题。时至今日,这个难题已经很好地解决了。 在进一步讨论之前来思考一个问题:Linux下为什么没有让人头痛的“DllHell”? 回答…

如何在同一系统里同时启动多个Tomcat
需要在同一系统里启动多个tomcat,应该怎么处理? tomcat是个服务程序,需要占用几个通讯端口,所以默认情况是不能启动多个tomcat,如果要启动多个tomcat,需要修改配置文件,通过在配置文件设置不同的通讯端口就可以做到.文件 %TOMCAT_HOME%/conf…

【ACM】Uva 455
【题目】:如果一个字符串可以由某个长度为k的字符串重复多次得到,则称该串以k为周期。输入一个长度不超过80的字符串,输出其最小正周期。 注意以下几点: 1、它的最小正周期一定可以被它的长度整除。 2第一个大循环下 i 可以等于…

前端自动化构建工具webpack (二)之css和插件加载总结
1. webpack只识别js文件,其他文件都需要转换成js文件。所有文件都是模块; 2. css解析 css需要css-loader ---》style-loader -----》less-loader less文件还需要less-loader (注意书写顺序) 3. plugins:他是一个数组&#…

使用command对象操作数据库
1.Command对象查询数据库 protected void Button1_Click(object sender, EventArgs e){//读取web.config节点配置string strcon ConfigurationManager.ConnectionStrings["testjm"].ConnectionString;//实例化sqlConnection对象SqlConnection con new SqlConnectio…

浅析C语言之uint8_t / uint16_t / uint32_t /uint64_t
一、C语言基本数据类型回顾 在C语言中有6种基本数据类型:short、int、long、float、double、char 1、数值类型 1)整型:short、int、long 2)浮点型:float、double 2、字符类型:char 二、typedef回顾 …

【ACM】UVa 489 刽子手游戏(自顶向下)
【题目】 Hangman Judge是一个猜英文单字的小游戏(在电子字典中常会看到),游戏规则如下: 1、答案单字写在纸上(每个字元一张纸),并且被盖起来,玩家每次猜一个英文字元(le…

ssh远程执行多个命令
shell远程执行: 经常需要远程到其他节点上执行一些shell命令,如果分别ssh到每台主机上再去执行很麻烦,因此能有个集中管理的方式就好了。一下介绍两种shell命令远程执行的方法。 前提条件: 配置ssh免密码登陆 对于简单的命令&am…

【ACM】魔方矩阵
输出魔方矩阵 1、将1放在第一行中间一列; 2、从2开始直到nn止各数依次按下列规则存放;每一个数存放的行比前一个数的行数减1,列数加1; 3、如果上一个数的行数为1,则下一个数的行数为n(指最下一行&#x…

iOS 秒数转换成时间,时,分,秒
//转换成时分秒 - (NSString *)timeFormatted:(int)totalSeconds{ int seconds totalSeconds % 60; int minutes (totalSeconds / 60) % 60; int hours totalSeconds / 3600; return [NSString stringWithFormat:"%02d:%02d:%02d",hours, minutes,…

charles和Fiddler感觉哪个更好用
1.fiddler还可以抓HTTPS的包,解析出来都可以2.charles更直观,可能是我先用charles的缘故。charles遍历一个站点,可以右键另存,保存全站文件资源。扒站首选, charles也可以抓https,我改游戏也是抓的https包

systemd用法
一、开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件。 如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例)。 $ sudo systemctl enable http…

C#实现php的hash_hmac函数
from:http://blog.csdn.net/ciaos/article/details/12618487 PHP代码示例如下<?php $res1 hash_hmac("sha1","signatureString", "secret");echo $res1."\n";//ee1b654aa861c41fd5813dc365ef106c9801f8f6echo base64_encode($res…