跳至主要內容

Redis Cluster模式部署

xiangzhihong8RedisRedis大约 9 分钟

Redis Cluster模式部署

Redis的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台 Redis 服务器都存储相同的数据，很浪费内存，所以在 redis3.0上加入了Cluster 集群模式，实现了 Redis 的分布式存储，也就是说每台 Redis 节点上存储不同的内容。下面是Cluster 集群模式的一些特点：

  • Sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redis的数据根据一定的规则分配到多台机器。
  • Cluster可以说是sentinel+主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容。
  • 使用集群，只需要将redis配置文件中的cluster-enable配置打开即可，每个集群中至少需要三个主数据库才能正常运行，新增节点非常方便。

下面是Cluster 集群模式的架构示意图。

可以看到，Cluster集群模式有如下一些特点：

  • 多个redis节点网络互联，数据共享；
  • 所有的节点都是一主一从（也可以是一主多从），其中从不提供服务，仅作为备用；
  • 不支持同时处理多个key（如MSET/MGET），因为redis需要把key均匀分布在各个节点上，并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为；
  • 支持在线增加、删除节点；
  • 客户端可以连接任何一个主节点进行读写。

环境说明

为了模拟Cluster 集群模式，我们需要准备至少三台机器，然后分别开启三个redis服务，即每个节点都要是一主两从模式。

| IP | 主机名 | 端口 | 节点 | |---|---|---| | 192.168.182.110 | local-168-182-110 | 7001, 70002, 7003 | node1 | | 192.168.182.111 | local-168-182-111 | 7001, 70002, 7003 | node2 | | 192.168.182.112 | local-168-182-112 | 7001, 70002, 7003 | node3 |

修改配置

接下来，我们基于主从模式的配置进行如下修改。

# 创建存储目录
mkdir -p /opt/software/redis-7.0.3/cluster/redis_{7001..7003}
cp /usr/local/redis/redis.conf /usr/local/redis/cluster_redis_7001.conf
cp /usr/local/redis/redis.conf /usr/local/redis/cluster_redis_7002.conf
cp /usr/local/redis/redis.conf /usr/local/redis/cluster_redis_7003.conf

chown -R redis:redis /usr/local/redis ;chown -R redis:redis /opt/software/redis-7.0.3/cluster

然后，修改位于/usr/local/redis/cluster_redis_7001.conf目录的配置文件

cluster_redis_7001.conf。
# 【注意】节点不一样，IP不一样，记得修改这个bind配置
bind 192.168.182.110
port 7001
daemonize yes
pidfile "/var/run/cluster_redis_7001.pid"
logfile "/usr/local/redis/cluster_redis_7001.log"
dir "/opt/software/redis-7.0.3/cluster/redis_7001"
#replicaof 192.168.182.110 6379
masterauth "123456"
requirepass "123456"
appendonly yes
# 开启集群模式
cluster-enabled yes
# 虽然此配置的名字叫"集群配置文件"，但是此配置文件不能人工编辑，它是集群节点自动维护的文件，主要用于记录集群中有哪些节点、他们的状态以及一些持久化参数等，方便在重启时恢复这些状态。通常是在收到请求之后这个文件就会被更新。
cluster-config-file nodes_7001.conf
cluster-node-timeout 15000

然后，修改配置文件cluster_redis_7002.conf，位于/usr/local/redis/cluster_redis_7002.conf目录下。

# 【注意】节点不一样，IP不一样，记得修改这个bind配置
bind 192.168.182.110
port 7002
daemonize yes
pidfile "/var/run/cluster_redis_7002.pid"
logfile "/usr/local/redis/cluster_redis_7002.log"
dir "/opt/software/redis-7.0.3/cluster/redis_7002"
#replicaof 192.168.182.110 6379
masterauth "123456"
requirepass "123456"
appendonly yes
# 配置yes则开启集群功能，此redis实例作为集群的一个节点，否则，它是一个普通的单一的redis实例。
cluster-enabled yes
# 虽然此配置的名字叫"集群配置文件"，但是此配置文件不能人工编辑，它是集群节点自动维护的文件，主要用于记录集群中有哪些节点、他们的状态以及一些持久化参数等，方便在重启时恢复这些状态。通常是在收到请求之后这个文件就会被更新。
cluster-config-file nodes_7002.conf
cluster-node-timeout 15000

然后，继续修改配置文件cluster_redis_7003.conf，文件目录位于/usr/local/redis/cluster_redis_7003.conf。

# 【注意】节点不一样，IP不一样，记得修改这个bind配置
bind 192.168.182.110
port 7003
daemonize yes
pidfile "/var/run/cluster_redis_7003.pid"
logfile "/usr/local/redis/cluster_redis_7003.log"
dir "/opt/software/redis-7.0.3/cluster/redis_7003"
#replicaof 192.168.182.110 6379
masterauth "123456"
requirepass "123456"
appendonly yes
# 配置yes则开启集群功能，此redis实例作为集群的一个节点，否则，它是一个普通的单一的redis实例。
cluster-enabled yes
# 虽然此配置的名字叫"集群配置文件"，但是此配置文件不能人工编辑，它是集群节点自动维护的文件，主要用于记录集群中有哪些节点、他们的状态以及一些持久化参数等，方便在重启时恢复这些状态。通常是在收到请求之后这个文件就会被更新。
cluster-config-file nodes_7003.conf
cluster-node-timeout 15000

其它两台机器配置与192.168.182.110一致，只是ip不同，此处省略。

# 将配置copy到另外两个节点
scp -r /usr/local/redis/cluster_redis_{7001..7003}.conf local-168-182-111:/usr/local/redis/
scp -r /usr/local/redis/cluster_redis_{7001..7003}.conf local-168-182-112:/usr/local/redis/

# 在node2上执行
sed -i 's/192.168.182.110/192.168.182.111/g' /usr/local/redis/cluster_redis_{7001..7003}.conf

# 在node3上执行
sed -i 's/192.168.182.110/192.168.182.112/g' /usr/local/redis/cluster_redis_{7001..7003}.conf

启动Redis服务

接下来，启动Redis服务的所有的节点。

redis-server /usr/local/redis/cluster_redis_7001.conf
netstat -tnlp|grep 7001
redis-server /usr/local/redis/cluster_redis_7002.conf
netstat -tnlp|grep 7002
redis-server /usr/local/redis/cluster_redis_7003.conf
netstat -tnlp|grep 7003
tail -f /usr/local/redis/cluster_redis_7001.log
tail -f /usr/local/redis/cluster_redis_7002.log
tail -f /usr/local/redis/cluster_redis_7003.log

启动成功之后，如下图。

创建集群

为了能够正常工作，我们需要集群的一个主节点有2个从节点。

# –cluster-replicas 2 : 表示集群的一个主节点有2个从节点，就是一主两从模式
redis-cli -a 123456 --cluster create \
192.168.182.110:7001 192.168.182.110:7002 192.168.182.110:7003 \
192.168.182.111:7001 192.168.182.111:7002 192.168.182.111:7003 \
192.168.182.112:7001 192.168.182.112:7002 192.168.182.112:7003 \
--cluster-replicas 2

接着，系统会会自动生成nodes.conf文件，然后打开文件即可看到集群的相关信息。

ll /opt/software/redis-7.0.3/cluster/redis_{7001..7003}

继承操作

登录集群

redis-cli -c -h 192.168.182.110 -p 7001
192.168.182.110:7001> auth 123456

集群信息

redis-cli -c -h 192.168.182.129 -p 7001
192.168.182.110:7001> auth 123456
192.168.182.110:7001> CLUSTER INFO

列出节点信息

redis-cli -c -h 192.168.182.129 -p 7001
192.168.182.110:7001> auth 123456
192.168.182.110:7001> CLUSTER INFO
192.168.182.110:7001> CLUSTER NODES

增加节点 比如，在node1服务器上增加一节点。首先，我们添加如下配置：

# copy配置
cp /usr/local/redis/cluster_redis_7003.conf /usr/local/redis/cluster_redis_7004.conf
# 创建存储目录
mkdir /opt/software/redis-7.0.3/cluster/redis_7004

# 修改配置
vi /usr/local/redis/cluster_redis_7004.conf

bind 192.168.182.110
port 7004
daemonize yes
pidfile "/var/run/redis_7004.pid"
logfile "/usr/local/redis/cluster_redis_7004.log"
dir "/opt/software/redis-7.0.3/cluster/redis_7004"
#replicaof 192.168.182.110 6379
masterauth "123456"
requirepass "123456"
appendonly yes
cluster-enabled yes
cluster-config-file nodes_7004.conf
cluster-node-timeout 15000

# 授权
chown -R redis:redis /usr/local/redis && chown -R redis:redis /opt/software/redis-7.0.3/cluster/redis_7004

然后，再启动服务。

redis-server /usr/local/redis/cluster_redis_7004.conf
netstat -tnlp|grep :7004

如果要在集群中增加节点，可以使用下面的方式。

[root@local-168-182-110 ~]# redis-cli -c -h 192.168.182.110 -p 7001
192.168.182.110:7001> auth 123456
# 添加节点
192.168.182.110:7001> CLUSTER MEET 192.168.182.110 7004
# 查看节点信息
192.168.182.110:7001> CLUSTER NODES

可以看到，新增的节点都是以master身份加入集群的。如果要【更换节点身份】，比如将新增的192.168.182.110:7004节点身份改为192.168.182.130:7001的slave。

redis-cli -c -h 192.168.182.110 -p 7004
192.168.182.110:7004> auth 123456
# 改变节点类型
192.168.182.110:7004> cluster replicate 0a9d68b75d529b611b4bae5753be602006fcef74
192.168.182.110:7004> CLUSTER NODES

删除某个节点，可以参考下面的内容。

redis-cli -c -h 192.168.182.110 -p 7001
192.168.182.110:7001> auth 123456
# 查看节点
192.168.182.110:7001> CLUSTER NODES
# 删除节点
192.168.182.110:7001> CLUSTER FORGET 378ef2a24fb4138496b8da85bb66143800b53686
# 检查节点信息
192.168.182.110:7001> CLUSTER NODES

最后，在配置修改完后保存配置。

redis-cli -c -h 192.168.182.110 -p 7001
192.168.182.110:7001> auth 123456
# 将节点的配置文件保存到硬盘里面
192.168.182.110:7001> CLUSTER SAVECONFIG

可以看到，之前删除的节点又恢复了，这是因为对应的配置文件没有删除，执行CLUSTER SAVECONFIG恢复。

接下来，我们模拟下模拟master节点挂掉的场景。

netstat -lntp |grep :7001|awk '{print $NF}'|cut -d '/' -f 1|xargs kill -9
redis-cli -c -h 192.168.182.111 -p 7001 -a 123456 CLUSTER NODES

可以看到，192.168.182.110:7001的一行为master fail，状态为disconnected；而对应192.168.182.110:7004的一行，slave已经变成master。

接着，我们再模拟下故障恢复场景，重新启动192.168.182.110:7001节点。

redis-server /usr/local/redis/cluster_redis_7001.conf
redis-cli -c -h 192.168.182.111 -p 7001 -a 123456 CLUSTER NODES

可以看到，192.168.182.110:7001节点启动后为slave节点，并且是192.168.182.110:7004的slave节点。即master节点如果挂掉，它的slave节点变为新master节点继续对外提供服务，而原来的master节点如果重启，则变为新master节点的slave节点。需要说明的是，cluster不能选择db，只能默认db为0，所以select切库相当于是不能使用的。

常用命令

查看集群信息

  • cluster info ：打印集群的信息
  • cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息。

节点操作

  • cluster meet ：将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。
  • cluster forget <node_id> ：从集群中移除 node_id 指定的节点。
  • cluster replicate <node_id> ：将当前节点设置为 node_id 指定的节点的从节点。
  • cluster saveconfig ：将节点的配置文件保存到硬盘里面。

槽(slot)操作

  • cluster addslots [slot …] ：将一个或多个槽（ slot）指派（ assign）给当前节点。
  • cluster delslots [slot …] ：移除一个或多个槽对当前节点的指派。
  • cluster flushslots ：移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。
  • cluster setslot node <node_id> ：将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。
  • cluster setslot migrating <node_id> ：将本节点的槽 slot 迁移到 node_id 指定的节点中。
  • cluster setslot importing <node_id> ：从 node_id 指定的节点中导入槽 slot 到本节点。
  • cluster setslot stable ：取消对槽 slot 的导入（ import）或者迁移（ migrate）。

键

cluster keyslot ：计算键 key 应该被放置在哪个槽上。 cluster countkeysinslot ：返回槽 slot 目前包含的键值对数量。 cluster getkeysinslot ：返回 count 个 slot 槽中的键 主从模式、哨兵模式、集群模式的环境部署就到这里了，redis更多操作请查看官方文档。

来源：https://blog.csdn.net/xiangzhihong8/article/details/127936842

我们正在连载开发者安装大全open in new window，主要整理与汇总开发者常用软件、编程环境、中间件等工具的安装使用方法，以指导开发者快速搭建自己需要的开发环境，欢迎关注、收藏、转发支持一下啊 ^_^

上次编辑于:
贡献者: 程序猿DD