Linux部署Redis集群-育师

Redis简介

Redis (REmote DIctionary Server) 是一个高性能的 key-value 数据库，完全开源，遵守 BSD 协议。

Redis 与其他 key - value 缓存产品相比有以下三个特点：

Redis支持数据持久化，可以将内存中的数据保存在磁盘中，重启时可以再次加载进行使用。
Redis不仅仅支持简单的key-value类型数据，同时还提供list，set，zset，hash等数据结构的存储。
Redis支持数据的备份，即master-slave模式的数据备份。

Redis 官网：https://redis.io/

Redis集群简介

Redis Cluster实现在多个节点之间进行数据共享，即使部分节点失效或者无法进行通讯时，Cluster仍然可以继续处理请求。

若每个主节点都有一个从节点支持，在主节点下线或者无法与集群的大多数节点进行通讯的情况下，从节点提升为主节点，并提供服务，保证Cluster正常运行。

Redis Cluster的节点分片是通过哈希槽（hash slot）实现的，每个键都属于这 16384（0～16383）个哈希槽的其中一个，每个节点负责处理一部分哈希槽。

Redis 集群部署

redis要求至少3主3从共6个节点才能组成redis集群，每个主节点至少有一个从节点，测试环境可一台物理上启动6个redis节点，但生产环境至少要准备3台物理机。

部署架构图如下：

这里演示使用3台centos7.8服务器，每台起2个服务，共6个节点。

主机名

节点IP

实例1端口

实例2端口

redis01

192.168.93.63

7000

7001

redis02

192.168.93.64

7000

7001

redis03

192.168.93.65

7000

7001

编译安装redis 6.x版本要求gcc版本5.3以上，所有节点安装gcc

yum install -y centos-release-scl yum install -y devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils yum install -y systemd-devel echo "source /opt/rh/devtoolset-9/enable" >> /etc/profile source /etc/profile gcc -v

所有节点创建相关目录

mkdir -p /opt/redis/{conf,data,log} mkdir -p /opt/redis/data/{7000,7001} useradd -s /sbin/nologin redis chown -R redis: /opt/redis

当前目录结构

[root@redis01 ~]# tree /opt/redis/ /opt/redis/ ├── conf ├── data │ ├── 7000 │ └── 7001 └── log

下载redis，下载地址：http://download.redis.io/releases/

cd /opt/ wget http://download.redis.io/releases/redis-6.0.9.tar.gz

每个节点编译安装redis

tar -zxvf redis-6.0.9.tar.gz cd redis-6.0.9 #need systemd-devel make BUILD_WITH_SYSTEMD=yes USE_SYSTEMD=yes make install #查看redis版本 redis-cli --version redis-server --version

创建redis.conf配置文件，修改以下参数，在第一个节点执行：

cp /opt/redis-6.0.9/redis.conf /opt/redis/conf/7000.conf chown redis: /opt/redis/conf/7000.conf

修改redis配置文件/opt/redis/conf/7000.conf，找到以下参数并手动修改：

[root@redis01 ~]# vim /opt/redis/conf/7000.conf bind 127.0.0.1 192.168.93.63 port 7000 logfile /opt/redis/log/redis_7000.log dir /opt/redis/data/7000/ cluster-enabled yes cluster-config-file nodes-7000.conf cluster-node-timeout 15000 appendonly yes

配置参数说明：

bind 绑定的主机地址
port 指定Redis监听端口，默认端口为6379
logfile 日志记录方式，默认为标准输出
dir 本地数据库存储路径
cluster-enabled yes 开启集群功能，否则节点是一个普通的单一redis实例
cluster-config-file nodes.conf 集群自动生成的配置文件，保存集群信息
cluster-node-timeout 15000 集群中节点能够失联的最大时间
appendonly yes 持久化记录服务器执行的所有写操作命令

复制配置文件并修改端口，使用-p参数保留文件权限

cp -p /opt/redis/conf/7000.conf /opt/redis/conf/7001.conf sed -i "s#7000#7001#g" /opt/redis/conf/7001.conf

配置第一个节点对所有节点免密

ssh-keygen #默认下一步 ssh-copy-id 192.168.93.64 ssh-copy-id 192.168.93.65

分发配置到另外2个节点

#所有节点安装rsync yum install -y rsync #保留文件权限属性 rsync -avz /opt/redis/conf/*.conf 192.168.93.64:/opt/redis/conf rsync -avz /opt/redis/conf/*.conf 192.168.93.65:/opt/redis/conf

替换IP地址

#访问redis02替换IP地址 sed -i "s#192.168.93.63#192.168.93.64#g" `grep -rl 192.168.93.63 /opt/redis/conf` #访问redis03替换IP地址 sed -i "s#192.168.93.63#192.168.93.65#g" `grep -rl 192.168.93.63 /opt/redis/conf`

使用systemd管理reids服务

创建服务启动文件，其中%i为占位符变量，redis@7000.service中@符号后的7000参数会替换该变量：

cat > /etc/systemd/system/redis@.service << EOF [Unit] Description=Redis persistent key-value database After=network.target [Service] User=redis Group=redis Type=notify ExecStart=/usr/local/bin/redis-server /opt/redis/conf/%i.conf --daemonize no --supervised systemd ExecStop=/usr/local/bin/redis-cli -p %i shutdown LimitNOFILE=10240 TimeoutStartSec=90s TimeoutStopSec=90s Restart=always [Install] WantedBy=multi-user.target EOF

分发启动文件到另外2个节点

scp /etc/systemd/system/redis@.service 192.168.93.64:/etc/systemd/system/ scp /etc/systemd/system/redis@.service 192.168.93.65:/etc/systemd/system/

所有节点启动redis实例，并设为开机启动

systemctl daemon-reload systemctl enable --now redis@{7000,7001}.service

确认所有节点服务启动成功

[root@redis01 ~]# systemctl enable --now redis@{7000,7001}.service Created symlink from /etc/systemd/system/multi-user.target.wants/redis@7000.service to /etc/systemd/system/redis@.service. Created symlink from /etc/systemd/system/multi-user.target.wants/redis@7001.service to /etc/systemd/system/redis@.service. [root@redis01 ~]# [root@redis01 ~]# systemctl status redis@{7000,7001}.service ● redis@7000.service - Redis persistent key-value database Loaded: loaded (/etc/systemd/system/redis@.service; enabled; vendor preset: disabled) Active: active (running) since Sun 2020-11-08 18:35:33 CST; 8s ago Main PID: 24483 (redis-server) Status: "Ready to accept connections" CGroup: /system.slice/system-redis.slice/redis@7000.service └─24483 /usr/local/bin/redis-server 127.0.0.1:7000 [cluster] Nov 08 18:35:33 redis01 systemd[1]: Starting Redis persistent key-value database... Nov 08 18:35:33 redis01 systemd[1]: Started Redis persistent key-value database. ● redis@7001.service - Redis persistent key-value database Loaded: loaded (/etc/systemd/system/redis@.service; enabled; vendor preset: disabled) Active: active (running) since Sun 2020-11-08 18:35:33 CST; 8s ago Main PID: 24484 (redis-server) Status: "Ready to accept connections" CGroup: /system.slice/system-redis.slice/redis@7001.service └─24484 /usr/local/bin/redis-server 127.0.0.1:7001 [cluster] Nov 08 18:35:33 redis01 systemd[1]: Starting Redis persistent key-value database... Nov 08 18:35:33 redis01 systemd[1]: Started Redis persistent key-value database.

实例状态维护

#查看实例运行状态 systemctl status redis@7000.service systemctl status redis@7001.service #启动实例 systemctl start redis@7000.service systemctl start redis@7001.service #停止实例 systemctl stop redis@7000.service systemctl stop redis@7001.service #重启实例 systemctl restart redis@7000.service systemctl restart redis@7001.service

也可以通过redis命令启停实例，需要在配置文件中启用daemonize yes后台模式运行：

#启动单个redis实例 redis-server /opt/redis/conf/7000.conf #关闭单个redis实例 redis-cli -h 192.168.93.63 -p 7000 shutdown

实例全部启动后，任意节点创建redis集群

redis-cli --cluster create

–cluster-replicas 1
192.168.93.63:7000
192.168.93.63:7001
192.168.93.64:7000
192.168.93.64:7001
192.168.93.65:7000
192.168.93.65:7001

创建完成后看到这样的消息：All 16384 slots covered。这意味着至少有一个主实例为16384个可用slot提供服务。

查看集群节点状态，创建了3个master节点及3个slave节点，每个节点7000端口被自动指定为master节点：

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 slave 4f3f37a897221aff7211d26438f0277072622f72 0 1604831830898 1 connected 4f3f37a897221aff7211d26438f0277072622f72 192.168.93.63:7000@17000 myself,master - 0 1604831826000 1 connected 0-5460 dc061b8f217edf24fe1e64d9bace2023a2ef0463 192.168.93.65:7001@17001 slave 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 0 1604831828859 3 connected b84d17598bd1af1229430d85bbff143f9afa6761 127.0.0.1:7001@17001 slave 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 0 1604831833961 5 connected 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 192.168.93.65:7000@17000 master - 0 1604831831923 5 connected 10923-16383 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 192.168.93.64:7000@17000 master - 0 1604831832944 3 connected 5461-10922

查看集群信息，cluster_state为ok ，cluster_size为3，cluster_known_nodes为6。

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:6 cluster_my_epoch:1 cluster_stats_messages_ping_sent:45 cluster_stats_messages_pong_sent:47 cluster_stats_messages_sent:92 cluster_stats_messages_ping_received:42 cluster_stats_messages_pong_received:45 cluster_stats_messages_meet_received:5 cluster_stats_messages_received:92

查看redis主从状态信息，当前192.168.93.63:7000端口实例绑定的slave实例为192.168.93.64:7001

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 info replication # Replication role:master connected_slaves:1 slave0:ip=192.168.93.64,port=7001,state=online,offset=70,lag=1 master_replid:e0a3de62f2acca98c993353e52cdcbef0b83312f master_replid2:0000000000000000000000000000000000000000 master_repl_offset:70 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:70

验证数据写入，使用 -c 参数连接redis集群任意节点，主备节点都支持写入和读取数据

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 set key1 value1 OK [root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 get key1 "value1" [root@redis01 ~]# redis-cli -c -h 192.168.93.64 -p 7001 set key2 value2 OK [root@redis01 ~]# redis-cli -c -h 192.168.93.64 -p 7001 get key2 "value2"

而不使用-c参数时master节点可正常读写，但slave节点无法写入和读取数据

[root@redis01 ~]# redis-cli -h 192.168.93.63 -p 7000 set key3 value3 OK [root@redis01 ~]# redis-cli -h 192.168.93.64 -p 7001 set key4 value4 (error) MOVED 13120 192.168.93.65:7000 [root@redis01 ~]# redis-cli -h 192.168.93.64 -p 7001 get key3 (error) MOVED 935 192.168.93.63:7000

配置slave节点为readonly模式，可在slave节点执行读操作

[root@redis01 ~]# redis-cli -h 192.168.93.64 -p 7001 192.168.93.64:7001> readonly OK 192.168.93.64:7001> get key3 "value3" 192.168.93.64:7001>

查看所有master节点，3个master节点，每个master连接一个slave:

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 2 keys | 5461 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 5461 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 1 keys | 5462 slots | 1 slaves. [OK] 3 keys in 3 masters. 0.00 keys per slot on average.

当前的Redis数据目录结构，其中/opt//redis/conf/data/port下自动生成了多个文件：

[root@redis01 ~]# tree /opt/redis /opt/redis ├── conf │ ├── 7000.conf │ └── 7001.conf ├── data │ ├── 7000 │ │ ├── appendonly.aof │ │ ├── dump.rdb │ │ └── nodes-7000.conf │ └── 7001 │ ├── appendonly.aof │ ├── dump.rdb │ └── nodes-7001.conf └── log ├── redis_7000.log └── redis_7001.log

配置文件说明：

appendonly.aof 以AOF方式持久化数据，以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来
dump.rdb 内存快照数据，服务器宕机重启后redis会自动加载dump.rdb恢复上次SNAPSHOT状态
nodes.conf 集群节点信息文件，Redis集群实例启动时自动生成

测试故障转移

停止192.168.93.63:7000 master节点，依然可以连接其他节点get数据：

[root@redis01 ~]# systemctl stop redis@7000.service

从7001端口查看集群状态，提示7000端口无法连接，但依然是3个master节点，192.168.93.64:7001 代替了7000成为master节点，但该节点具有0个slaves。

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7001 Could not connect to Redis at 192.168.93.63:7000: Connection refused 192.168.93.64:7001 (e9aa81c8...) -> 2 keys | 5461 slots | 0 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 1 keys | 5462 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 5461 slots | 1 slaves. [OK] 3 keys in 3 masters. 0.00 keys per slot on average.

查看集群节点状态，原192.168.93.63:7000节点处于fail状态:

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7001 cluster nodes dc061b8f217edf24fe1e64d9bace2023a2ef0463 192.168.93.65:7001@17001 slave 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 0 1604832178068 3 connected 4f3f37a897221aff7211d26438f0277072622f72 192.168.93.63:7000@17000 master,fail - 1604832118835 1604832112709 1 disconnected e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 master - 0 1604832180109 7 connected 0-5460 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 192.168.93.64:7000@17000 master - 0 1604832179089 3 connected 5461-10922 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 192.168.93.65:7000@17000 master - 0 1604832176025 5 connected 10923-16383 b84d17598bd1af1229430d85bbff143f9afa6761 192.168.93.63:7001@17001 myself,slave 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 0 1604832107000 5 connected

重新启动7000节点，该节点成为slave

[root@redis01 ~]# systemctl start redis@7000.service [root@redis01 ~]# [root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7001 cluster nodes dc061b8f217edf24fe1e64d9bace2023a2ef0463 192.168.93.65:7001@17001 slave 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 0 1604832244468 3 connected 4f3f37a897221aff7211d26438f0277072622f72 127.0.0.1:7000@17000 slave e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 0 1604832240377 7 connected e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 master - 0 1604832242422 7 connected 0-5460 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 192.168.93.64:7000@17000 master - 0 1604832241400 3 connected 5461-10922 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 192.168.93.65:7000@17000 master - 0 1604832243445 5 connected 10923-16383 b84d17598bd1af1229430d85bbff143f9afa6761 192.168.93.63:7001@17001 myself,slave 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 0 1604832238000 5 connected

从上述实验得知，如果其中任一个master节点kill掉，都会由该master下的其他从节点替换成为新master，原master启动后会变成从节点；重新启动的从节点会同步master数据。

单个节点中中单个实例故障示意图：

单个服务器节点故障示意图：

手动故障切换

参考：http://www.redis.cn/commands/cluster-failover.html

cluster failover命令能够实现master和slave接角色互换，该命令只能在群集slave节点执行，让slave节点进行一次人工故障切换。

人工故障切换是预期的操作，而非发生了真正的故障，目的是以一种安全的方式(数据无丢失)将当前master节点和其中一个slave节点(执行cluster-failover的节点)交换角色。

连接到7000的slave节点，执行角色互换，可以看到7000再次成为master节点：

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster failover OK [root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 slave 4f3f37a897221aff7211d26438f0277072622f72 0 1604832314440 8 connected 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 192.168.93.64:7000@17000 master - 0 1604832311378 3 connected 5461-10922 dc061b8f217edf24fe1e64d9bace2023a2ef0463 192.168.93.65:7001@17001 slave 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 0 1604832315461 3 connected 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 192.168.93.65:7000@17000 master - 0 1604832311000 5 connected 10923-16383 b84d17598bd1af1229430d85bbff143f9afa6761 127.0.0.1:7001@17001 slave 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 0 1604832313416 5 connected 4f3f37a897221aff7211d26438f0277072622f72 192.168.93.63:7000@17000 myself,master - 0 1604832307000 8 connected 0-5460

另外该命令有如下两个选项:FORCE和TAKEOVER：

1、FORCE 选项:master节点down的情况下的人工故障转移

Slave节点不和master协商(master也许已不可达)。当master已不可用，而我们想要做人工故障转移时，该选项很有用。

但是，即使使用FORCE选项，我们依然需要群集中大多数master节点有效，以便对这次切换进行验证，同时为将成为新master的salve节点生成新的配置epoch。

2、TAKEOVER 选项: 忽略群集一致验证的的人工故障切换

有时会有这种情况,群集中master节点不够，我们想在未和群集中其余master节点验证的情况下进行故障切换。

实际用途举例:群集中主节点和从节点在不同的数据中心，当所有主节点down掉或被网络分区隔离，需要用该参数将slave节点批量切换为master节点。

选项 TAKEOVER 实现了FORCE的所有功能，同时为了能够进行故障切换放弃群集验证。

添加主节点

redis03服务器中添加一个主节点192.168.93.65:7003。

#创建配置文件 [root@redis03 ~]# cp -p /opt/redis/conf/7000.conf /opt/redis/conf/7003.conf [root@redis03 ~]# sed -i "s#7000#7003#g" /opt/redis/conf/7003.conf #创建数据目录 mkdir /opt/redis/data/7003 chown redis: /opt/redis/data/7003 #启动实例 systemctl enable --now redis@7003.service systemctl status redis@7003.service

新主节点加入集群，前面的ip和端口号为新添加的节点，后面的为集群中任意一个节点。

redis-cli --cluster add-node

192.168.93.65:7003
192.168.93.63:7000

查看7003节点已加入到集群中成为master。

[root@redis03 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 2 keys | 5461 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 1 keys | 5462 slots | 2 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 5461 slots | 0 slaves. 192.168.93.65:7003 (caf578ee...) -> 0 keys | 0 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average.

新的master节点现在已经加入集群，但新节点没有包含任何数据，该节点没有分配哈希槽，为0 slots ，即不能进行数据的存取。需要我们手动对集群进行重新分片迁移。

可以使用rebalance命令重新将哈希槽均衡分布到各个节点：

[root@redis01 ~]# redis-cli --cluster rebalance 192.168.93.63:7000 --cluster-use-empty-masters

再次查看哈希槽分配情况，新的master已经分配了4096 slots

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 4096 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 1 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. 192.168.93.65:7003 (caf578ee...) -> 1 keys | 4096 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average.

或者执行reshard命令从指定节点迁移指定数量哈希槽到目标节点，例如从192.168.93.63:7000节点分配1000哈希槽到192.168.93.65:7003节点.

首先需要使用cluster nodes命令获取节点ID，然后执行以下操作（redis-cli --cluster help查看更多命令帮助。）

redis-cli --cluster reshard 192.168.93.63:7000

–cluster-from 4f3f37a897221aff7211d26438f0277072622f72
–cluster-to caf578ee5dff2b8129e81f7b16cf6ee7591baf0f
–cluster-slots 1000
–cluster-yes

再次查看哈希槽分布情况：

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 3096 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 2 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. 192.168.93.65:7003 (caf578ee...) -> 0 keys | 5096 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average.

添加从节点

redis03新添加的master节点7003还没有分配slave节点，在redis02服务器中为其添加一个从节点7004。

同样添加配置文件和启动文件

#创建配置文件 [root@redis02 ~]# cp -p /opt/redis/conf/7000.conf /opt/redis/conf/7004.conf [root@redis02 ~]# sed -i "s#7000#7004#g" /opt/redis/conf/7004.conf #创建数据目录 mkdir /opt/redis/data/7004 chown redis: /opt/redis/data/7004 #启动实例 systemctl enable --now redis@7004.service systemctl status redis@7004.service

首先获取7003 master节点nodeid

redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes

添加7004从节点到集群，这里选取7003作为7004的master节点，前面ip和端口号是新添加的节点，后面ip和端口号是选取的集群任意节点，cluster-master-id参数为master 7003节点ID：

redis-cli --cluster add-node

192.168.93.64:7004
192.168.93.63:7000
–cluster-slave
–cluster-master-id caf578ee5dff2b8129e81f7b16cf6ee7591baf0f

查看添加的从节点，7003成功绑定到slave7004：

[root@redis02 opt]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes |grep caf578ee5dff2b8129e81f7b16cf6ee7591baf0f caf578ee5dff2b8129e81f7b16cf6ee7591baf0f 192.168.93.65:7003@17003 master - 0 1604833502865 11 connected 1000-2364 5461-7826 10923-12287 65f4c058d1c95081ca8616f2553d7190082c8503 192.168.93.64:7004@17004 slave caf578ee5dff2b8129e81f7b16cf6ee7591baf0f 0 1604833504295 11 connected

当然也可以直接添加一个slave节点到集群，不指定该slave节点连接的master节点。在这种情况下，redis-cli会将新节点添加到副本较少的主节点中。

redis-cli --cluster add-node

192.168.93.65:7004
192.168.93.63:7000
–cluster-slave

或者将一个现有的slave节点分配到指定master节点，例如此时7004节点为slave节点，关联到7003master节点，现在将其分配给7000 master节点，必须连接到对应7004节点执行cluster replicate命令：

redis-cli -c -h 192.168.93.64 -p 7004

cluster replicate 4f3f37a897221aff7211d26438f0277072622f72

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes | grep 4f3f37a897221aff7211d26438f0277072622f72 e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 slave 4f3f37a897221aff7211d26438f0277072622f72 0 1604834083584 8 connected 65f4c058d1c95081ca8616f2553d7190082c8503 192.168.93.64:7004@17004 slave 4f3f37a897221aff7211d26438f0277072622f72 0 1604834084198 8 connected 4f3f37a897221aff7211d26438f0277072622f72 192.168.93.63:7000@17000 myself,master - 0 1604834068000 8 connected 2365-5460

此时连接到集群可以看到7000连接了2个slave，7003slave变为0

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 3096 slots | 2 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 2 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. 192.168.93.65:7003 (caf578ee...) -> 0 keys | 5096 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average. [root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 info replication # Replication role:master connected_slaves:2 slave0:ip=192.168.93.64,port=7001,state=online,offset=3121,lag=0 slave1:ip=192.168.93.64,port=7004,state=online,offset=3121,lag=0 master_replid:eea34382e417f670906a39d7bcf6eb6995cde2c7 master_replid2:6c0acfb2bd21e03704de15854282ec3235af41a8 master_repl_offset:3135 second_repl_offset:598 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:486 repl_backlog_histlen:2650

删除主从节点

删除从节点

从集群中删除从节点7004，首先指定任意其他节点ip和端口，以及要删除的7004节点id

[root@redis01 ~]# redis-cli --cluster del-node 192.168.93.63:7001 65f4c058d1c95081ca8616f2553d7190082c8503 >>> Removing node 65f4c058d1c95081ca8616f2553d7190082c8503 from cluster 192.168.93.63:7001 >>> Sending CLUSTER FORGET messages to the cluster... >>> Sending CLUSTER RESET SOFT to the deleted node.

删除后7004节点从集群退出成为独立节点

[root@redis01 ~]# redis-cli -c -h 192.168.93.64 -p 7004 cluster nodes 65f4c058d1c95081ca8616f2553d7190082c8503 192.168.93.64:7004@17004 myself,master - 0 1604863810000 0 connected

删除主节点

注意如果是从节点可直接删除，如果是master节点，并且主节点有从节点，需要将从节点转移到其他主节点。最后如果主节点有slot，先将主节点里的slot分配到其他可用节点中，然后再删除节点才行，否则会有数据丢失。

以删除7003 master节点为例，7003有0个slave节点，5096 个slots，这里将slots移动到192.168.93.63:7000。

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 3096 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 2 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. 192.168.93.65:7003 (caf578ee...) -> 0 keys | 5096 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average.

查看节点ID

[root@redis01 ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes e9aa81c8d241f12b8495d0cd0ca5d468fdc963ad 192.168.93.64:7001@17001 slave 4f3f37a897221aff7211d26438f0277072622f72 0 1604835174094 8 connected 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 192.168.93.64:7000@17000 master - 0 1604835176136 10 connected 0-999 7827-10922 dc061b8f217edf24fe1e64d9bace2023a2ef0463 192.168.93.65:7001@17001 slave 0b5d3c032c4f4605b65d75b5c39bcfca8ac4e188 0 1604835171000 10 connected 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 192.168.93.65:7000@17000 master - 0 1604835175118 5 connected 12288-16383 caf578ee5dff2b8129e81f7b16cf6ee7591baf0f 192.168.93.65:7003@17003 master - 0 1604835172052 11 connected 1000-2364 5461-7826 10923-12287 b84d17598bd1af1229430d85bbff143f9afa6761 127.0.0.1:7001@17001 slave 5b3e17e24ee7faab6d5da26cfaccb389c91c4ce5 0 1604835173069 5 connected 4f3f37a897221aff7211d26438f0277072622f72 192.168.93.63:7000@17000 myself,master - 0 1604835172000 8 connected 2365-5460

迁移192.168.93.65:7003所有哈希槽到192.168.93.63:7000

redis-cli --cluster reshard 192.168.93.63:7000

–cluster-from caf578ee5dff2b8129e81f7b16cf6ee7591baf0f
–cluster-to 4f3f37a897221aff7211d26438f0277072622f72
–cluster-slots 5096
–cluster-yes

确认7003 slots已经被完全迁移

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 8192 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 2 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. 192.168.93.65:7003 (caf578ee...) -> 0 keys | 0 slots | 0 slaves. [OK] 3 keys in 4 masters. 0.00 keys per slot on average.

然后删除7003主节点，首先指定其他任意节点ip和端口，以及被删除的7003节点id

redis-cli --cluster del-node 192.168.93.63:7000 caf578ee5dff2b8129e81f7b16cf6ee7591baf0f

7003节点已经从集群退出成为独立节点：

[root@redis01 ~]# redis-cli --cluster info 192.168.93.63:7000 192.168.93.63:7000 (4f3f37a8...) -> 1 keys | 8192 slots | 1 slaves. 192.168.93.64:7000 (0b5d3c03...) -> 2 keys | 4096 slots | 1 slaves. 192.168.93.65:7000 (5b3e17e2...) -> 0 keys | 4096 slots | 1 slaves. [OK] 3 keys in 3 masters. 0.00 keys per slot on average.

清理redis集群

参考：http://www.redis.cn/commands/cluster-reset.html

可以使用cluster reset命令清理集群：

[root@localhost ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster reset [root@localhost ~]# redis-cli -c -h 192.168.93.63 -p 7000 cluster nodes 2de3d18c66ff9c89229197f3d669c789ff60922d 192.168.93.63:7000@17000 myself,master - 0 1604833203000 11 connected

停止所有实例

systemctl stop redis@7000.service systemctl stop redis@7001.service

清理所有节点集群配置信息

rm -rf /opt/redis/data/{7000,7001}/data/*

重启所有实例

systemctl start redis@7000.service systemctl start redis@7001.service

最后可以重新创建集群

redis-cli --cluster create xxx

参考：
https://redis.io/topics/cluster-tutorial
http://www.redis.cn/topics/cluster-tutorial.html
https://medium.com/opstree-technology/redis-cluster-architecture-replication-sharding-and-failover-86871e783ac0