k8s 部署redis哨兵1主2从

一开始打算把启动脚本和配置文件放入configmap,直接使用一个yaml文件进行部署,但是实际操作中遇到个问题, 后续解决了,再使用单一yaml文件部署, 这里使用自定义镜像方式,来进行部署,以下是部署流程

制作redis镜像

也可以直接使用构建好的,”k9scc/base-env:redis-7-sentinel”
使用yaml文件,创建redis

制作redis镜像

Dockerfile

FROM redis:7
MAINTAINER "You"

COPY *.conf /opt/conf/
COPY run.sh /opt/run.sh
RUN apt update -y;apt-get install vim net-tools -y;apt-get clean && \
    chmod +x /opt/run.sh

CMD /opt/run.sh

run.sh

#!/bin/bash
pod_seq=$(echo $POD_NAME | awk -F"-" '{print $2}')
if [[ ${pod_seq} -ne 0 ]];then    #为从机
    sed -i '/^slaveof /d' /opt/conf/redis.conf
    echo "slaveof redis-0.redis.redis-cluster.svc.cluster.local 6379" >> /opt/conf/redis.conf   #redis-0.redis代表第一个redis的访问地址
fi
/usr/local/bin/redis-server /opt/conf/redis.conf
sleep 15    #如果redis-0没起来,它里面的哨兵也起不来，等待一段时间再启动哨兵
/usr/local/bin/redis-sentinel /opt/conf/sentinel.conf

redis.conf

#绑定到哪台机器，0.0.0.0表示允许所有主机访问
bind 0.0.0.0
#redis3.2版本之后加入的特性，yes开启后，如果没有配置bind则默认只允许127.0.0.1访问
protected-mode yes
#对外暴露的访问端口
port 6379
#登录密码
requirepass a12345678
#主从同步认证密码
masterauth a12345678
#三次握手的时候server端接收到客户端 ack确认号之后的队列值
tcp-backlog 511
#服务端与客户端连接超时时间，0表示永不超时
timeout 0
#连接redis的时候的密码 hello
#requirepass hello
#tcp 保持会话时间是300s
tcp-keepalive 300
#redis是否以守护进程运行，如果是，会生成pid
daemonize yes
supervised no
#pid文件路径
pidfile /var/run/redis_6379.pid
#日志级别
loglevel notice
#logfile /var/log/redis.log
#默认redis有几个db库
databases 16
#每间隔900秒，如果一个键值发生变化就触发快照机制
save 900 1
save 300 10
save 60 10000
#快照出错时，是否禁止redis写入
stop-writes-on-bgsave-error no
#持久化到rdb文件时，是否压缩文件
rdbcompression yes
#持久化到rdb文件是，是否RC64开启验证
rdbchecksum no
#持久化输出的时候，rdb文件命名
dbfilename dump.rdb
dir /data
#持久化文件路径
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
#是否开启aof备份
appendonly yes
#aof备份文件名称
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
#客户端最大连接数
#maxclients 20000
#lazyfree-lazy-eviction yes
#lazyfree-lazy-expire yes
#lazyfree-lazy-server-del yes
#slave-lazy-flush yes

sentinel.conf

# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 哨兵sentinel的工作目录
dir "/tmp"
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster redis-0.redis 6379 2
sentinel auth-pass mymaster a12345678
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 15000
# 设定5秒内没有响应，说明服务器挂了,需要将配置放在sentinel monitor master 127.0.0.1 6379 下面
sentinel parallel-syncs mymaster 2
# 设定15秒内master没有活起来，就重新选举主
sentinel config-epoch mymaster 3
#.表示如果master重新选出来后，其它slave节点能同时并行从新master同步缓存的台数有多少个，显然该值越大，所有slave节点完成同步切换的整体速度越快，但如
#果此时正好有人在访问这些slave，可能造#成读取失败，影响面会更广。最保定的设置为1，只同一时间，只能有一台干这件事，这样其它slave还能继续服务，但是所
#有slave全部完成缓存更新同步的进程将变慢。
sentinel leader-epoch mymaster 3
SENTINEL resolve-hostnames yes
SENTINEL announce-hostnames yes

构建redis镜像

我这边已经构建好, 也可以自己构建,

k9scc/base-env:redis-7-sentinel #redis密码a12345678

k8s-redis-sentinel-0

把Dockerfile, run.sh, redis.conf, sentinel.conf放在一个目录下,然后执行下面的命令

docker build -t docker用户名/项目名:tag .
docker push docker用户名/项目名:tag

k8s-redis-sentinel-1

k8s部署redis, 并使用存储类持久化存储

---
apiVersion: v1
kind: Namespace
metadata:
  name: redis-cluster
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis
  namespace: redis-cluster
spec:
  serviceName: redis
  selector:
    matchLabels:
      app: redis
  replicas: 3
  template:
    metadata:
      labels:
        app: redis
    spec:
      nodeSelector: {}
      restartPolicy: Always
      containers:
        - name: redis
          image: k9scc/base-env:redis-7-sentinel
          imagePullPolicy: Always
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
          livenessProbe:
            tcpSocket:
              port: 6379
            initialDelaySeconds: 3
            periodSeconds: 5
          readinessProbe:
            tcpSocket:
              port: 6379
            initialDelaySeconds: 3
            periodSeconds: 5
          ports:
            - containerPort: 6379
          resources:
            requests:
              memory: 256Mi
              cpu: 50m
            limits:
              memory: 2048Mi
              cpu: 1000m
          volumeMounts:
          - name: redis-pv-claim
            mountPath: /data
            readOnly: false
  volumeClaimTemplates:
  - metadata:
      name: redis-pv-claim
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 10Gi
      storageClassName: openebs-hostpath #修改为自己环境的存储类

---
apiVersion: v1
kind: Service
metadata:
  name: redis
  namespace: redis-cluster
spec:
  type: ClusterIP
  ports:
    - name: redis
      port: 6379
      targetPort: 6379
  selector:
    app: redis

连接

连接哨兵使用26379端口

java 连接redis哨兵配置

spring:
  redis:
    database: 4 #redis数据库
    sentinel:
      master: mymaster
      nodes: redis://redis-0.redis.redis-cluster.svc.cluster.local:26379,redis://redis-1.redis.redis-cluster.svc.cluster.local:26379,redis://redis-2.redis.redis-cluster.svc.cluster.local:26379
    password: a12345678 #redis密码

客户端连接redis, 使用podip + 6379端口

redis-cli 10.1.x.x -a a12345678