Sentinel on F嘉阳

Sentinel持久化存储和镜像构建

Sun, 07 Feb 2021 12:06:58 +0800

背景

Sentinel默认只能对限流规则存储到内存中

官方文档对于数据持久化描述如下

我们提供了 ZooKeeper, Apollo, Nacos 等的动态数据源实现。以 ZooKeeper 为例子，如果要使用第三方的配置中心作为配置管理，您需要做下面的几件事情:

实现一个公共的 ZooKeeper 客户端用于推送规则，在 Sentinel 控制台配置项中需要指定 ZooKeeper 的地址，启动时即创建 ZooKeeper Client。

我们需要针对每个应用（appName），每种规则设置不同的 path（可随时修改）；或者约定大于配置（如 path 的模式统一为 /sentinel_rules/{appName}/{ruleType}，e.g. sentinel_rules/appA/flowRule）。

规则配置页需要进行相应的改造，直接针对应用维度进行规则配置；修改同个应用多个资源的规则时可以批量进行推送，也可以分别推送。Sentinel 控制台将规则缓存在内存中（如 InMemFlowRuleStore），可以对其进行改造使其支持应用维度的规则缓存（key 为 appName），每次添加/修改/删除规则都先更新内存中的规则缓存，然后需要推送的时候从规则缓存中获取全量规则，然后通过上面实现的 Client 将规则推送到 ZooKeeper 即可。

应用客户端需要注册对应的读数据源以监听变更，可以参考相关文档。

由于alibaba/Sentinel官方并没有实现对具体数据源的写入支持，只提供的实现的接口，故无法做到开箱即用

解决方法

已经有贡献者提供了对三种动态数据源的实现PR，但还没合并进主版本中

添加持久化支持，可选持久化选项 — Fixes Issues #1696 添加持久化支持，可选持久化选项：nacos、apollo、zookeeper ; 修改 README.md 说明文档

进一步完善

本次基于jiajiangnan/Sentinelfork出自己的工程FJiayang/Sentinel，实现docker镜像打包，并基于GitHub Actions完成自动化构建和上传制品。

jiajiangnan/Sentinel — jiajiangnan的Sentinel仓库源码

FJiayang/Sentinel — FJiayang的Sentinel仓库源码

添加Dockerfile

基于最小jdk镜像制作

FROM openjdk:8-jdk-alpine3.7

MAINTAINER fjy8018@gmail.com

ENV VERSION 1.8.0

RUN mkdir -p /sentinel

WORKDIR /sentinel

ADD ./sentinel-dashboard/target/sentinel-dashboard.jar ./app-${VERSION}.jar

# 设置时区，默认为UTC
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo 'Asia/Shanghai' > /etc/timezone

CMD java ${PARAM} -jar app-${VERSION}.jar

添加GitHub流水线配置文件

name: Publish Docker image

on: [push]

jobs:
 build:

 runs-on: ubuntu-latest

 steps:
 - uses: actions/checkout@v2
 - name: Set up Maven Central Repository
 uses: actions/setup-java@v1
 with:
 java-version: 1.8

 - name: Publish package
 run: mvn --batch-mode clean package -Dmaven.test.skip=true

 - name: Push to Docker Hub
 uses: docker/build-push-action@v1
 with:
 username: ${{ secrets.DOCKER_USERNAME }}
 password: ${{ secrets.DOCKER_PASSWORD }}
 repository: fjy8018/sentinel
 tag_with_ref: true

具体的流水线编写可参考文章

使用方法

具体参数文档

项	类型	默认值	最小值	描述
sentinel.dashboard.auth.username	String	sentinel	无	登录控制台的用户名，默认为 `sentinel`
sentinel.dashboard.auth.password	String	sentinel	无	登录控制台的密码，默认为 `sentinel`
sentinel.dashboard.app.hideAppNoMachineMillis	Integer	0	60000	是否隐藏无健康节点的应用，距离最近一次主机心跳时间的毫秒数，默认关闭
sentinel.dashboard.removeAppNoMachineMillis	Integer	0	120000	是否自动删除无健康节点的应用，距离最近一次其下节点的心跳时间毫秒数，默认关闭
sentinel.dashboard.unhealthyMachineMillis	Integer	60000	30000	主机失联判定，不可关闭
sentinel.dashboard.autoRemoveMachineMillis	Integer	0	300000	距离最近心跳时间超过指定时间是否自动删除失联节点，默认关闭
datasource.provider	String	memory	无	默认为 `memory`, 可选持久化配置 `nacos`、`apollo`、`zookeeper`
datasource.provider.nacos.server-addr	String	localhost:8848	无	nacos 注册中心地址
datasource.provider.nacos.username	String		无	nacos 用户名，默认为空
datasource.provider.nacos.password	String		无	nacos 密码，默认为空
datasource.provider.nacos.namespace	String		无	nacos 名臣空间，默认为空
datasource.provider.nacos.group-id	String	SENTINEL_GROUP	无	nacos 分组，默认为 `SENTINEL_GROUP`
datasource.provider.apollo.server-addr	String	http://localhost:10034	无	apollo 注册中心地址，必须有前缀 `http://` 或 `https://`
datasource.provider.apollo.token	String	token	无	apollo 登录 token，默认为 `token`
datasource.provider.zookeeper.server-addr	String	localhost:2181	无	zookeeper 注册中心地址
datasource.provider.zookeeper.session-timeout	Integer	60000	0	zookeeper session超时时间，默认 `60000`
datasource.provider.zookeeper.connection-timeout	Integer	15000	0	zookeeper connection超时时间，默认 `15000`
datasource.provider.zookeeper.retry.max-retries	Integer	3	0	zookeeper 最大重试次数，默认 `3`
datasource.provider.zookeeper.retry.base-sleep-time	Integer	1000	1000	zookeeper 重试间隔最小时长，默认 `1000`
datasource.provider.zookeeper.retry.max-sleep-time	Integer	2147483647	0	zookeeper 重试间隔最大时长，默认 `2147483647`

对于单条Docker命令启动

$ docker run --rm -e PARAM="-Dserver.port=8858 -Dcsp.sentinel.dashboard.server=localhost:8858 -Dproject.name=sentinel-dashboard -Ddatasource.provider=nacos -Ddatasource.provider.nacos.server-addr=192.168.133.128:8848 -Ddatasource.provider.nacos.username=nacos -Ddatasource.provider.nacos.password=nacos -Ddatasource.provider.nacos.group-id=SENTINEL_GROUP" fjy8018/sentinel:1.8.0

对于docker-compose启动，此处结合nacos与mysql基础设施给出示例，mysql需要提前写入nacos相关初始化表结构

version: '3.7'
services:

 mysql57:
 image: mysql:5.7.29
 restart: always
 command: --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
 ports:
 - 3306:3306
 networks:
 - dev
 volumes:
 - ./mysql57/data:/var/lib/mysql
 - ./mysql57/custom-master.cnf:/etc/mysql/conf.d/custom.cnf
 - ./mysql57/log:/var/log/mysql
 environment:
 MYSQL_ROOT_PASSWORD: root

 nacos-standalone:
 image: nacos/nacos-server:1.1.4
 networks:
 - dev
 environment:
 - PREFER_HOST_MODE=hostname
 - MODE=standalone
 - SPRING_DATASOURCE_PLATFORM=mysql
 - MYSQL_MASTER_SERVICE_HOST=mysql57
 - MYSQL_MASTER_SERVICE_DB_NAME=nacos
 - MYSQL_MASTER_SERVICE_PORT=3306
 - MYSQL_SLAVE_SERVICE_HOST=mysql57
 - MYSQL_SLAVE_SERVICE_PORT=3306
 - MYSQL_MASTER_SERVICE_USER=root
 - MYSQL_MASTER_SERVICE_PASSWORD=root
 ports:
 - 8848:8848
 depends_on:
 - mysql57
 volumes:
 - ./standalone-logs/:/home/nacos/logs

 sentinel:
 image: fjy8018/sentinel:1.8.0
 environment:
 - PARAM=-Dserver.port=8858 -Dcsp.sentinel.dashboard.server=localhost:8858 -Dproject.name=sentinel-dashboard -Ddatasource.provider=nacos -Ddatasource.provider.nacos.server-addr=nacos-standalone:8848 -Ddatasource.provider.nacos.username=nacos -Ddatasource.provider.nacos.password=nacos -Ddatasource.provider.nacos.group-id=SENTINEL_GROUP
 networks:
 - dev
 ports:
 - 8858:8858
 restart: on-failure

networks:
 dev:

启动成功后可以看到nacos上成功注册了sentinel-dashboard

GitHub DevOps工作流构建Java项目并上传到DockerHub

Sun, 07 Feb 2021 11:58:43 +0800

工程准备

此处使用fork自alibaba/Sentinel的FJiayang/Sentinel项目实践

工程地址

Sentinel — Sentinel仓库源码

准备Dockerfile

该工程为标准Java项目，故准备好的Dockerfile文件如下

FROM anapsix/alpine-java:8_server-jre_unlimited

MAINTAINER fjy8018@gmail.com

ENV PARAM ""
ENV VERSION 1.8.0

RUN mkdir -p /sentinel

WORKDIR /sentinel

ADD ./sentinel-dashboard/target/sentinel-dashboard.jar ./app-${VERSION}.jar

# 设置时区，默认为UTC
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo 'Asia/Shanghai' > /etc/timezone

ENTRYPOINT ["java", "${PARAM}", "-jar", "app-${VERSION}.jar"]

编写GitHub工作流

GitHub DevOps工作流又叫GitHub Actions 是2019年末推出的自动化CICD持续集成工作流，有详细的样例文档

此处参考以下文档编写

使用 Maven 构建和测试 Java — GitHub Actions 指南

安全配置

由于需要建构建后的制品推送到DockerHub中，但又不能在工作流中直接使用用户名和密码登陆，故还需要配置环境变量

在DockerHub中新增秘钥

在构建工程的设置中新增用户名和密码变量

编写后的工作流如下

name: Publish Docker image

on: [push]

jobs:
 build:

 runs-on: ubuntu-latest

 steps:
 - uses: actions/checkout@v2
 - name: Set up Maven Central Repository
 uses: actions/setup-java@v1
 with:
 java-version: 1.8

 - name: Publish package
 run: mvn --batch-mode clean package -Dmaven.test.skip=true

 - name: Push to Docker Hub
 uses: docker/build-push-action@v1
 with:
 username: ${{ secrets.DOCKER_USERNAME }}
 password: ${{ secrets.DOCKER_PASSWORD }}
 repository: fjy8018/sentinel
 tag_with_ref: true

触发构建

当前的触发方式配置为PUSH，修改好文件后会自动触发流水线工作

Maven打包，速度很快

打包完成

检查结果

登录到DockerHub中检查推送结果，可见成功推送

总结

整体来看，GitHub工作流效率高，文档齐全，编码上手速度快，相比GitLab CICD和DockerHub CICD来说，GitHub CICD配置更加简单、友好和高效。

微服务平台开发总结（3）——第二代密码管理平台

Thu, 07 May 2020 21:38:00 +0800

背景

吸取前两代系统的失败经验，对第二代密码管理微服务进行重新规划，并且在探索过程中见识到了cloud-platform、SpringBlade、pigx等优秀的微服务项目，考虑基于开源项目二次开发

规划

为了尽快落地上线，第一期以实现最小功能为主，其他非必须功能尽可能往后放

第一期

SpringCloud微服务集成
Nacos、Sentinel、graylog、zipkin、 Turbine集成
前后端密码管理功能对接
操作日志记录
邮件通知
Excel导入导出
v1迁移到v2工具包

第二期

dble读写分离
支持忘记密码、密码锁定等
集成微信推送、微信注册功能
支持上传前端日志
页面排序、检索优化

第三期

增加用户反馈功能
接入Seata分布式事务
支持配置导入导出权限
支持录入标签
…

技术体系

前端

前后端分离-采用前后端分离模式，前端基于Vue
采用Vuex进行状态管理，采用ES6作为语法支持
前后端基于开源项目SpringBlade二次开发
前后端代码生成-定制针对两套前端与后端的代码生成模板，轻松生成整个模块的前后端代码，减少重复工作量
多租户顶部菜单配置-提供给每个租户独立的顶部菜单配置模块，可以自定义顶部菜单切换

后端

基于SpringCloud的分布式架构
采用Mybatis与MybatisPlus作为ORM持久层框架
多租户系统-完整的SaaS多租户架构
借鉴OAuth2，通过Jwt令牌实现了多终端认证系统，可控制子系统的token权限互相隔离
权限管理-精心设计的权限管理方案，角色权限精确到按钮
集成邮件服务，通过事件传播实现不依赖消息队列通知发送服务
集成微信推送服务，实现微信注册、敏感操作消息推送
动态聚合文档-实现基于Nacos的Swagger SpringCloud聚合文档
实现动态网关，不重启就能设置网关配置项
集成Turbine聚合熔断监控

数据架构

采用MySQL进行数据存储，底层配置为一主两从的高可用集群
采用ElasticSearch三节点集群进行日志数据存储

分布式支持

Nacos-集成阿里巴巴的Nacos完成统一的服务注册与配置
Sentinel-集成Sentinel从流量控制、熔断降级、系统负载等多个维度保护服务的稳定性
采用Docker打包，部署于Kubernetes集群上
Seata分布式事务-定制集成Seata，支持分布式事务，无代码侵入，不失灵活与简洁
使用graylog进行分布式日志采集，集中监控
通过zipkin进行分布式链路追踪，耗时统计和服务调用情况

DevOps

配置管理采用单仓库模式，集成docker打包插件，自动推送到harbor仓库
采用GitLab Runner CICD流水线自动部署到测试环境和生产环境
结合Maven私服和Harbor私服为内网自动化部署提供支持

官方架构图

截图

管理员

操作日志记录

错误日志系统内采集

Turbine集成熔断监控

通知发布

普通用户

主题切换

微信扫码注册

补全信息

主页资源权限控制

菜单资源权限控制

Excel导入导出

密码管理

运维

Nacos注册中心

Sentinel限流管控

SpringBoot Admin应用内指标监控

Harbor内网私服

Nexus内网私服，提供maven和npm包

graylog日志采集

三节点ES集群支持日志存储

耗时统计

新UI风格

动态服务依赖关系图

新UI依赖图

Prometheus指标采集

Grafana资源指标监控

Kuberneties服务部署监控

开发过程工具

Gitlab CICD流水线

看板

功能开发周期分析

gitlab集成k8s部署环境

Sonarqube代码质量检查

分支图

工程模块图

结果——成功

经过两个月的开发和调试，第一期工程符合预定计划，按期投产上线运行，并经过2周试运行和测试后，进入生产环境，迁移老版本数据，正式替换了运行一年半的第一代密码管理系统

时间线

2020年3月开始基于SpringBlade 2.6.2编码
2020年4月20日第一个测试版本进入k8s测试环境
2020年4月28日第一个稳定版进行试运行阶段
2020年5月4日试运行阶段结束，第一个稳定版1.1.2发布，正式进行数据迁移并投入使用