Mesos on F嘉阳

DevOps实践心得二

Sun, 27 Dec 2020 12:25:47 +0800

背景

上一篇DevOps实践心得编写于2019年08月16日

文章最后提到未来探索方向是

全面容器化服务治理方向

国内对容器化有非常多的实践

kubernetes作为容器调度成为大多数服务治理的选择

容器隔离、迁移和伸缩带来的巨大优势

容器与传统应用部署结合方式

以半全自动方式落地DevOps，采用Mesos+marathon方式同时兼容传统服务部署和容器化部署

兼容分布式服务治理

国外有大量的实践案例

日志收集体系完备

经过一年半的时间，完成对完整DevOps的探索

Mesos+Marathon的DevOps分布式环境探索

参考文章

该架构更加适合还未进行容器化改造的项目，其支持较为通用，但各组件都是由开源组件协调而成，故搭建较为繁琐，而且后续版本升级并不方便

全面容器化服务探索

探索历程

最终完成了DevOps容器化自动部署实践

采用kuberneties方案，其统一性更加一致，依赖的基础设施也多支持容器化部署，机器利用率较高，版本升级、维护较为方便，适用于云原生项目部署

遇到的坑

最终生产环境采用kuberneties集群方案，5个节点，但由于实施经验不足，依然遇到不少坑

后续发展展望

云原生技术还在不断发展中，不少公司也研发并开源关于kuberneties集群管理方案，例如kubesphere

kubesphere — The Kubernetes platform tailored for hybrid multicloud

经过测试，其2.x版本资源占用较高，还处于刚起步阶段，暂时不适用于小规模集群

基于Mesos+Marathon的DevOps分布式环境搭建

Sun, 18 Aug 2019 22:01:00 +0800

基础环境

本地准备了4台虚拟机配置如下

虚拟机名称	IP	CPU	内存	磁盘
129	192.168.133.129	1	2G	20G
130	192.168.133.130	1	2G	20G
131	192.168.133.131	1	2G	20G
132	192.168.133.132	1	2G	20G

部署架构

部署架构图如下

各服务详细部署情况

Zookeeper

服务器	节点	端口	版本
129	zk-1-docker	2181	3.4.14
131	zk-2-docker	2181	3.4.14
132	zk-3-docker	2181	3.4.14

MesosMaster

服务器	节点	端口	版本
132	master	5050	1.7.0
130	master	5050	1.7.0
131	master	5050	1.7.0

MesosSlave

服务器	节点	端口	版本
131	slave2	5051	1.7.0
130	slave1	5051	1.7.0

marathon

服务器	服务	端口	版本
132	marathonMaster	8080	v1.6.496

marathon-lb

服务器	服务	端口	版本
129	marathon-lb	9090	v1.14.0

环境准备

开放防火墙

本次服务各主机将可能使用到以下端口

8080
9090
2181
2888
3888
5050
5051

逐台登陆服务器执行放行防火墙脚本

firewall-cmd --zone=public --add-port=8080/tcp --permanent
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=5050/tcp --permanent
firewall-cmd --zone=public --add-port=5051/tcp --permanent
firewall-cmd --zone=public --add-port=9090/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
firewall-cmd --reload

安装Docker

本次所有服务均采用Docker方式部署，服务调度通过Docker in Docker的方式进行

由于Docker有可能出现版本影响环境问题，参考文章相关文章

故建议安装时指定版本

$ yum-config-manager \
 --add-repo \
 https://download.docker.com/linux/centos/docker-ce.repo
$ yum install docker-ce-19.03.1 docker-ce-cli-19.03.1 containerd.io

设置开机启动并运行服务

$ systemctl enable docker
$ systemctl start docker

安装docker-compose，脚本参考官方文档

$ sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
$ sudo chmod +x /usr/local/bin/docker-compose
$ sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

安装Zookeeper

鉴于zk 3.4和3.5版本的配置有一定差别，编写脚本时注意版本，此处使用的是3.4.14，以下配置文件注意hosts的微小差别

docker-compose-zoo-129.yml

version: '3.1'

services:
 zoo1:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo2: 192.168.133.131"
 - "zoo3: 192.168.133.132"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 1
 ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

docker-compose-zoo-131.yml

version: '3.1'

services:

 zoo2:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo1: 192.168.133.129"
 - "zoo3: 192.168.133.132"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 2
 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888

docker-compose-zoo-132.yml

version: '3.1'

services:

 zoo3:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo1: 192.168.133.129"
 - "zoo2: 192.168.133.131"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 3
 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888

安装MesosMaster

MesosMaster也采用3节点高可用方案，由于要在各台机器上配置hosts过于麻烦，此处选择使用非hosts注册方式，故需要配置各自的IP地址

docker-compose-mesos-master-130.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.130
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

docker-compose-mesos-master-131.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.131
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

docker-compose-mesos-master-132.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.132
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

安装MesosSlave

需要选择与master对应的版本号，同时也使用IP注册的方式

docker-compose-mesos-slave1.yml

version: '3.1'

services:

 mesos-slave1:
 image: mesosphere/mesos-slave:1.7.0
 restart: always
 network_mode: host
 hostname: slave1
 command: --no-systemd_enable_support --no-hostname_lookup --ip=192.168.133.131
 ports:
 - 5051:5051
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - /cgroup:/cgroup
 - /sys:/sys
 - /usr/bin/docker:/usr/local/bin/docker
 environment:
 MESOS_PORT: 5051
 MESOS_MASTER: zk://192.168.133.129:2181/mesos
 MESOS_SWITCH_USER: 0
 MESOS_CONTAINERIZERS: docker,mesos
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos
 privileged: true

docker-compose-mesos-slave2.yml

version: '3.1'

services:

 mesos-slave2:
 image: mesosphere/mesos-slave:1.7.0
 restart: always
 network_mode: host
 hostname: slave2
 command: --no-systemd_enable_support --no-hostname_lookup --ip=192.168.133.130
 ports:
 - 5051:5051
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - /cgroup:/cgroup
 - /sys:/sys
 - /usr/bin/docker:/usr/local/bin/docker
 environment:
 MESOS_PORT: 5051
 MESOS_MASTER: zk://192.168.133.129:2181/mesos
 MESOS_SWITCH_USER: 0
 MESOS_CONTAINERIZERS: docker,mesos
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos
 privileged: true

Marathon

marathon在高版本会出现收不到mesos心跳自动停止的问题，暂时没找到可以配置的方式，故使用1.6的版本，问题链接如下

Missing heartbeats from Mesos, eventually disconnecting and dying

docker-compose-marathon.yml

version: '3.1'

services:

 marathon:
 image: mesosphere/marathon:v1.6.496
 hostname: marathon
 restart: always
 command: --master zk://192.168.133.129:2181/mesos --zk zk://192.168.133.129:2181/marathon
 ports:
 - 8080:8080

安装marathon-lb

marathon-lb 与marathon没有版本的对应关系，故使用当前最新的版本1.14，新版和旧版的配置也有所不同，在早期版本无需指定端口的环境变量，翻阅官网也指出其应该是自动配置的，但如果使用Docker默认运行脚本则需要手动指定

if you use the built-in run script, you’ll need to pass an env var that contains a comma separated list of the ports HAProxy binds to

参考ISSUES：

unbound variable PORTS v1.1.0

docker-compose-marathon-lb.yml

version: '3.1'

services:

 marathon-lb:
 image: mesosphere/marathon-lb:v1.14.0
 network_mode: host
 hostname: marathon-lb
 restart: always
 command: sse --group external --marathon http://192.168.133.132:8080
 environment:
 PORTS: 9090
 ports:
 - 9090:9090

启动

启动顺序：

zookeeper
mesosMaster
mesosSlave
marathon
marathon-lb

由于全使用docker-compose脚本编写，启动时只需指定文件名即可

$ docker-compose -f xx.yml up -d

查看日志命令，-f表示跟踪最新的日志

$ docker-compose -f xx.yml logs [-f]

效果

随便打开一个节点的mesos端口，可看到当前的服务注册数量和当前的leader，其采用与ZK类似的选举算法来选出leader实现高可用

slave信息

查看框架注册情况

查看marathon-lb情况

marathon面板

marathon支持通过面板创建任务和通过rest接口创建任务

使用postman创建任务测试

请求路径http://192.168.133.132:8080/v2/apps

内容

{
 "id": "basic-0", 
 "cmd": "while [ true ] ; do echo 'Hello Marathon' ; sleep 5 ; done",
 "cpus": 0.1,
 "mem": 10.0,
 "instances": 1
}

结果

面板同步显示

运行状态正常

查看详情可知其运行在130服务器上

通过面板创建

切换为json格式可以编辑更多内容

{
 "id": "demo-springboot",
 "cmd": null,
 "cpus": 0.3,
 "mem": 128,
 "disk": 0,
 "instances": 1,
 "container": {
 "docker": {
 "image": "fjy8018/demo-springboot:2.1.6.RELEASE",
 "forcePullImage": true
 },
 "type": "DOCKER",
 "portMappings": [
 {
 "containerPort": 8080,
 "protocol": "tcp",
 "servicePort": 18080
 }
 ]
 },
 "networks": [
 {
 "mode": "container/bridge"
 }
 ]
}

运行成功

访问成功

查看资源调度情况

配置扩缩容

配置成功

两个实例被分别调度到不同的机器上

配置健康检查

自动轮询接口

错误告警

DevOps实践心得一

Fri, 16 Aug 2019 19:32:00 +0800

初遇DevOps

最早接触到DevOps是在2018年8月26日，那时首先接触到的就是大名鼎鼎的Jenkins，当时看了多篇关于持续集成和持续部署的文章，蠢蠢欲动，便开始了第一套DevOps环境的搭建

Jenkins

第一套DevOps是用Jenkins+Ansible+GitLab搭建的，那时只是了解Docker的好处，并没有使用Docker搭建整套环境，还是基于传统虚拟服务器搭建的整套流程。

Jenkins不仅可以编写groove脚本、pipeline 流水线等，还能与maven集成自动构建，深深感受到了Jenkins的强大，同时大量的用户为其贡献了许多插件，有很多实践问题都可以在网上搜索到解决方案

搭建过程：

最后顺利实现了静态网站持续集成、持续部署，详见：相关文章

Docker+GitLab

随着容器化技术在国内越来越流行，容器普及度越来越高，其带来的环境隔离极大推动了DevOps的落地，使得无需使用python环境隔离，可以直接利用容器技术实现跨平台和环境隔离，并且利于迁移和部署

于是在2019年4月开始研究GitLab官方文档，发现其早已原生支持流水线，并依托其GitLab-runner可以直接实现整套DevOps环境

因此，经过不断摸索，完整的搭建的基于Docker和GitLab的DevOps环境，搭建过程见：

由于国内当时对GitLab流水线使用的并不多，因此遇到的很多坑都需要翻查官方文档和国外的实践记录，比如：

DevOps 带来的好处

2019年7月将手上的一个小型项目尝试使用完整的DevOps流程开发，开发小组选择敏捷开发方法，所有的开发工具都尽量的适应快速的需求变化，同时投入非常少量的开发人员，分工明确，从一开始一周发布一次到最后一天可以发布多次

开发人员已经完全从运维中脱离，全团队没有专门的运维人员，极大的提高了开发效率，精简了人员构成，一旦构建失败，开发人员可以根据邮件通知的内容排查上线失败问题，调整代码和配置后重新提交

面板提供了流水线统计图，如果出现频繁的失败还是需要人工介入，查看问题原因

当前的问题

尽管使用了基于Docker+GitLab的流水线实现了完整的DevOps流程，但对于监控和日志部分仍然处在很多问题

尽管上线的是单体应用，服务器和应用的健康状态都无法得知，也没有相应的告警
应用的日志没有被外部服务收集，无法进行快速分析
没有实现完整的测试流程，生成测试覆盖率报告等
没有实现0停机上线，在容器切换时仍需停机1-2分钟
没有实现灰度上线、蓝绿部署等，上线失败需要手动回滚

未来探索方向

全面容器化服务治理方向
- 国内对容器化有非常多的实践
- kubernetes作为容器调度成为大多数服务治理的选择
- 容器隔离、迁移和伸缩带来的巨大优势
容器与传统应用部署结合方式
- 以半全自动方式落地DevOps，采用Mesos+marathon方式同时兼容传统服务部署和容器化部署
- 兼容分布式服务治理
- 国外有大量的实践案例
- 日志收集体系完备

Mesos集群安装

Wed, 03 Oct 2018 22:10:00 +0800

基础环境

4台服务器，一台外部客户机

安装指南

官方支持C++源码编译安装和Docker安装

C++源码编译安装地址

Docker镜像仓库

停止所有容器命令

docker stop $(docker ps -a -q)
docker rm $(docker ps -a -q)

安装

mesos主节点

node1

docker pull mesosphere/mesos-master:1.7.0

node2(host)

docker run --name mesos-zookeeper -p 2181:2181 --restart always -d zookeeper:3.5

node1执行脚本(需替换zk IP地址)

MESOS_QUORUM=1即1为单机运行，3个节点为2，计算方式为 n÷2+1 \

若不手动指定hostname映射的IP，则所有节点默认通过主机名进行通信

使用host通信脚本

docker run -d --net=host \
 -e MESOS_PORT=5050 \
 -e MESOS_ZK=zk://192.168.0.32:2181/mesos \
 -e MESOS_QUORUM=1 \
 -e MESOS_REGISTRY=in_memory \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/work/mesos:/var/tmp/mesos" \
 -p 5050:5050 \
 --name=mesos-master \
 mesosphere/mesos-master:1.7.0 \

使用IP通信脚本

docker run -d --net=host \
 --hostname=192.168.0.32 \
 -e MESOS_PORT=5050 \
 -e MESOS_ZK=zk://192.168.0.32:2181/mesos \
 -e MESOS_QUORUM=1 \
 -e MESOS_REGISTRY=in_memory \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/work/mesos:/var/tmp/mesos" \
 -p 5050:5050 \
 --name=mesos-master \
 mesosphere/mesos-master:1.7.0 \
 --no-hostname_lookup \
 --ip=192.168.0.33

查看日志

docker logs mesos-master

成功输出日志

I1003 08:41:29.868827 14 group.cpp:341] Group process (zookeeper-group(2)@192.168.0.33:5050) connected to ZooKeeper
I1003 08:41:29.868902 14 group.cpp:831] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)
I1003 08:41:29.868921 14 group.cpp:419] Trying to create path '/mesos' in ZooKeeper
I1003 08:41:29.902194 14 contender.cpp:268] New candidate (id='1') has entered the contest for leadership
I1003 08:41:29.904409 8 detector.cpp:152] Detected a new leader: (id='1')
I1003 08:41:29.904513 8 group.cpp:700] Trying to get '/mesos/json.info_0000000001' in ZooKeeper
I1003 08:41:29.912968 8 zookeeper.cpp:262] A new leading master (UPID=master@192.168.0.33:5050) is detected
I1003 08:41:29.913091 8 master.cpp:2113] Elected as the leading master!
I1003 08:41:29.913115 8 master.cpp:1668] Recovering from registrar
I1003 08:41:29.916913 11 registrar.cpp:383] Successfully fetched the registry (0B) in 3.734016ms
I1003 08:41:29.917054 11 registrar.cpp:487] Applied 1 operations in 26us; attempting to update the registry
I1003 08:41:29.918582 11 registrar.cpp:544] Successfully updated the registry in 1.449984ms
I1003 08:41:29.918630 11 registrar.cpp:416] Successfully recovered registrar
I1003 08:41:29.918772 8 master.cpp:1782] Recovered 0 agents from the registry (121B); allowing 10mins for agents to reregister

访问IP:5050，对于PWD，可以访问http://SSHIP-5050.direct.labs.play-with-docker.com/#/，将SSH ip替换成实际提供的IP即可

mesos从节点

node3 (slave-1)、node4(slave-2)

启动脚本

使用host通信脚本

mkdir /cgroup
docker run -d --net=host --privileged \
 -e MESOS_PORT=5051 \
 -e MESOS_MASTER=zk://192.168.0.32:2181/mesos \
 -e MESOS_SWITCH_USER=0 \
 -e MESOS_CONTAINERIZERS=docker,mesos \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/tmp/mesos:/var/tmp/mesos" \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v /cgroup:/cgroup \
 -v /sys:/sys \
 -v "$(which docker):/usr/local/bin/docker" \
 --name=mesos-slave \
 -p 5051:5051 \
 mesosphere/mesos-slave:1.7.0 \
 --no-systemd_enable_support

使用IP通信脚本，--ip需要改成实际IP

mkdir /cgroup
docker run -d --net=host --privileged \
 -e MESOS_PORT=5051 \
 -e MESOS_MASTER=zk://192.168.0.32:2181/mesos \
 -e MESOS_SWITCH_USER=0 \
 -e MESOS_CONTAINERIZERS=docker,mesos \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/tmp/mesos:/var/tmp/mesos" \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v /cgroup:/cgroup \
 -v /sys:/sys \
 -v "$(which docker):/usr/local/bin/docker" \
 --name=mesos-slave \
 -p 5051:5051 \
 mesosphere/mesos-slave:1.7.0 \
 --no-systemd_enable_support \
 --no-hostname_lookup \
 --ip=192.168.0.31

查看日志

docker logs mesos-slave

启动成功日志

I1003 09:05:08.615039 12 group.cpp:341] Group process (zookeeper-group(1)@192.168.0.31:5051) connected to ZooKeeper
I1003 09:05:08.615104 12 group.cpp:831] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)
I1003 09:05:08.615121 12 group.cpp:419] Trying to create path '/mesos' in ZooKeeper
I1003 09:05:08.618291 13 state.cpp:66] Recovering state from '/var/tmp/mesos/meta'
I1003 09:05:08.618405 15 slave.cpp:6930] Finished recovering checkpointed state from '/var/tmp/mesos/meta', beginning agent recovery
I1003 09:05:08.618475 8 task_status_update_manager.cpp:207] Recovering task status update manager
I1003 09:05:08.618628 8 docker.cpp:908] Recovering Docker containers
I1003 09:05:08.626359 13 detector.cpp:152] Detected a new leader: (id='3')
I1003 09:05:08.626487 15 group.cpp:700] Trying to get '/mesos/json.info_0000000003' in ZooKeeper
I1003 09:05:08.628664 15 zookeeper.cpp:262] A new leading master (UPID=master@192.168.0.33:5050) is detected
I1003 09:05:08.997036 15 docker.cpp:921] Got the list of Docker containers
I1003 09:05:08.997324 15 docker.cpp:1157] Finished processing orphaned Docker containers
I1003 09:05:08.997436 8 slave.cpp:7159] Recovering executors
I1003 09:05:08.997553 8 slave.cpp:7312] Finished recovery
I1003 09:05:08.998044 11 task_status_update_manager.cpp:181] Pausing sending task status updates
I1003 09:05:08.998045 8 slave.cpp:1275] New master detected at master@192.168.0.33:5050
I1003 09:05:08.998159 8 slave.cpp:1329] No credentials provided. Attempting to register without authentication
I1003 09:05:08.998181 8 slave.cpp:1340] Detecting new master
I1003 09:05:09.446756 11 slave.cpp:1500] Registered with master master@192.168.0.33:5050; given agent ID b597695d-6e37-418a-9879-4ffe46117e17-S0
I1003 09:05:09.449091 10 task_status_update_manager.cpp:188] Resuming sending task status updates

访问主节点web界面可看见资源邀约有效

节点情况

marathon安装

node5

启动脚本

docker run -d --net=host \
 -p 8080:8080 \
 mesosphere/marathon:latest \
 --master zk://192.168.0.32:2181/mesos \
 --zk zk://192.168.0.32:2181/marathon

通过IP:8080查看运行结果

marathon-lb安装

node6

启动脚本

docker run -d -e PORTS=9090 --net=host \
 -p 9090:9090 \
 mesosphere/marathon-lb sse \
 --group external \
 --marathon http://192.168.0.29:8080

访问IP:9090/haproxy?stats可查看启动状态