Jenkins on F嘉阳

DevOps实践心得一

Fri, 16 Aug 2019 19:32:00 +0800

初遇DevOps

最早接触到DevOps是在2018年8月26日，那时首先接触到的就是大名鼎鼎的Jenkins，当时看了多篇关于持续集成和持续部署的文章，蠢蠢欲动，便开始了第一套DevOps环境的搭建

Jenkins

第一套DevOps是用Jenkins+Ansible+GitLab搭建的，那时只是了解Docker的好处，并没有使用Docker搭建整套环境，还是基于传统虚拟服务器搭建的整套流程。

Jenkins不仅可以编写groove脚本、pipeline 流水线等，还能与maven集成自动构建，深深感受到了Jenkins的强大，同时大量的用户为其贡献了许多插件，有很多实践问题都可以在网上搜索到解决方案

搭建过程：

最后顺利实现了静态网站持续集成、持续部署，详见：相关文章

Docker+GitLab

随着容器化技术在国内越来越流行，容器普及度越来越高，其带来的环境隔离极大推动了DevOps的落地，使得无需使用python环境隔离，可以直接利用容器技术实现跨平台和环境隔离，并且利于迁移和部署

于是在2019年4月开始研究GitLab官方文档，发现其早已原生支持流水线，并依托其GitLab-runner可以直接实现整套DevOps环境

因此，经过不断摸索，完整的搭建的基于Docker和GitLab的DevOps环境，搭建过程见：

由于国内当时对GitLab流水线使用的并不多，因此遇到的很多坑都需要翻查官方文档和国外的实践记录，比如：

DevOps 带来的好处

2019年7月将手上的一个小型项目尝试使用完整的DevOps流程开发，开发小组选择敏捷开发方法，所有的开发工具都尽量的适应快速的需求变化，同时投入非常少量的开发人员，分工明确，从一开始一周发布一次到最后一天可以发布多次

开发人员已经完全从运维中脱离，全团队没有专门的运维人员，极大的提高了开发效率，精简了人员构成，一旦构建失败，开发人员可以根据邮件通知的内容排查上线失败问题，调整代码和配置后重新提交

面板提供了流水线统计图，如果出现频繁的失败还是需要人工介入，查看问题原因

当前的问题

尽管使用了基于Docker+GitLab的流水线实现了完整的DevOps流程，但对于监控和日志部分仍然处在很多问题

尽管上线的是单体应用，服务器和应用的健康状态都无法得知，也没有相应的告警
应用的日志没有被外部服务收集，无法进行快速分析
没有实现完整的测试流程，生成测试覆盖率报告等
没有实现0停机上线，在容器切换时仍需停机1-2分钟
没有实现灰度上线、蓝绿部署等，上线失败需要手动回滚

未来探索方向

全面容器化服务治理方向
- 国内对容器化有非常多的实践
- kubernetes作为容器调度成为大多数服务治理的选择
- 容器隔离、迁移和伸缩带来的巨大优势
容器与传统应用部署结合方式
- 以半全自动方式落地DevOps，采用Mesos+marathon方式同时兼容传统服务部署和容器化部署
- 兼容分布式服务治理
- 国外有大量的实践案例
- 日志收集体系完备

Jenkins+GitLab+Ansible实现静态网站自动部署

Sat, 01 Sep 2018 12:45:00 +0800

环境准备

参考前几篇文章配置后实现以下环境

部署好Jenkins服务器一台(192.168.163.133),并在Jenkins服务器上部署ansible，且与目标主机(192.168.163.132)做了免密登录
可以访问的GitLab服务器一台，并注册了Jenkins相关账号且在Jenkins系统设置中配置完毕
一台工作环境主机，用于代码编写，该主机可以通过域名访问目标主机(192.168.163.132)

编写ansible playbook

搭建基础工程目录结构

从仓库下载之前编写的ansible工程目录结构

若没有也可自行创建，最终文件目录结构如下

└─ansible-playbook-repo
 │ deploy.yml
 │
 ├─inventory
 │ dev
 │ prod
 │
 └─roles
 └─nginx
 ├─files
 │ │ health_check.sh
 │ │ index.html
 │ │
 │ └─website
 │
 ├─tasks
 │ main.yml
 │
 └─templates
 nginx.conf.j2

文件编写

工程入口deploy.yml编写

- hosts: "nginx"
 gather_facts: true
 remote_user: root
 roles:
 - nginx

编写开发环境配置文件inventory/dev，此处dev与prod配置一致，若实际需求可自行修改，用于最后jenkins参数化构建的选项 inventory/dev文件内容

[nginx]
test.fjy8018.top

[nginx:vars]
server_name=test.fjy8018.top
port=80
user=ansible
worker_processes=4
max_open_file=65505
root=/www

inventory/prod文件内容

[nginx]
test.fjy8018.top

[nginx:vars]
server_name=test.fjy8018.top
port=80
user=ansible
worker_processes=4
max_open_file=65505
root=/www

编写健康检查shell脚本health_check.sh roles/nginx/files/health_check.sh文件内容

#!/bin/bash

# 接受命令行参数
URL=$1

# 访问目标地址，判断是否能正常访问并输出
curl -Is http://$URL > /dev/null && echo "远程主机状态正常" || echo "远程主机已停止"

添加静态网站文件

/roles/nginx/files/website为静态网页模板目录，里面存放从网上下载的静态网站模板配置nginx指向该资源 /roles/nginx/templates/nginx.conf.j2文件内容

# For more information on configuration, see: 
user {{ user }}; 
worker_processes {{ worker_processes }}; 
 
error_log /var/log/nginx/error.log; 
 
pid /var/run/nginx.pid; 
 
events { 
 worker_connections {{ max_open_file }}; 
} 
 
 
http { 
 include /etc/nginx/mime.types; 
 default_type application/octet-stream; 
 
 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' 
 '$status $body_bytes_sent "$http_referer" ' 
 '"$http_user_agent" "$http_x_forwarded_for"'; 
 
 access_log /var/log/nginx/access.log main; 
 
 sendfile on; 
 #tcp_nopush on; 
 
 #keepalive_timeout 0; 
 keepalive_timeout 65; 
 
 #gzip on; 
 
 # Load config files from the /etc/nginx/conf.d directory 
 # The default server is in conf.d/default.conf 
 #include /etc/nginx/conf.d/*.conf; 
 server { 
 listen {{ port }} default_server; 
 server_name {{ server_name }}; 
 
 #charset koi8-r; 
 
 #access_log logs/host.access.log main; 
 
 location / { 
 root {{ root }}/website; 
 index index.html index.htm; 
 } 
 
 error_page 404 /404.html; 
 location = /404.html { 
 root /usr/share/nginx/html; 
 } 
 
 # redirect server error pages to the static page /50x.html 
 # 
 error_page 500 502 503 504 /50x.html; 
 location = /50x.html { 
 root /usr/share/nginx/html; 
 } 
 
 } 
 
}

编写主任务文件

主任务文件main.yml内容如下

- name: 关闭系统防火墙
 service: name=firewalld state=stopped

- name: 关闭强制访问控制策略
 selinux: state=disabled

- name: 设置yum源
 yum: pkg=epel-release state=latest

- name: 写入nginx配置文件
 template: src=roles/nginx/templates/nginx.conf.j2 dest=/etc/nginx/nginx.conf

- name: 创建nginx根目录文件夹
 file: 'path={{ root }} state=directory owner={{ user }} group={{ user }} mode=0755'

- name: 文件拷贝
 copy: 'remote_src=no src=roles/nginx/files/website dest=/www/website owner={{ user }} mode=0755'

- name: 启动nginx
 service: name=nginx state=restarted

- name: 运行健康检查
 shell: "sh roles/nginx/files/health_check.sh {{ server_name }}"
 # 本地执行
 delegate_to: localhost
 # 参数传递
 register: health_status

- debug: msg="{{ health_status.stdout }}"

Git提交

提交变更到版本仓库GitLab

git add .
git commit -m "添加模板文件"
git push origin master

Jenkins创建并执行

创建自由风格构建任务，添加参数化构建、添加选项参数和文本参数

添加Git仓库地址和账号

添加Shell构建，Shell内容为

#!/bin/bash
# 关闭命令行扩展环境，避免环境参数日志干扰
set +x
# 加载虚拟环境
source /home/deploy/.py3-a2.5-env/bin/activate
# 加载ansible到当前用户目录
source /home/deploy/.py3-a2.5-env/ansible/hacking/env-setup -q

cd $WORKSPACE
ls -a
# 查看版本
ansible --version
ansible-playbook --version

# 引入资源清单，测试远程命令
ansible-playbook -i inventory/$deploy_env ./deploy.yml -e project=nginx -e branch=$branch -e env=$deploy_env

保存并构建

结果

构建成功

访问测试

在工作主机上访问目标地址+资源路径即可，访问通过

后续构建

后期只要在工作主机变更代码推送到git仓库，再到Jenkins的web界面点击参数化构建即可让Jenkins自动拉取最新分支并执行Ansible脚本

Jenkins 与Maven集成

Sun, 26 Aug 2018 17:15:00 +0800

环境准备

安装jdk

yum -y install java-devel java

检测安装结果

[root@localhost maven-freestyle-job]# javac -version
javac 1.8.0_181
[root@localhost maven-freestyle-job]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

安装maven环境

wget http://apache.osuosl.org/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz

解压，并指定解压路径

tar -zxvf apache-maven-3.5.4-bin.tar.gz -C /opt

查看安装结果

[root@localhost ~]# cd /opt/
[root@localhost opt]# cd apache-maven-3.5.4/
[root@localhost apache-maven-3.5.4]# cd bin/
[root@localhost bin]# ./mvn -v
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00)
Maven home: /opt/apache-maven-3.5.4
Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.el7.x86_64", arch: "amd64", family: "unix"
[root@localhost bin]# pwd
/opt/apache-maven-3.5.4/bin

配置环境

进入Jenkins系统管理中的全局工具配置，配置本地的maven地址

此处的jdk报错正常，若不配置则会自动调用系统环境里的jdk

指定maven名称和路径

准备maven工程

提前在gitlab中装备一个简单的Springboot web工程，通过springboot脚手架快速生成，pom文件如下

新建构建

新建构建并填写目标仓库地址

添加构建设置为maven构建

添加构建参数，即在命令行mvn之后的参数

选择maven版本

构建

构建成功

Jenkins job编写测试

Sun, 26 Aug 2018 12:00:00 +0800

系统预配置

关闭防止跨站请求伪造

测试期间系统设置中临时关闭防止跨站请求伪造，否则容易出现登录超时无法新建任务

添加远程仓库配置

GitLab的用户邮箱、用户名、密码，用于拉取远程仓库代码

凭据

添加凭据，凭据为用户的标识

选择全局凭据

添加凭据

添加为Git用户

Jenkins job

freestyle Job

freestyle Job简介

需要在页面添加模块配置项与参数完成配置
每个Job仅能实现一个开发功能
无法将配置代码化，不利于Job配置迁移与版本控制
没有版本日志记录
逻辑简单

新建freestyle Job

新建任务

添加选项参数

添加文本参数

指定远程仓库地址

添加Shell脚本

保存后选择通过参数构建

构建报错

检查后发现Shell脚本开头的#!/bin/bash写成了#! /bin/bash，中间包含空格后系统无法识别

修正错误后重新构建

报语法错误，12行缺少空格

检查发现if [ -s test.properties ]写成了if [ -s test.properties]，修正错误后再次构建修正后的Shell脚本为

#!/bin/bash
# export PATH="/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin"

# 打印环境变量
echo "[INFO] 打印环境变量"
echo "[INFO] 当前发布环境为 $deploy_env" >> test.properties
echo "[INFO] 构建版本为 $version " >> test.properties
echo "[INFO] 打印环境变量完成..."

# 检查test.properties
echo "[INFO] 检查test.properties"
if [ -s test.properties ]
then
 cat test.properties
 echo "[INFO] 检查完成..."
else
 echo "[WARN] test.properties为空"
fi

echo "[INFO] 构建完成..."

构建成功，输出正常

查看构建历史

同时显示构建稳定性

pipeline job

pipeline job简介

所有代码包裹在pipeline{}内
stages{}用来包含pipeline所有子层
stage(管道名称){}每个子层可以执行一个任务，并不互相影响
steps{}用来添加具体需要调用的模块语句

新建pipeline任务

编写pipeline 脚本

#!groovy

pipeline {
 // agent 定义pipeline在何处运行，使用any、none或者Jenkins node主机名
	agent {node {label 'master'}}
	// 声明环境变量，environment 定义系统环境变量，可以应用于所有stages
	// 定义局部环境变量则于steps平级即可
	environment {
		PATH="/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin"
	}

	parameters {
		// 声明可选参数
		choice(
				// 可选参数为两个，以空行分隔
				choices: 'dev\nprod',
				// 设置参数描述
				description: '选择发布环境',
				// 声明参数变量名
				name: 'deploy_env'
			)
		// 声明文本参数，和默认值
		string (name: 'version', defaultValue: '0.0.1',description: '构建版本号')
	}

	stages {
		// 执行一个任务
		stage("切换到测试版本仓库") {
			// 添加具体需要调用的模块语句
			steps {
				// 关闭Git ssl安全认证
				sh 'git config --system http.sslVerify false'
				// 指定工作空间
				dir ("${env.WORKSPACE}") {
					// 指定分支和Jenkins凭据ID
					git branch: 'master',
						credentialsId: '52f4c34f-544c-4830-828d-6691d603b8e4',
						url: 'http://home.fjy8018.top:8099/jenkins/test-repo.git'
				}
			}
		}
		stage("打印环境变量") {
			steps {
				dir ("${env.WORKSPACE}") {
					sh """
						echo "[INFO] 打印环境变量"
						echo "[INFO] 当前发布环境为 $deploy_env" >> test.properties
						echo "[INFO] 构建版本为 $version " >> test.properties
						echo "[INFO] 打印环境变量完成..."
					"""
				}
			}
		}
		stage("检查test.properties") {
			steps {
				dir ("${env.WORKSPACE}") {
					sh """
						echo "[INFO] 检查test.properties"
						if [ -s test.properties ]
						then
						 cat test.properties
						 echo "[INFO] 检查完成..."
						else
						 echo "[WARN] test.properties为空"
						fi
					"""
					echo "[INFO] 构建完成..."
				}
			}
		}
	}
}

其中credentialsId来自用户的凭据唯一标识，可在凭据页面查看

写入Shell脚本

执行报错，error: could not lock config file /etc/gitconfig: ????

由于使用root用户执行同样命令不会报错，故猜测没有权限，修改语法为git config --global http.sslVerify false即可重新构建

日志符合预期

freestyle shell Job

新建任务

写入shell脚本如下

#!/bin/bash

user=`whoami`

if [ $user == 'deploy' ]; then
	echo "成功，当前用户为 $user"
else
	echo "失败，当前用户不是 $user"
fi
# 查看主机ip
ip addr
# 查看系统版本
cat /etc/system-release
# 查看内存状态
free -m
# 查看磁盘状态
df -h
# 将python安装位置赋值给变量
py_cmd=`which python`
# 查看python版本号
$py_cmd --version

运行并查看日志，符合预期

参数任务

新建参数化构建任务

添加选项参数等

添加shell构建参数

构建

输出符合预期

Jenkins 安装配置

Sun, 26 Aug 2018 11:32:00 +0800

使用Docker安装

基础环境

docker环境查看docker版本

[root@localhost ~]# docker -v
Docker version 18.06.0-ce, build 0ffa825

新建用户目录，用户挂载容器存储

useradd jenkins-docker

运行docker命令

docker run -p 8081:8080 -p 50001:50000 -v /home/jenkins-docker:/var/jenkins_home hub.c.163.com/library/jenkins:latest

命令中没有使用后台启动为了查看输出的管理员密码

访问web界面，输入密码即可

使用原生系统安装

基础环境

CentOS7 1804最小安装

安装基础wget工具yum install -y wget

导入仓库源

wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins.io/redhat-stable/jenkins.repo

下载并导入仓库的key，用于验证仓库安全性

rpm --import http://pkg.jenkins.io/redhat-stable/jenkins.io.key

安装java8

yum -y install java

验证java版本

[root@localhost ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

关闭防火墙

[root@localhost ~]# systemctl stop firewalld

关闭防火墙开机启动

[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

关闭强制访问控制安全策略

vi /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=enforcing
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

SELINUX=enforcing

改成

SELINUX=disabled

reboot使禁用操作生效

查看操作是否生效

[root@localhost ~]# getenforce
Disabled

安装jenkins

直接安装

yum -y install jenkins

安装后会自动添加jenkins，此时可以自定义发布用户

[root@localhost ~]# useradd jenkins
useradd：用户“jenkins”已存在
[root@localhost ~]# useradd deploy

配置

编辑配置文件

[root@localhost ~]# vi /etc/sysconfig/jenkins

将用户改为新建的用户JENKINS_USER="deploy"，端口号默认为8080

修改log目录和权限

[root@localhost ~]# chown -R deploy:deploy /var/lib/jenkins
[root@localhost ~]# chown -R deploy:deploy /var/log/jenkins
[root@localhost ~]# chown -R deploy:deploy /var/cache/jenkins

启动jenkins

[root@localhost ~]# systemctl start jenkins

查看服务是否启动

[root@localhost ~]# ps -ef | grep jenkins
root 1445 1311 0 19:06 pts/0 00:00:00 grep --color=auto jenkins

或者使用lsof（需要额外安装）

[root@localhost jenkins]# lsof -i:8080
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 1683 deploy 161u IPv6 24353 0t0 TCP *:webcache (LISTEN)

访问web界面

地址为ip:8080

去提示的目录下查找密码

安装推荐配置插件

新建管理员用户

安装成功