服务器 on F嘉阳

Kubesphere落地DevOps

Sat, 19 Jun 2021 22:16:00 +0800

创建企业空间

创建一个企业空间和一个帐户 (project-admin)，必须邀请该帐户至该企业空间并赋予 workspace-self-provisioner 角色。

进入企业空间，切换到DevOps工程，点击创建

创建工程

安装helm

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

找不到环境变量报错

安装helm遇到报错

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash
 % Total % Received % Xferd Average Speed Time Time Time Current
unset -f pathmunge
 Dload Upload Total Spent Left Speed
100 11248 100 11248 0 0 61543 0 --:--:-- --:--:-- --:--:-- 61802
Helm v3.6.0 is available. Changing from version v3.2.1.
Downloading https://get.helm.sh/helm-v3.6.0-linux-amd64.tar.gz
Verifying checksum... Done.
Preparing to install helm into /usr/local/bin
helm installed into /usr/local/bin/helm
helm not found. Is /usr/local/bin on your $PATH?
Failed to install helm
 For support, go to https://github.com/helm/helm.

则需要配置环境变量

$ vi /etc/profile
# 添加配置
export PATH=/usr/local/bin:$PATH

$ source /etc/profile

验证

$ helm version
version.BuildInfo{Version:"v3.6.0", GitCommit:"7f2df6467771a75f5646b7f12afb408590ed1755", GitTreeState:"clean", GoVersion:"go1.16.3"}

安装SonarQube

执行以下命令安装 SonarQube 服务器

$ helm upgrade --install sonarqube sonarqube --repo https://charts.kubesphere.io/main -n kubesphere-devops-system --create-namespace --set service.type=NodePort

输出

执行以下命令以获取 SonarQube NodePort

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services sonarqube-sonarqube)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT

输出

此时可在kubesphere控制台中看到sonar服务

配置 SonarQube 服务器

访问地址，点击右上角的 Log in，然后使用默认帐户 admin/admin 登录。

创建 SonarQube 管理员令牌 (Token)

点击右上角字母 A，然后从菜单中选择 My Account 以转到 Profile 页面。

生成token

创建 Webhook 服务器

执行以下命令获取 SonarQube Webhook 的地址。

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services ks-jenkins)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT/sonarqube-webhook/

输出

依次点击 Administration、Configuration 和 Webhooks 创建一个 Webhook。

点击 Create

由于webhook都通过内部网络调用，故可以使用内部网络地址

将 SonarQube 配置添加到 ks-installer

执行以下命令编辑 ks-installer

$ kubectl edit cc -n kubesphere-system ks-installer

搜寻至 devops。添加字段 sonarqube 并在其下方指定 externalSonarUrl 和 externalSonarToken。

 devops:
 enabled: true
 jenkinsJavaOpts_MaxRAM: 2g
 jenkinsJavaOpts_Xms: 512m
 jenkinsJavaOpts_Xmx: 512m
 jenkinsMemoryLim: 2Gi
 jenkinsMemoryReq: 1500Mi
 jenkinsVolumeSize: 8Gi
 sonarqube:
 externalSonarUrl: http://10.170.0.5:32108
 externalSonarToken: c6a6e2e15a9d52e30b744df0eef4c639bbea88a1

完成操作后保存此文件。

将 SonarQube 服务器添加至 Jenkins

执行以下命令获取 Jenkins 的地址。

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services ks-jenkins)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT

输出

使用地址 http://{$Public IP}:30180 访问 Jenkins。安装 KubeSphere 时，默认情况下也会安装 Jenkins 仪表板。此外，Jenkins 还配置有 KubeSphere LDAP，这意味着您可以直接使用 KubeSphere 帐户（例如 admin/P@88w0rd）登录 Jenkins。

使用kubesphere admin账户登录

前往系统管理下的 Manage Credentials 并点击 Stores scoped to Jenkins 下的 Jenkins，再点击全局凭据 (unrestricted)

点击左侧导航栏的添加凭据，用 SonarQube 管理员令牌添加凭证

点击左侧的系统管理，向下翻页找到并点击系统配置。

搜寻到 SonarQube servers，然后点击 Add SonarQube。

添加sonar服务器地址和名称，点击应用完成操作。

将 sonarqubeURL 添加到 KubeSphere 控制台

指定 sonarqubeURL，以便可以直接从 KubeSphere 控制台访问 SonarQube。

执行以下命令：

$ kubectl edit cm -n kubesphere-system ks-console-config

搜寻到 client，添加 devops 字段并指定 sonarqubeURL。

 client:
 version:
 kubesphere: v3.1.0
 kubernetes: v1.20.4
 openpitrix: v0.3.5
 enableKubeConfig: true
 devops:
 sonarqubeURL: http://34.92.90.181:32108

结果

重启服务

执行以下命令。

$ kubectl -n kubesphere-system rollout restart deploy ks-apiserver
$ kubectl -n kubesphere-system rollout restart deploy ks-console

为新工程创建 SonarQube Token

创建一个 SonarQube 令牌，以便您的流水线可以在运行时与 SonarQube 通信。

在 SonarQube 控制台上，点击 Create new project。

设置工程名称

生成token

创建令牌后，点击 Continue。

分别选择 Java 和 Maven。复制下图所示绿色框中的序列号，如果要在流水线中使用，则需要在凭证中添加此序列号。

创建流水线工程

创建凭证

凭证 ID	类型	用途
dockerhub-id	帐户凭证	Docker Hub
demo-kubeconfig	kubeconfig	Kubernetes

demo-kubeconfig

dockerhub-id

创建一个凭证 ID (sonar-token)

列表中看到已创建的三个凭证。

创建流水线

在流水线页面点击创建，为了使用图形化流水线搭建，不在此处引用代码仓库，直接点击下一步

保持默认配置，点击创建

创建成功

进入流水线，点击编辑

此时选择CICD模板

可视化编辑流水线

编辑后运行

流水线支持交互式操作

在 KubeSphere 控制台查看结果

流水线执行成功后，即可查看到代码质量标签

sonar控制台也可以查看对应结果

jenkins视图

blue ocean

Kubesphere安装——以GCP为例

Sat, 19 Jun 2021 22:15:00 +0800

平台准备

创建工作空间

启用计算引擎API

准备虚拟机

作为演示环境，此处使用Google Cloud Platform创建3台虚拟机，配置如下

CPU	内存	磁盘
4	16G	40G
4	16G	40G
4	16G	40G

创建实例模板

创建需要的实例模板

配置操作系统、资源等，注意放行防火墙

创建实例

基于实例模板创建3台虚拟机，选择地区为香港

此处用于演示用途，可选择无状态机器，机器删除后不会保留磁盘内容

注意关闭自动扩缩容

等待实例创建

由于资源调度问题，最终只成功分配两台虚拟机，不过对于演示环境安装过程一样。

配置连接秘钥

添加本地生成好的rsa秘钥即可

本地SSH工具配置私钥即可连接

前置环境准备

kubesphere建议前置项

节点要求

所有节点必须都能通过 SSH 访问。

所有节点时间同步。

所有节点都应使用 sudo/curl/openssl。

依赖项要求
KubeKey 可以一同安装 Kubernetes 和 KubeSphere。根据要安装的 Kubernetes 版本，需要安装的依赖项可能会不同。您可以参考下表，查看是否需要提前在节点上安装相关依赖项。

依赖项 Kubernetes 版本 ≥ 1.18 Kubernetes 版本 < 1.18

socat 必须可选，但建议安装

conntrack 必须可选，但建议安装

ebtables 可选，但建议安装可选，但建议安装

ipset 可选，但建议安装可选，但建议安装

依赖项	Kubernetes 版本 ≥ 1.18	Kubernetes 版本 < 1.18
`socat`	必须	可选，但建议安装
`conntrack`	必须	可选，但建议安装
`ebtables`	可选，但建议安装	可选，但建议安装
`ipset`	可选，但建议安装	可选，但建议安装

以下内容所有节点都需要执行

$ yum install -y socat curl openssl conntrack ebtables ipset

主节点下载kubekey，由于使用google虚拟机，能正常访问google和github，故直接下载即可

$ curl -sfL https://get-kk.kubesphere.io | VERSION=v1.1.0 sh -
$ chmod +x kk

放行VPC防火墙

创建集群

服务器免密登陆

主节点生成免密登陆配置

$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:yxln4RFEXhsvIMcL0/EzF8CLUpo/hMlkM8KBDcNEjbU root@kubesphere-instance-group-1-bx5d
The key's randomart image is:
+---[RSA 2048]----+
| +=Oo..=Bo+.. |
| +.=.B++=.+ . |
| E= @+o*.o |
| B.+o.= |
| S++ |
| . *o |
| + . |
| |
| |
+----[SHA256]-----+

所有主机允许公钥免密登陆

$ vi /etc/ssh/sshd_config
# 将下面配置改为yes并去掉注释
PubkeyAuthentication yes
PermitRootLogin yes

$ service sshd restart

控制台添加主节点公钥，则所有新建主机都能被主节点访问

创建示例配置文件

$./kk create config --with-kubernetes v1.20.4 --with-kubesphere v3.1.0 -f gcp-config

按默认配置只安装控制台和基础服务

apiVersion: kubekey.kubesphere.io/v1alpha1
kind: Cluster
metadata:
 name: sample
spec:
 hosts:
 - {name: node1, address: 34.92.90.181, internalAddress: 10.170.0.5, privateKeyPath: "/root/.ssh/id_rsa"}
 - {name: node2, address: 35.220.138.230, internalAddress: 10.170.0.6, privateKeyPath: "/root/.ssh/id_rsa"}
 roleGroups:
 etcd:
 - node1
 master: 
 - node1
 worker:
 - node1
 - node2
 controlPlaneEndpoint:
 domain: lb.kubesphere.local
 address: ""
 port: 6443
 kubernetes:
 version: v1.20.4
 imageRepo: kubesphere
 clusterName: cluster.local
 network:
 plugin: calico
 kubePodsCIDR: 10.233.64.0/18
 kubeServiceCIDR: 10.233.0.0/18
 registry:
 registryMirrors: []
 insecureRegistries: []
 addons: []


---
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
 name: ks-installer
 namespace: kubesphere-system
 labels:
 version: v3.1.0
spec:
 persistence:
 storageClass: "" 
 authentication:
 jwtSecret: ""
 zone: ""
 local_registry: "" 
 etcd:
 monitoring: false 
 endpointIps: localhost 
 port: 2379 
 tlsEnable: true
 common:
 redis:
 enabled: false
 redisVolumSize: 2Gi 
 openldap:
 enabled: false
 openldapVolumeSize: 2Gi 
 minioVolumeSize: 20Gi
 monitoring:
 endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
 es: 
 elasticsearchMasterVolumeSize: 4Gi 
 elasticsearchDataVolumeSize: 20Gi 
 logMaxAge: 7 
 elkPrefix: logstash
 basicAuth:
 enabled: false
 username: ""
 password: ""
 externalElasticsearchUrl: ""
 externalElasticsearchPort: "" 
 console:
 enableMultiLogin: true 
 port: 30880
 alerting: 
 enabled: false
 # thanosruler:
 # replicas: 1
 # resources: {}
 auditing: 
 enabled: false
 devops: 
 enabled: false
 jenkinsMemoryLim: 2Gi 
 jenkinsMemoryReq: 1500Mi 
 jenkinsVolumeSize: 8Gi 
 jenkinsJavaOpts_Xms: 512m 
 jenkinsJavaOpts_Xmx: 512m
 jenkinsJavaOpts_MaxRAM: 2g
 events: 
 enabled: false
 ruler:
 enabled: true
 replicas: 2
 logging: 
 enabled: false
 logsidecar:
 enabled: true
 replicas: 2
 metrics_server: 
 enabled: false
 monitoring:
 storageClass: ""
 prometheusMemoryRequest: 400Mi 
 prometheusVolumeSize: 20Gi 
 multicluster:
 clusterRole: none 
 network:
 networkpolicy:
 enabled: false
 ippool:
 type: none
 topology:
 type: none
 notification: 
 enabled: false
 openpitrix:
 store:
 enabled: false
 servicemesh: 
 enabled: false 
 kubeedge:
 enabled: false
 cloudCore:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []
 cloudhubPort: "10000"
 cloudhubQuicPort: "10001"
 cloudhubHttpsPort: "10002"
 cloudstreamPort: "10003"
 tunnelPort: "10004"
 cloudHub:
 advertiseAddress: 
 - "" 
 nodeLimit: "100"
 service:
 cloudhubNodePort: "30000"
 cloudhubQuicNodePort: "30001"
 cloudhubHttpsNodePort: "30002"
 cloudstreamNodePort: "30003"
 tunnelNodePort: "30004"
 edgeWatcher:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []
 edgeWatcherAgent:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []

安装集群

此时，在虚拟机安装代理即可查看虚拟机监控

创建完成

访问成功

集群正常，不安装组件时内存占用率并不高

安装kubectl

$ yum install -y kubectl

安装可插拔组件

点击自定义资源 CRD，然后在搜索栏中输入 clusterconfiguration，点击搜索结果进入其详情页面。

按照自身需要启用可插拔组件，此处打开所有组件，即修改为如下配置

apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
 labels:
 version: v3.1.0
 name: ks-installer
 namespace: kubesphere-system
spec:
 alerting:
 enabled: true
 auditing:
 enabled: true
 authentication:
 jwtSecret: ''
 common:
 es:
 basicAuth:
 enabled: false
 password: ''
 username: ''
 elasticsearchDataVolumeSize: 20Gi
 elasticsearchMasterVolumeSize: 4Gi
 elkPrefix: logstash
 externalElasticsearchPort: ''
 externalElasticsearchUrl: ''
 logMaxAge: 7
 minioVolumeSize: 2Gi
 monitoring:
 endpoint: 'http://prometheus-operated.kubesphere-monitoring-system.svc:9090'
 openldap:
 enabled: true
 openldapVolumeSize: 2Gi
 redis:
 enabled: true
 redisVolumSize: 2Gi
 console:
 enableMultiLogin: true
 port: 30880
 devops:
 enabled: true
 jenkinsJavaOpts_MaxRAM: 2g
 jenkinsJavaOpts_Xms: 512m
 jenkinsJavaOpts_Xmx: 512m
 jenkinsMemoryLim: 2Gi
 jenkinsMemoryReq: 1500Mi
 jenkinsVolumeSize: 8Gi
 etcd:
 endpointIps: 10.170.0.5
 monitoring: true
 port: 2379
 tlsEnable: true
 events:
 enabled: true
 ruler:
 enabled: true
 replicas: 2
 kubeedge:
 cloudCore:
 cloudHub:
 advertiseAddress:
 - ''
 nodeLimit: '100'
 cloudhubHttpsPort: '10002'
 cloudhubPort: '10000'
 cloudhubQuicPort: '10001'
 cloudstreamPort: '10003'
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 service:
 cloudhubHttpsNodePort: '30002'
 cloudhubNodePort: '30000'
 cloudhubQuicNodePort: '30001'
 cloudstreamNodePort: '30003'
 tunnelNodePort: '30004'
 tolerations: []
 tunnelPort: '10004'
 edgeWatcher:
 edgeWatcherAgent:
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 tolerations: []
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 tolerations: []
 enabled: true
 logging:
 enabled: true
 logsidecar:
 enabled: true
 replicas: 2
 metrics_server:
 enabled: true
 monitoring:
 prometheusMemoryRequest: 400Mi
 prometheusVolumeSize: 5Gi
 storageClass: ''
 multicluster:
 clusterRole: none
 network:
 ippool:
 type: calico
 networkpolicy:
 enabled: true
 topology:
 type: weave-scope
 openpitrix:
 store:
 enabled: true
 persistence:
 storageClass: ''
 servicemesh:
 enabled: true

通过在线控制台，查看安装进度

执行以下命令

$ kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

安装组件过程中，对CPU负载较大

所有组件安装完成

资源占用情况

Kubesphere运维Kubernetes集群

Sun, 23 May 2021 22:58:00 +0800

背景

使用原生Kubernetes-dashboard和Grafana+Prometheus管理较大规模集群比较困难，有如下缺陷

每次执行命令都要登陆服务器
容器日志采集方案、监控方案搭建比较繁琐
添加节点不方便
管理存储插件、秘钥、配置不方便

解决方案

目前国内流行的k8s管理平台主要有rancher、kubesphere、kubeboard

rancher主打原生集群管理，侧重运维人员
kubesphere主打开发运维工作流，侧重研发人员
kubeboard与kubesphere类似，侧重微服务管理，但功能上较少，对多节点管理需要收费

经过评估，最终决定采用kubesphere进行集群管理

Rancher — 多云混合云多集群Kubernetes管理平台

[post url=“https://kubesphere.io/zh/” title=“Kubesphere” intro=“面向云原生应用的容器混合云” cover=“https://kubesphere.io/images/logo.svg” /]

Kuboard — 快速在 Kubernetes 上落地微服务

安装步骤

目标是面对小规模集群管理，节点数最多为5个，故不考虑高可用集群配置，采用单主节点+4个worker节点配置

采用纯净CentOS 7 Linux系统，需要做以下前置准备

依赖包安装

安装官方要求的依赖包，由于计划安装NFS存储插件，还需要安装nfs工具包

$ yum install -y socat conntrack ebtables ipset nfs-utils

配置DNS解析

将各节点DNS配置为私有DNS服务器

$ tee /etc/resolv.conf <<-'EOF'
# Generated by NetworkManager
nameserver 192.168.1.13
EOF

私有DNS搭建可以参考文章

[[利用Docker自建Dns服务器]]

按照官方教程安装多节点kubernetes

强烈建议先用KubeKey安装纯净k8s集群+控制面板，关闭所有插件。等安装完毕再一个个插件打开，防止因为内存不够而无法打开kubesphere

安装步骤参考官方文档一键安装方式

多节点安装 — Kubesphere

启动成功

启动成功后按照官方指南打开插件

启用可插拔组件 — Kubesphere

所有插件打开后如下

使用

节点状态

存储卷管理

监控告警

日志采集

日志查询

操作审计

工具箱

企业空间权限控制

内置helm应用商店，支持上线审批，在线编辑等

支持关联外部仓库

应用流量治理

链路追踪

灰度发布

费用统计

更多的使用场景包括：DevOps、边缘节点、多集群管理还在探索中

利用Docker自建DNS服务器

Sun, 09 May 2021 18:14:12 +0800

背景

当Linux集群中机器不断增多，集群内通过配置/hosts实现域名内网访问。

目标

相同域名在集群之外通过公有DNS访问外网地址
相同域名在集群内通过DNS解析访问内网地址

步骤

搭建DNS服务器

DNS服务器可以通过jpillora/dnsmasq容器实现

jpillora/dnsmasq — DockerHub

新增配置文件 dnsmasq.conf

# 完整配置文件参考以下地址
# http://oss.segetech.com/intra/srv/dnsmasq.conf
# 记录所有DNS查询请求
log-queries
# 不使用本地配置的域名解析器
no-resolv
# 不使用本地hosts
no-hosts
# 配置上游DNS服务器地址，用于解析国内域名
server=114.114.114.114
# 配置国际DNS服务器地址
server=8.8.8.8
strict-order
# 配置内网解析
address=/gitlab.fjy8018.top/192.168.1.11

配置docker-compose文件，DNS服务器默认通过53 udp端口解析，不建议修改53端口的外部地址

version: "3.5"

services:

 dnsmasq:
 image: jpillora/dnsmasq:1.1.0
 networks:
 - dns-net
 ports:
 - 53:53/udp
 - 5380:8080
 volumes:
 - ./dnsmasq.conf:/etc/dnsmasq.conf
 environment:
 - "HTTP_USER=admin"
 - "HTTP_PASS=admin"
 restart: always

networks:
 dns-net:

启动服务即可

后续需要修改DNS解析只需要访问5380的web UI界面即可动态调整

服务器指向新DNS服务器

将所有服务器/etc/resolv.conf文件指向新DNS服务器地址

$ tee /etc/resolv.conf <<-'EOF'
# Generated by NetworkManager
nameserver 192.168.1.13
EOF

补充

对于kubernetes集群，由于集群内使用了coredns和nodelocaldns缓存服务，还需要重启两个dns服务组件

$ kubectl -n kube-system rollout restart daemonset nodelocaldns
$ kubectl -n kube-system rollout restart deploy coredns

k8s监控平台搭建

Tue, 12 Nov 2019 21:33:00 +0800

架构

目前主流容器化监控平台采用Prometheus+Grafana架构，下图为Prometheus架构图，可以主动发现各种指标和采集数据，实现

监控每个节点基础指标
监控每个容器基础指标
监控k8s集群组件基础指标

基础环境

Kubernetes：v1.14.0

Docker：17.03.1-ce

机器数：$3 \times master + 2 \times worker$

部署

Helm

Helm作为k8s平台软件包管理工具，结合prometheus-operator可以类似插件的方式快速搭建监控体系，Helm旗下包含charts项目，为软件包仓库

Helm官方仓库：https://github.com/helm/helm

charts官方仓库：https://github.com/helm/charts

安装Helm

通过官方仓库查看目前最新版为v2.16.0，但由于仍有不稳定的情况，故不推荐该版本，原因可通过其issue查看

此处选择安装v2.15.2的版本，下载页面

解压并放到可执行目录下

$ tar -zxvf helm-v2.15.2-linux-amd64.tar.gz
$ mv linux-amd64/helm /usr/local/bin/

Tiller安装

Tiller 是以 Deployment 方式部署在 Kubernetes 集群中的，由于国内网络原因，需要配置为阿里云镜像

$ helm init --client-only --stable-repo-url https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts/
$ helm repo add incubator https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/
$ helm repo update

因为官方的镜像无法拉取，使用-i指定自己的镜像

$ helm init --service-account tiller --upgrade -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.15.2 --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

创建TLS认证服务端

$ helm init --service-account tiller --upgrade -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.15.2 --tiller-tls-cert /etc/kubernetes/ssl/tiller001.pem --tiller-tls-key /etc/kubernetes/ssl/tiller001-key.pem --tls-ca-cert /etc/kubernetes/ssl/ca.pem --tiller-namespace kube-system --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

Tiller授权

Tiller 需要访问ApiServer去对集群进行操作。目前的 Tiller 部署时默认没有定义授权的 ServiceAccount，这会导致访问 API Server 时被拒绝。所以我们需要明确为 Tiller 部署添加授权

创建ServiceAccount和创建角色绑定

$ kubectl create serviceaccount --namespace kube-system tiller
$ kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller

验证

查看Tiller的ServiceAccount，需要跟创建的名字一致：tiller

$ kubectl get deploy --namespace kube-system tiller-deploy -o yaml|grep serviceAccount
 serviceAccount: tiller
 serviceAccountName: tiller

验证pods

$ kubectl -n kube-system get pods|grep tiller
tiller-deploy-b6c45d5bc-jhntj 1/1 Running 0 2d8h

验证版本

$ helm version
Client: &version.Version{SemVer:"v2.15.2", GitCommit:"8dce272473e5f2a7bf58ce79bb5c3691db54c96b", GitTreeState:"clean"}
Server: &version.Version{SemVer:"v2.15.2", GitCommit:"8dce272473e5f2a7bf58ce79bb5c3691db54c96b", GitTreeState:"clean"}

Operator

可以自定义资源类型(CDR)结合自定义控制器实现

样例

apiVersion: app.example.com/v1
kind: AppService
metadata:
 name: nginx-app
spec:
 size: 2
 image: nginx:1.7.9
 ports:
 - port: 80
 targetPort: 80
 nodePort: 30002

Charts

charts项目下stable目录里存放所有软件包内容，由于其默认从多处镜像仓库中拉取镜像，可能存在网络问题，需结合实际情况修改镜像配置，手动安装软件包

推荐配置地址：

quay.io 替换为 quay.azk8s.cn
gcr.io/google-containers 替换为 registry.cn-hangzhou.aliyuncs.com/google-containers

本次需要安装的软件包为prometheus-operator，但其还包含多个依赖软件如下

grafana
kube-state-metrics
prometheus-node-exporter

若需要手动安装则需要按照整理目录如下

prometheus-operator/
├── charts
│   ├── grafana
│   ├── kube-state-metrics
│   └── prometheus-node-exporter
...

手动安装

Etcd监控配置

监控etcd需要额外配置，而且较为复杂，具体步骤如下

查看etcd在集群中的配置，由于本k8s集群基于kubeadm搭建，故etcd通过容器方式运行，查看方法

# 查看etcd所在pod名称
$ kubectl get pod --all-namespaces | grep etcd
kube-system etcd-k8smaster1 1/1 Running 0 7d1h
# 展开etcd详细配置
$ kubectl get pod -n kube-system etcd-k8smaster1 -o yaml

配置内容查看其健康检查端点，--listen-client-urls指明其监听在https端点，故需要配置安全证书才能访问

apiVersion: v1
kind: Pod
metadata:
 annotations:
 kubernetes.io/config.hash: 6119961323d801d05a7dd23e429cda3f
 kubernetes.io/config.mirror: 6119961323d801d05a7dd23e429cda3f
 kubernetes.io/config.seen: "2019-11-05T19:17:28.480984831+08:00"
 kubernetes.io/config.source: file
 creationTimestamp: "2019-11-05T11:18:53Z"
 labels:
 component: etcd
 tier: control-plane
 name: etcd-k8smaster1
 namespace: kube-system
 resourceVersion: "876368"
 selfLink: /api/v1/namespaces/kube-system/pods/etcd-k8smaster1
 uid: 0ccf5e91-ffbe-11e9-a5d2-000c298872e2
spec:
 containers:
 - command:
 - etcd
 - --advertise-client-urls=https://192.168.1.15:2379
 - --cert-file=/etc/kubernetes/pki/etcd/server.crt
 - --client-cert-auth=true
 - --data-dir=/var/lib/etcd
 - --initial-advertise-peer-urls=https://192.168.1.15:2380
 - --initial-cluster=k8smaster1=https://192.168.1.15:2380
 - --key-file=/etc/kubernetes/pki/etcd/server.key
 - --listen-client-urls=https://127.0.0.1:2379,https://192.168.1.15:2379
 - --listen-peer-urls=https://192.168.1.15:2380
 - --name=k8smaster1
 - --peer-cert-file=/etc/kubernetes/pki/etcd/peer.crt
 - --peer-client-cert-auth=true
 - --peer-key-file=/etc/kubernetes/pki/etcd/peer.key
 - --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
 - --snapshot-count=10000
 - --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.crt
 image: registry.cn-hangzhou.aliyuncs.com/imooc/etcd:3.3.10
 imagePullPolicy: IfNotPresent
 livenessProbe:
...
hostIP: 192.168.1.15
...

配置安全证书

k8s创建etcd时会自动创建相关证书，当前集群版本为1.14，证书位于/etc/kubernetes/pki/etcd/中

$ ls /etc/kubernetes/pki/etcd/
ca.crt ca.key healthcheck-client.crt healthcheck-client.key peer.crt peer.key server.crt server.key

可以通过curl命令加载证书测试能否访问健康检查端点

$ curl -k --cert /etc/kubernetes/pki/etcd/healthcheck-client.crt --key /etc/kubernetes/pki/etcd/healthcheck-client.key https://192.168.1.15:2379/metrics

若有如下输出则正常

# HELP etcd_debugging_mvcc_db_compaction_keys_total Total number of db keys compacted.
# TYPE etcd_debugging_mvcc_db_compaction_keys_total counter
etcd_debugging_mvcc_db_compaction_keys_total 1.030132e+06
# HELP etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds Bucketed histogram of db compaction pause duration.
# TYPE etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds histogram
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="1"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="2"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="4"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="8"} 0
...

创建证书秘钥

关联三个证书文件，创建k8s访问秘钥，秘钥名称为etcd-certs

$ kubectl create secret generic etcd-certs -n monitoring --from-file=/etc/kubernetes/pki/etcd/ca.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.key

写入prometheus配置文件values.yaml

注意，此处路径前缀固定写法为/etc/prometheus/secrets/+秘钥名称+文件名称，若写错证书路径则无法在指标中查看到对应的target

... 
 serviceMonitor:
 ## Scrape interval. If not set, the Prometheus default scrape interval is used.
 ##
 interval: ""
 scheme: https
 insecureSkipVerify: true
 serverName: ""
 caFile: /etc/prometheus/secrets/etcd-certs/ca.crt
 certFile: /etc/prometheus/secrets/etcd-certs/healthcheck-client.crt
 keyFile: /etc/prometheus/secrets/etcd-certs/healthcheck-client.key
...

创建

指定命名空间和文件目录，若命名空间不存在会自动创建

$ helm install /root/prometheus-operator/ --name k8s-prometheus --namespace monitoring

等待一段时间，输出如下则创建成功

NAME: k8s-prometheus
LAST DEPLOYED: Tue Nov 12 20:27:18 2019
NAMESPACE: monitoring
STATUS: DEPLOYED

RESOURCES:
==> v1/Alertmanager
NAME AGE
k8s-prometheus-prometheus-alertmanager 33s

==> v1/ClusterRole
NAME AGE
k8s-prometheus-grafana-clusterrole 34s
k8s-prometheus-prometheus-alertmanager 34s
k8s-prometheus-prometheus-operator 34s
k8s-prometheus-prometheus-operator-psp 34s
k8s-prometheus-prometheus-prometheus 34s
k8s-prometheus-prometheus-prometheus-psp 34s
psp-k8s-prometheus-kube-state-metrics 34s
psp-k8s-prometheus-prometheus-node-exporter 34s

==> v1/ClusterRoleBinding
NAME AGE
k8s-prometheus-grafana-clusterrolebinding 34s
k8s-prometheus-prometheus-alertmanager 34s
k8s-prometheus-prometheus-operator 34s
k8s-prometheus-prometheus-operator-psp 34s
k8s-prometheus-prometheus-prometheus 34s
k8s-prometheus-prometheus-prometheus-psp 34s
psp-k8s-prometheus-kube-state-metrics 34s
psp-k8s-prometheus-prometheus-node-exporter 34s

==> v1/ConfigMap
NAME DATA AGE
k8s-prometheus-grafana 1 34s
k8s-prometheus-grafana-config-dashboards 1 34s
k8s-prometheus-grafana-test 1 34s
k8s-prometheus-prometheus-apiserver 1 34s
k8s-prometheus-prometheus-cluster-total 1 34s
k8s-prometheus-prometheus-controller-manager 1 34s
k8s-prometheus-prometheus-etcd 1 34s
k8s-prometheus-prometheus-grafana-datasource 1 34s
k8s-prometheus-prometheus-k8s-coredns 1 34s
k8s-prometheus-prometheus-k8s-resources-cluster 1 34s
k8s-prometheus-prometheus-k8s-resources-namespace 1 34s
k8s-prometheus-prometheus-k8s-resources-node 1 34s
k8s-prometheus-prometheus-k8s-resources-pod 1 34s
k8s-prometheus-prometheus-k8s-resources-workload 1 34s
k8s-prometheus-prometheus-k8s-resources-workloads-namespace 1 34s
k8s-prometheus-prometheus-kubelet 1 34s
k8s-prometheus-prometheus-namespace-by-pod 1 34s
k8s-prometheus-prometheus-namespace-by-workload 1 34s
k8s-prometheus-prometheus-node-cluster-rsrc-use 1 34s
k8s-prometheus-prometheus-node-rsrc-use 1 34s
k8s-prometheus-prometheus-nodes 1 34s
k8s-prometheus-prometheus-persistentvolumesusage 1 34s
k8s-prometheus-prometheus-pod-total 1 34s
k8s-prometheus-prometheus-pods 1 34s
k8s-prometheus-prometheus-prometheus 1 34s
k8s-prometheus-prometheus-proxy 1 34s
k8s-prometheus-prometheus-scheduler 1 34s
k8s-prometheus-prometheus-statefulset 1 34s
k8s-prometheus-prometheus-workload-total 1 34s

==> v1/DaemonSet
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
k8s-prometheus-prometheus-node-exporter 5 5 5 5 5 <none> 33s

==> v1/Deployment
NAME READY UP-TO-DATE AVAILABLE AGE
k8s-prometheus-grafana 1/1 1 1 33s
k8s-prometheus-kube-state-metrics 1/1 1 1 33s
k8s-prometheus-prometheus-operator 1/1 1 1 33s

==> v1/Pod(related)
NAME READY STATUS RESTARTS AGE
k8s-prometheus-grafana-769d6dfb69-mtbdg 2/2 Running 0 33s
k8s-prometheus-kube-state-metrics-76b8ff78cd-kjxvl 1/1 Running 0 33s
k8s-prometheus-prometheus-node-exporter-jqkvf 1/1 Running 0 33s
k8s-prometheus-prometheus-node-exporter-jxpzm 1/1 Running 0 33s
k8s-prometheus-prometheus-node-exporter-k8n6x 1/1 Running 0 33s
k8s-prometheus-prometheus-node-exporter-kpjzk 1/1 Running 0 33s
k8s-prometheus-prometheus-node-exporter-qc6kv 1/1 Running 0 33s
k8s-prometheus-prometheus-operator-5f894bc75d-kvkvs 2/2 Running 0 33s

==> v1/Prometheus
NAME AGE
k8s-prometheus-prometheus-prometheus 33s

==> v1/PrometheusRule
NAME AGE
k8s-prometheus-prometheus-alertmanager.rules 32s
k8s-prometheus-prometheus-etcd 32s
k8s-prometheus-prometheus-general.rules 32s
k8s-prometheus-prometheus-k8s.rules 32s
k8s-prometheus-prometheus-kube-apiserver.rules 32s
k8s-prometheus-prometheus-kube-prometheus-node-recording.rules 32s
k8s-prometheus-prometheus-kube-scheduler.rules 32s
k8s-prometheus-prometheus-kubernetes-absent 32s
k8s-prometheus-prometheus-kubernetes-apps 32s
k8s-prometheus-prometheus-kubernetes-resources 32s
k8s-prometheus-prometheus-kubernetes-storage 32s
k8s-prometheus-prometheus-kubernetes-system 32s
k8s-prometheus-prometheus-kubernetes-system-apiserver 32s
k8s-prometheus-prometheus-kubernetes-system-controller-manager 32s
k8s-prometheus-prometheus-kubernetes-system-kubelet 32s
k8s-prometheus-prometheus-kubernetes-system-scheduler 32s
k8s-prometheus-prometheus-node-exporter 32s
k8s-prometheus-prometheus-node-exporter.rules 32s
k8s-prometheus-prometheus-node-network 32s
k8s-prometheus-prometheus-node-time 32s
k8s-prometheus-prometheus-node.rules 32s
k8s-prometheus-prometheus-prometheus 32s
k8s-prometheus-prometheus-prometheus-operator 32s

==> v1/Role
NAME AGE
k8s-prometheus-grafana-test 34s

==> v1/RoleBinding
NAME AGE
k8s-prometheus-grafana-test 34s

==> v1/Secret
NAME TYPE DATA AGE
alertmanager-k8s-prometheus-prometheus-alertmanager Opaque 1 34s
k8s-prometheus-grafana Opaque 3 34s

==> v1/Service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
k8s-prometheus-grafana ClusterIP 10.100.203.67 <none> 80/TCP 33s
k8s-prometheus-kube-state-metrics ClusterIP 10.98.35.173 <none> 8080/TCP 33s
k8s-prometheus-prometheus-alertmanager ClusterIP 10.97.189.252 <none> 9093/TCP 33s
k8s-prometheus-prometheus-coredns ClusterIP None <none> 9153/TCP 34s
k8s-prometheus-prometheus-kube-controller-manager ClusterIP None <none> 10252/TCP 34s
k8s-prometheus-prometheus-kube-etcd ClusterIP None <none> 2379/TCP 34s
k8s-prometheus-prometheus-kube-proxy ClusterIP None <none> 10249/TCP 34s
k8s-prometheus-prometheus-kube-scheduler ClusterIP None <none> 10251/TCP 34s
k8s-prometheus-prometheus-node-exporter ClusterIP 10.100.146.95 <none> 9100/TCP 33s
k8s-prometheus-prometheus-operator ClusterIP 10.105.23.58 <none> 8080/TCP,443/TCP 33s
k8s-prometheus-prometheus-prometheus ClusterIP 10.99.7.136 <none> 9090/TCP 34s

==> v1/ServiceAccount
NAME SECRETS AGE
k8s-prometheus-grafana 1 34s
k8s-prometheus-grafana-test 1 34s
k8s-prometheus-kube-state-metrics 1 34s
k8s-prometheus-prometheus-alertmanager 1 34s
k8s-prometheus-prometheus-node-exporter 1 34s
k8s-prometheus-prometheus-operator 1 34s
k8s-prometheus-prometheus-prometheus 1 34s

==> v1/ServiceMonitor
NAME AGE
k8s-prometheus-prometheus-alertmanager 32s
k8s-prometheus-prometheus-apiserver 32s
k8s-prometheus-prometheus-coredns 32s
k8s-prometheus-prometheus-grafana 32s
k8s-prometheus-prometheus-kube-controller-manager 32s
k8s-prometheus-prometheus-kube-etcd 32s
k8s-prometheus-prometheus-kube-proxy 32s
k8s-prometheus-prometheus-kube-scheduler 32s
k8s-prometheus-prometheus-kube-state-metrics 32s
k8s-prometheus-prometheus-kubelet 32s
k8s-prometheus-prometheus-node-exporter 32s
k8s-prometheus-prometheus-operator 32s
k8s-prometheus-prometheus-prometheus 32s

==> v1beta1/ClusterRole
NAME AGE
k8s-prometheus-kube-state-metrics 34s

==> v1beta1/ClusterRoleBinding
NAME AGE
k8s-prometheus-kube-state-metrics 34s

==> v1beta1/MutatingWebhookConfiguration
NAME AGE
k8s-prometheus-prometheus-admission 33s

==> v1beta1/PodSecurityPolicy
NAME PRIV CAPS SELINUX RUNASUSER FSGROUP SUPGROUP READONLYROOTFS VOLUMES
k8s-prometheus-grafana false RunAsAny RunAsAny RunAsAny RunAsAny false configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim
k8s-prometheus-grafana-test false RunAsAny RunAsAny RunAsAny RunAsAny false configMap,downwardAPI,emptyDir,projected,secret
k8s-prometheus-kube-state-metrics false RunAsAny MustRunAsNonRoot MustRunAs MustRunAs false secret
k8s-prometheus-prometheus-alertmanager false RunAsAny RunAsAny MustRunAs MustRunAs false configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim
k8s-prometheus-prometheus-node-exporter false RunAsAny RunAsAny MustRunAs MustRunAs false configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim,hostPath
k8s-prometheus-prometheus-operator false RunAsAny RunAsAny MustRunAs MustRunAs false configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim
k8s-prometheus-prometheus-prometheus false RunAsAny RunAsAny MustRunAs MustRunAs false configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim

==> v1beta1/Role
NAME AGE
k8s-prometheus-grafana 34s

==> v1beta1/RoleBinding
NAME AGE
k8s-prometheus-grafana 34s

==> v1beta1/ValidatingWebhookConfiguration
NAME AGE
k8s-prometheus-prometheus-admission 32s


NOTES:
The Prometheus Operator has been installed. Check its status by running:
 kubectl --namespace monitoring get pods -l "release=k8s-prometheus"

Visit https://github.com/coreos/prometheus-operator for instructions on how
to create & configure Alertmanager and Prometheus instances using the Operator.

升级软件包

一般用于修改yaml配置文件重载应用

$ helm upgrade k8s-prometheus /root/prometheus-operator/ -f /root/prometheus-operator/charts/grafana/values.yaml

删除

使用Helm的优势在于安装软件包和删除都非常方便，通过命令即可快速删除

普通删除，会放入回收站

$ helm delete k8s-prometheus

强制删除，不会放入回收站

$ helm delete k8s-prometheus --purge

对于当前监控组件来说，删除后同时要删除CRD

$ kubectl get crd | grep coreos

删除所有的CRD

$ kubectl delete crd $(kubectl get crd | grep coreos | awk '{print $1}')

访问指标面板

由于当前集群配置了ingress-nginx负载均衡，故新增两个配置文件即可访问Prometheus和Grafana

访问Grafana

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
 name: prom-grafana
 namespace: monitoring
spec:
 rules:
 - host: your.domain
 http:
 paths:
 - backend:
 serviceName: k8s-prometheus-grafana
 servicePort: 80
 path: /

访问Prometheus

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
 name: prometheus
 namespace: monitoring
spec:
 rules:
 - host: your.domain
 http:
 paths:
 - backend:
 serviceName: k8s-prometheus-prometheus-prometheus
 servicePort: web
 path: /

Prometheus

访问Prometheus web站点，首页支持执行PromeQL查询采集指标信息

访问target可见所有指标采集器都处于正常状态

访问监控与告警可查看所有告警规则

Grafana

首次访问会要求登陆

查看用户名和密码

在grafana软件包的values.yaml配置中有如下描述，声明密码被存储在k8s的secret中

# Administrator credentials when not using an existing secret (see below)
adminUser: admin
# adminPassword: strongpassword

# Use an existing secret for the admin user.
admin:
 existingSecret: ""
 userKey: admin-user
 passwordKey: admin-password

查看监控命名空间的秘钥

$ kubectl get secrets -n monitoring
NAME TYPE DATA AGE
alertmanager-k8s-prometheus-prometheus-alertmanager Opaque 1 34m
default-token-hrhgk kubernetes.io/service-account-token 3 2d10h
etcd-certs Opaque 3 2d8h
k8s-prometheus-grafana Opaque 3 34m
k8s-prometheus-grafana-test-token-nnnvk kubernetes.io/service-account-token 3 34m
k8s-prometheus-grafana-token-cdw2n kubernetes.io/service-account-token 3 34m
k8s-prometheus-kube-state-metrics-token-6rxp4 kubernetes.io/service-account-token 3 34m
k8s-prometheus-prometheus-admission Opaque 3 2d10h
k8s-prometheus-prometheus-alertmanager-token-hxqm9 kubernetes.io/service-account-token 3 34m
k8s-prometheus-prometheus-node-exporter-token-vjrcs kubernetes.io/service-account-token 3 34m
k8s-prometheus-prometheus-operator-token-bkhrb kubernetes.io/service-account-token 3 34m
k8s-prometheus-prometheus-prometheus-token-wf2v6 kubernetes.io/service-account-token 3 34m
prometheus-k8s-prometheus-prometheus-prometheus Opaque 1 37m
prometheus-k8s-prometheus-prometheus-prometheus-tls-assets Opaque 0 34m

k8s-prometheus-grafana 即目标秘钥，展示其详情

$ kubectl get secrets -n monitoring k8s-prometheus-grafana -o yaml
apiVersion: v1
data:
 admin-password: b3BlcmF0b3ItYWRtaW4=
 admin-user: cm9vdA==
 ldap-toml: ""
kind: Secret
metadata:
 creationTimestamp: "2019-11-12T12:27:55Z"
 labels:
 app: grafana
 chart: grafana-4.0.2
 heritage: Tiller
 release: k8s-prometheus
 name: k8s-prometheus-grafana
 namespace: monitoring
 resourceVersion: "1033230"
 selfLink: /api/v1/namespaces/monitoring/secrets/k8s-prometheus-grafana
 uid: da7e86d0-0547-11ea-a5d2-000c298872e2
type: Opaque

秘钥默认通过Base64 加密，通过在线网站对该Base64解密即可得到用户名和密码

登录后可查看Grafana已经被配置好的多种可视化面板提供指标展示

点击左上角即可查看已经配置好的指标展示面板

Etcd监控面板

节点监控

计算资源监控

Kubernetes 集群搭建

Sun, 20 Oct 2019 12:31:00 +0800

搭建方法分类

如果是搭建Kubernetes的学习环境，则可以直接使用minikube快速搭建单节点的Kubernetes环境，官方推荐使用kubeadm搭建Kubernetes集群生产环境

但kubeadm需要连接谷歌容器仓库获取镜像，在网络受限的情况下无法搭建成功，故有两种搭建方法：

服务器使用代理，代理所有的http和https连接，可以自由访问任意地址
使用阿里云镜像地址

本次采用第二种方式进行搭建

环境准备

本次宿主机为CentOS 7，结合3台virtual box虚拟机模拟集群环境，虚拟机使用Vagrant进行管理，vagrant安装比较简单，此处不再赘述

宿主机配置：

CPU：4C
RAM：8G

虚拟机配置

由于网络受限，vagrant默认拉取的操作系统文件地址不可访问，需要自行从官方下载镜像或者使用代理下载镜像，此处对此操作也不再赘述

三台虚拟机配置文件

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.require_version ">= 1.6.0"

boxes = [
 {
 :name => "k8s-master",
 :eth1 => "192.168.205.120",
 :mem => "2048",
 :cpu => "2"
 },
 {
 :name => "k8s-node1",
 :eth1 => "192.168.205.121",
 :mem => "2048",
 :cpu => "1"
 },
 {
 :name => "k8s-node2",
 :eth1 => "192.168.205.122",
 :mem => "2048",
 :cpu => "1"
 }

]

Vagrant.configure(2) do |config|

 config.vm.box = "centos/7"
 boxes.each do |opts|
 config.vm.define opts[:name] do |config|
 config.vm.hostname = opts[:name]
 config.vm.provider "vmware_fusion" do |v|
 v.vmx["memsize"] = opts[:mem]
 v.vmx["numvcpus"] = opts[:cpu]
 end
 config.vm.provider "virtualbox" do |v|
 v.customize ["modifyvm", :id, "--memory", opts[:mem]]
 v.customize ["modifyvm", :id, "--cpus", opts[:cpu]]
 end
 config.vm.network :private_network, ip: opts[:eth1]
 end
 end
 config.vm.provision "shell", privileged: true, path: "./setup.sh"
end

所有虚拟机启动后都会执行./setup.sh脚本配置基础环境，脚本内容如下

#/bin/sh

sudo yum install -y vim telnet bind-utils wget yum-utils

sudo yum-config-manager \
 --add-repo \
 https://download.docker.com/linux/centos/docker-ce.repo
sudo yum -y install docker-ce-18.09.8 docker-ce-cli-18.09.8 containerd.io

if [ ! $(getent group docker) ];
then 
 sudo groupadd docker;
else
 echo "docker user group already exists"
fi

sudo gpasswd -a $USER docker
sudo systemctl restart docker

# open password auth for backup if ssh key doesn't work, bydefault, username=vagrant password=vagrant
sudo sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config
sudo systemctl restart sshd

sudomkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
sudowget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
sudowget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo

yum clean all && yum makecache

sudo bash -c 'cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF'

sudo wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
 "registry-mirrors": ["https://clayphwh.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

sudo setenforce 0

sudo yum install -y kubelet kubeadm kubectl

sudo bash -c 'cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward=1
EOF'
sudo sysctl --system

sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo swapoff -a

sudo systemctl enable docker.service
sudo systemctl enable kubelet.service

脚本内已将K8S镜像均配置为阿里云镜像仓库，并配置了阿里云容器加速服务地址，更便于在国内拉取镜像

启动虚拟机

使用命令启动虚拟机

$ vagrant up

启动需要较长时间，若出现大量超时也请耐心等待

Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.163.com
 * updates: mirrors.163.com
http://vault.centos.org/7.1.1503/os/x86_64/repodata/0e6e90965f55146ba5025ea450f822d1bb0267d0299ef64dd4365825e6bad995-c7-x86_64-comps.xml.gz: [Errno 12] Timeout on http://vault.centos.org/7.1.1503/os/x86_64/repodata/0e6e90965f55146ba5025ea450f822d1bb0267d0299ef64dd4365825e6bad995-c7-x86_64-comps.xml.gz: (28, 'Operation too slow. Less than 1000 bytes/sec transferred the last 30 seconds')
Trying other mirror.
http://vault.centos.org/7.1.1503/updates/x86_64/repodata/93b71f445d2ec2138d28152612f4fb29c8e76ee31f2666b964d88249b4e0a955-primary.sqlite.bz2: [Errno 12] Timeout on http://vault.centos.org/7.1.1503/updates/x86_64/repodata/93b71f445d2ec2138d28152612f4fb29c8e76ee31f2666b964d88249b4e0a955-primary.sqlite.bz2: (28, 'Operation too slow. Less than 1000 bytes/sec transferred the last 30 seconds')
Trying other mirror.
http://vault.centos.org/7.2.1511/os/x86_64/repodata/c6411f1cc8a000ed2b651b49134631d279abba1ec1f78e5dcca79a52d8c1eada-primary.sqlite.bz2: [Errno 12] Timeout on http://vault.centos.org/7.2.1511/os/x86_64/repodata/c6411f1cc8a000ed2b651b49134631d279abba1ec1f78e5dcca79a52d8c1eada-primary.sqlite.bz2: (28, 'Operation too slow. Less than 1000 bytes/sec transferred the last 30 seconds')
Trying other mirror.
...

启动完成后通过命令查看虚拟机状态

$ vagrant status
Current machine states:

k8s-master running (virtualbox)
k8s-node1 running (virtualbox)
k8s-node2 running (virtualbox)

This environment represents multiple VMs. The VMs are all listed
above with their current state. For more information about a specific
VM, run `vagrant status NAME`.

K8S master节点初始化

进入主节点，查看环境是否已经配置完成

$ vagrant ssh k8s-master

执行以下三条语句查看是否有预期输出

[vagrant@k8s-master ~]$ sudo which kubeadm
/bin/kubeadm
[vagrant@k8s-master ~]$ sudo which kubelet
/bin/kubelet
[vagrant@k8s-master ~]$ sudo which kubectl
/bin/kubectl
[vagrant@k8s-master ~]$ sudo docker version
Client:
 Version: 18.09.8
 API version: 1.39
 Go version: go1.10.8
 Git commit: 0dd43dd87f
 Built: Wed Jul 17 17:40:31 2019
 OS/Arch: linux/amd64
 Experimental: false

Server: Docker Engine - Community
 Engine:
 Version: 18.09.8
 API version: 1.39 (minimum version 1.12)
 Go version: go1.10.8
 Git commit: 0dd43dd
 Built: Wed Jul 17 17:10:42 2019
 OS/Arch: linux/amd64
 Experimental: false

使用初始化命令，并指定拉取镜像地址为阿里云地址，同时指定容器网络地址和注册中心广播地址

$ sudo kubeadm init --pod-network-cidr 172.100.0.0/16 --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address 192.168.205.120

输出如下即初始化完成

$ sudo kubeadm init --pod-network-cidr 172.100.0.0/16 --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address 192.168.205.120
W1020 01:31:27.560129 20473 version.go:101] could not fetch a `Kubernetes`version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
W1020 01:31:27.560713 20473 version.go:102] falling back to the local client version: v1.16.2
[init] Using `Kubernetes`version: v1.16.2
[preflight] Running pre-flight checks
 [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Pulling images required for setting up a `Kubernetes`cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [k8s-master `kubernetes`kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.205.120]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [k8s-master localhost] and IPs [192.168.205.120 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [k8s-master localhost] and IPs [192.168.205.120 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.
[apiclient] All control plane components are healthy after 59.511578 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.16" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node k8s-master as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node k8s-master as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: rod570.p67pymzbil4m6u8d
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your `Kubernetes`control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
 https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.205.120:6443 --token rod570.p67pymzbil4m6u8d \
 --discovery-token-ca-cert-hash sha256:8f4cb9d555c78d58befeb3cfa3f7537989aa599e53e4f1bae929d8cc7afd1476

kubectl 配置

拷贝kubectl配置

$ rm -rf ~/.kube
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

若不配置直接使用则报无法连接错误

[vagrant@k8s-master ~]$ kubectl get pod --all-namespaces
The connection to the server localhost:8080 was refused - did you specify the right host or port?

此时使用kubectl可查看k8s容器运行情况，输出如下则为初始化成功，启动由于未配置网络插件，故coredns一直处于Pending状态

[vagrant@k8s-master ~]$ kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-58cc8c89f4-c297b 0/1 Pending 0 81s
kube-system coredns-58cc8c89f4-spzhj 0/1 Pending 0 81s
kube-system etcd-k8s-master 1/1 Running 0 39s
kube-system kube-apiserver-k8s-master 1/1 Running 0 49s
kube-system kube-controller-manager-k8s-master 1/1 Running 0 40s
kube-system kube-proxy-xlb62 1/1 Running 0 81s
kube-system kube-scheduler-k8s-master 1/1 Running 0 51s

安装网络插件

网络插件有多个可选，可通过官网查看，此处选择安装flannel CNI网络插件

For flannel to work correctly, you must pass --pod-network-cidr=10.244.0.0/16 to kubeadm init.

Set /proc/sys/net/bridge/bridge-nf-call-iptables to 1 by running sysctl net.bridge.bridge-nf-call-iptables=1 to pass bridged IPv4 traffic to iptables’ chains. This is a requirement for some CNI plugins to work, for more information please see here.

Make sure that your firewall rules allow UDP ports 8285 and 8472 traffic for all hosts participating in the overlay network. see here .

Note that flannel works on amd64, arm, arm64, ppc64le and s390x under Linux. Windows (amd64) is claimed as supported in v0.11.0 but the usage is undocumented.
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
For more information about flannel, see the CoreOS flannel repository on GitHub .

相关的网络配置已在脚本中写入，此时直接执行yml脚本即可

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

再次查看容器运行情况，所有容器均已运行，则master节点配置完成

[vagrant@k8s-master ~]$ kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-58cc8c89f4-c297b 1/1 Running 0 5m17s
kube-system coredns-58cc8c89f4-spzhj 1/1 Running 0 5m17s
kube-system etcd-k8s-master 1/1 Running 0 4m35s
kube-system kube-apiserver-k8s-master 1/1 Running 0 4m45s
kube-system kube-controller-manager-k8s-master 1/1 Running 0 4m36s
kube-system kube-flannel-ds-amd64-6rchg 1/1 Running 0 3m50s
kube-system kube-proxy-xlb62 1/1 Running 0 5m17s
kube-system kube-scheduler-k8s-master 1/1 Running 0 4m47s

配置worker节点

以k8s-node1为例，执行master初始化时提供的脚本即可加入k8s集群，输出如下则加入成功

[vagrant@k8s-node1 ~]$ sudo kubeadm join 192.168.205.120:6443 --token 8ry5oo.y48ksgurn103zq4h \
> --discovery-token-ca-cert-hash sha256:ead07352591500c2cfe3321bf87d2e068790e16f2a7e0cc23541c864d24006d4
[preflight] Running pre-flight checks
 [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.16" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Activating the kubelet service
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

稍等片刻进入master节点查看容器运行情况，会发现多了几个网络容器，属于预期情况

[vagrant@k8s-master ~]$ kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-58cc8c89f4-c297b 1/1 Running 0 6m28s
kube-system coredns-58cc8c89f4-spzhj 1/1 Running 0 6m28s
kube-system etcd-k8s-master 1/1 Running 0 5m46s
kube-system kube-apiserver-k8s-master 1/1 Running 0 5m56s
kube-system kube-controller-manager-k8s-master 1/1 Running 0 5m47s
kube-system kube-flannel-ds-amd64-6fwg5 1/1 Running 0 49s
kube-system kube-flannel-ds-amd64-6rchg 1/1 Running 0 5m1s
kube-system kube-flannel-ds-amd64-z4plh 1/1 Running 0 43s
kube-system kube-proxy-cdcs4 1/1 Running 0 49s
kube-system kube-proxy-nlmbb 1/1 Running 0 43s
kube-system kube-proxy-xlb62 1/1 Running 0 6m28s
kube-system kube-scheduler-k8s-master 1/1 Running 0 5m58s

集群验证

在master节点中启动nginx容器测试集群情况

$ kubectl create deployment nginx --image=nginx

稍等片刻，输出如下则集群正常运行，k8s集群配置完成

[vagrant@k8s-master ~]$ kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
default nginx-86c57db685-2gkxm 1/1 Running 0 58s
kube-system coredns-58cc8c89f4-c297b 1/1 Running 0 7m46s
kube-system coredns-58cc8c89f4-spzhj 1/1 Running 0 7m46s
kube-system etcd-k8s-master 1/1 Running 0 7m4s
kube-system kube-apiserver-k8s-master 1/1 Running 0 7m14s
kube-system kube-controller-manager-k8s-master 1/1 Running 0 7m5s
kube-system kube-flannel-ds-amd64-6fwg5 1/1 Running 0 2m7s
kube-system kube-flannel-ds-amd64-6rchg 1/1 Running 0 6m19s
kube-system kube-flannel-ds-amd64-z4plh 1/1 Running 0 2m1s
kube-system kube-proxy-cdcs4 1/1 Running 0 2m7s
kube-system kube-proxy-nlmbb 1/1 Running 0 2m1s
kube-system kube-proxy-xlb62 1/1 Running 0 7m46s
kube-system kube-scheduler-k8s-master 1/1 Running 0 7m16s

Elasticsearch Docker高可用环境搭建

Tue, 10 Sep 2019 22:52:00 +0800

介绍

作为Elastic Stack 的核心，Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，本次主要用于存储业务数据和基于业务日志进行数据统计分析。

目标

本次目标是搭建个人项目所使用的小型es高可用环境，目前需要使用es的服务有些部署在美国的服务器，有些部署在国内的服务器，带宽延迟各不相同，为了保证应用连接es延迟最小，计划同时在美国和中国都部署节点，不同区域的应用连接不同的节点

基础环境

本次配置全局使用真实服务器，服务器配置如下

名称	CPU	内存	系统	Docker版本	磁盘大小	区域
es01	1	2G	CentOS 7	19.03.1	40 G	亚洲
es02	1	2G	CentOS 7	19.03.1	20G	美洲
es03	4	4G	CentOS 7	19.03.1	36G	美洲
es04	1	2G	CentOS 7	19.03.1	50G	亚洲

所有服务器部署的es版本均为：6.6.2

从表中可见内存和磁盘都不大，如果是公司项目配置肯定比这个好很多，但对于个人使用来说足够了，至于为什么是需要4台而不是3台在最后搭建完成后会进行分析

部署前准备

就算使用了Docker容器，elasticsearch仍然不像普通镜像那么简单启动，es对虚拟内存敏感，因此服务器必须是内核虚拟化KVM架构，不支持OpenVZ虚拟，参考官方说明

Production modeedit
The vm.max_map_count kernel setting needs to be set to at least 262144 for production use. Depending on your platform:
Linux

The vm.max_map_count setting should be set permanently in /etc/sysctl.conf:
$ grep vm.max_map_count /etc/sysctl.conf
vm.max_map_count=262144
To apply the setting on a live system type: sysctl -w vm.max_map_count=262144
macOS with Docker for Mac

The vm.max_map_count setting must be set within the xhyve virtual machine:
$ screen ~/Library/Containers/com.docker.docker/Data/vms/0/tty
Just press enter and configure the sysctl setting as you would for Linux:
sysctl -w vm.max_map_count=262144

按照指引设置内存参数

$ sudo sysctl -w vm.max_map_count=262144

前置知识

裂脑事件

Elasticsearch牺牲了一致性，以确保可用性和分区容错。其背后的原因是短期的不良行为比短期的不可用性问题少。换句话说，当群集中的Elasticsearch节点无法复制对数据的更改时，它们将继续为应用程序提供服务。当节点能够复制其数据时，它们将尝试聚合副本并实现最终的一致性。

Elasticsearch通过选举主节点来解决之前的问题，主节点负责数据库操作，例如创建新索引，在群集节点周围移动分片等等。主节点与其他节点主动协调其操作，确保数据可以由非主节点汇聚。

在某些情况下，先前的机制可能会失败，从而导致裂脑事件。当Elasticsearch集群分为两个区块时，若每个区块都有一个节点都认为它们是主节点，因为主节点将在数据上独立工作，数据一致性就会丢失。因此，节点将对相同的查询做出不同的响应。这将会是灾难性的事件，因为来自两个主节点的数据无法自动重新加入，并且需要相当多的手动工作来纠正这种情况。

节点部署

3个主节点节点均使用docker-compose命令部署，需要自行安装好相关环境

version: '2'
services:

 es01:
 image: docker.elastic.co/elasticsearch/elasticsearch:6.6.2
 container_name: es01
 environment:
 - cluster.name=docker-cluster
 - bootstrap.memory_lock=true
 - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
 - "discovery.zen.ping.unicast.hosts=es2.xxx.com,es3.xxx.com,es4.xxx.com"
 - "discovery.zen.minimum_master_nodes=2"
 - "network.publish_host=es1..xxx.com"
 - "node.name=es01-XXX"
 ulimits:
 memlock:
 soft: -1
 hard: -1
 volumes:
 - ./elasticsearch/data:/usr/share/elasticsearch/data
 ports:
 - 9200:9200
 - 9300:9300
 networks:
 - fjyesnet
 mem_limit: 1g

networks:
 fjyesnet:

其他节点配置均相同，修改服务发现域名配置即可，放行防火墙部分不再赘述，需要可以查看我以前发的文章

非主节点配置只需加入node.master=false配置即可

version: '2'
services:

 es01:
 image: docker.elastic.co/elasticsearch/elasticsearch:6.6.2
 container_name: es04
 environment:
 - cluster.name=docker-cluster
 - bootstrap.memory_lock=true
 - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
 - "discovery.zen.ping.unicast.hosts=es2.xxx.com,es3.xxx.com,es1.xxx.com"
 - "discovery.zen.minimum_master_nodes=2"
 - "network.publish_host=es4..xxx.com"
 - "node.name=es04-XXX"
 - "node.master=false"
 ulimits:
 memlock:
 soft: -1
 hard: -1
 volumes:
 - ./elasticsearch/data:/usr/share/elasticsearch/data
 ports:
 - 9200:9200
 - 9300:9300
 networks:
 - fjyesnet
 mem_limit: 1g

networks:
 fjyesnet:

参数解析

discovery.zen.ping.unicast.hosts配置广播地址，用于节点发现，此处配置的是指向其他节点IP的域名地址，该域名在任何节点均可以被访问
discovery.zen.minimum_master_nodes配置主节点最小数量，该参数十分重要，用于防止脑裂（split-brain）事件的发生。

原理：前面提到了脑裂事件发生的原因，而避免的方法就是保证至少3个节点可靠地工作，因为一个或两个节点不能形成多数投票，这也是为什么选择使用4个节点并将该值配置为2，确保分布式环境还可以随机宕机一个节点以保证不会出现脑裂问题，因此第4个节点最好配置为无法成为主节点的slave节点。而若仅配置为3个节点的高可用状态，其实是一种“伪高可用”，此时随机宕机一个节点将可能发生“脑裂”问题，2个节点的es环境无法进行主节点的选举，并且可能出现独立的分块。
network.publish_host用于提供其他节点服务发现的主机名，默认为本地主机名映射为IP的地址，但由于使用容器提供服务发现，并且不在同一个网段，故需要手工指定
mem_limit容器内存限制为1G

节点数量与配置的主节点数对应关系

`Master nodes`	`minimum_master_nodes`	备注
1	1
2	1	如果另一个节点宕机，集群将停止工作!
3	2
4	3
5	3
6	4

对可能产生疑问的解释

1.当前`docker-compose`已经更新到`3.7`了为什么还使用`2`这个老版本？

原因：最新文档地址，官方文档指出3.x版本已经不再支持mem_limit参数

Note: This replaces the older resource constraint options for non swarm mode in Compose files prior to version 3 (cpu_shares, cpu_quota, cpuset, mem_limit, memswap_limit, mem_swappiness), as described in Upgrading version 2.x to 3.x.

但对小内存机器以及数据量不会非常的大的环境，内存限制参数尤为重要，经过实测，空载或者小负载（1000 doc）以下的es节点内存占用大约为1.5G左右，故各环境限制为1G不会影响性能，不仅如此，es官方提供的部署文档使用的也是2.2版本

2.当前`Elasticsearch`已经更新到`7.3`了为什么还使用`6.6`这个老版本？

原因：7.x版本目前尚有许多外部服务不能兼容，例如graylog，并且Spring官方组件暂时也只能兼容到6.x的版本，所以综合考虑使用6.x的最新版6.6.2

graylog官方文档

Caution

Graylog 3.x does not work with Elasticsearch 7.x!

Spring官方文档

Compatibility Matrix

Spring Data Elasticsearch Elasticsearch

3.2.x (not yet released) 6.8.1

3.1.x 6.2.2

3.0.x 5.5.0

2.1.x 2.4.0

2.0.x 2.2.0

1.3.x 1.5.2

Spring Data Elasticsearch	Elasticsearch
3.2.x (not yet released)	6.8.1
3.1.x	6.2.2
3.0.x	5.5.0
2.1.x	2.4.0
2.0.x	2.2.0
1.3.x	1.5.2

3.一般高可用不是部署3个节点就足够了吗，为什么要4个节点？

原因：本次总共部署了3个主节点和一个非主节点，即4个都是数据节点，但只有3个参与选举。如果仅部署3个节点，那么3个都必须为主节点，此时若其中一个主节点宕机，那么不满足选举“至少3个节点可靠地工作”的条件，故新增多一个冗余数据节点，其不能竞选为主节点，但能对节点竞选做出响应，依然满足条件，详细算法可以参考Raft协议的实现原理

节点启动

使用docker-compose命令启动即可

$ docker-compose up -d

这种直接启动的方式会报文件夹无访问权限的错误，需要在命令执行后手动赋予文件夹访问权限

$ chmod 777 -R elasticsearch/
$ chown 1000:1000 -R elasticsearch/

若此时es容器已经停止则再执行一次启动命令即可

部署结果

使用chrome插件elasticsearch-head连接任意一个节点查看情况

4节点在线，接入业务系统后各节点情况如下图。

注意所有索引副本数都要是2或者3，否则都无法实现高可用效果

由于网络问题或者服务器问题导致其中一个节点下线，es会自动对各个节点的副本重新路由，此时集群颜色为黄色，仍然可用，稍等片刻会实现最终一致性

若此时主节点下线，整个集群会立刻重新选举出新的主节点并路由各个分片，保证24小时服务都处在可用状态

橙色表示尚未路由完成，但所有索引数据均可用

注意

若某些索引的副本数设置为1，则当某个节点宕机且其刚好存储该索引的副本，则整个集群的状态将立刻变成红色，意思是数据丢失

灰色表示已经下线的分片并且无法被重新路由

基于Mesos+Marathon的DevOps分布式环境搭建

Sun, 18 Aug 2019 22:01:00 +0800

基础环境

本地准备了4台虚拟机配置如下

虚拟机名称	IP	CPU	内存	磁盘
129	192.168.133.129	1	2G	20G
130	192.168.133.130	1	2G	20G
131	192.168.133.131	1	2G	20G
132	192.168.133.132	1	2G	20G

部署架构

部署架构图如下

各服务详细部署情况

Zookeeper

服务器	节点	端口	版本
129	zk-1-docker	2181	3.4.14
131	zk-2-docker	2181	3.4.14
132	zk-3-docker	2181	3.4.14

MesosMaster

服务器	节点	端口	版本
132	master	5050	1.7.0
130	master	5050	1.7.0
131	master	5050	1.7.0

MesosSlave

服务器	节点	端口	版本
131	slave2	5051	1.7.0
130	slave1	5051	1.7.0

marathon

服务器	服务	端口	版本
132	marathonMaster	8080	v1.6.496

marathon-lb

服务器	服务	端口	版本
129	marathon-lb	9090	v1.14.0

环境准备

开放防火墙

本次服务各主机将可能使用到以下端口

8080
9090
2181
2888
3888
5050
5051

逐台登陆服务器执行放行防火墙脚本

firewall-cmd --zone=public --add-port=8080/tcp --permanent
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=5050/tcp --permanent
firewall-cmd --zone=public --add-port=5051/tcp --permanent
firewall-cmd --zone=public --add-port=9090/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
firewall-cmd --reload

安装Docker

本次所有服务均采用Docker方式部署，服务调度通过Docker in Docker的方式进行

由于Docker有可能出现版本影响环境问题，参考文章相关文章

故建议安装时指定版本

$ yum-config-manager \
 --add-repo \
 https://download.docker.com/linux/centos/docker-ce.repo
$ yum install docker-ce-19.03.1 docker-ce-cli-19.03.1 containerd.io

设置开机启动并运行服务

$ systemctl enable docker
$ systemctl start docker

安装docker-compose，脚本参考官方文档

$ sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
$ sudo chmod +x /usr/local/bin/docker-compose
$ sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

安装Zookeeper

鉴于zk 3.4和3.5版本的配置有一定差别，编写脚本时注意版本，此处使用的是3.4.14，以下配置文件注意hosts的微小差别

docker-compose-zoo-129.yml

version: '3.1'

services:
 zoo1:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo2: 192.168.133.131"
 - "zoo3: 192.168.133.132"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 1
 ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

docker-compose-zoo-131.yml

version: '3.1'

services:

 zoo2:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo1: 192.168.133.129"
 - "zoo3: 192.168.133.132"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 2
 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888

docker-compose-zoo-132.yml

version: '3.1'

services:

 zoo3:
 image: zookeeper:3.4.14
 restart: always
 network_mode: host
 extra_hosts:
 - "zoo1: 192.168.133.129"
 - "zoo2: 192.168.133.131"
 ports:
 - 2181:2181
 - 2888:2888
 - 3888:3888
 environment:
 ZOO_MY_ID: 3
 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888

安装MesosMaster

MesosMaster也采用3节点高可用方案，由于要在各台机器上配置hosts过于麻烦，此处选择使用非hosts注册方式，故需要配置各自的IP地址

docker-compose-mesos-master-130.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.130
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

docker-compose-mesos-master-131.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.131
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

docker-compose-mesos-master-132.yml

version: '3.1'

services:

 mesos-master:
 image: mesosphere/mesos-master:1.7.0
 restart: always
 network_mode: host
 hostname: master
 command: --no-hostname_lookup --ip=192.168.133.132
 ports:
 - 5050:5050
 environment:
 MESOS_PORT: 5050
 MESOS_ZK: zk://192.168.133.129:2181/mesos
 MESOS_QUORUM: 1
 MESOS_REGISTRY: in_memory
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos

安装MesosSlave

需要选择与master对应的版本号，同时也使用IP注册的方式

docker-compose-mesos-slave1.yml

version: '3.1'

services:

 mesos-slave1:
 image: mesosphere/mesos-slave:1.7.0
 restart: always
 network_mode: host
 hostname: slave1
 command: --no-systemd_enable_support --no-hostname_lookup --ip=192.168.133.131
 ports:
 - 5051:5051
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - /cgroup:/cgroup
 - /sys:/sys
 - /usr/bin/docker:/usr/local/bin/docker
 environment:
 MESOS_PORT: 5051
 MESOS_MASTER: zk://192.168.133.129:2181/mesos
 MESOS_SWITCH_USER: 0
 MESOS_CONTAINERIZERS: docker,mesos
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos
 privileged: true

docker-compose-mesos-slave2.yml

version: '3.1'

services:

 mesos-slave2:
 image: mesosphere/mesos-slave:1.7.0
 restart: always
 network_mode: host
 hostname: slave2
 command: --no-systemd_enable_support --no-hostname_lookup --ip=192.168.133.130
 ports:
 - 5051:5051
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - /cgroup:/cgroup
 - /sys:/sys
 - /usr/bin/docker:/usr/local/bin/docker
 environment:
 MESOS_PORT: 5051
 MESOS_MASTER: zk://192.168.133.129:2181/mesos
 MESOS_SWITCH_USER: 0
 MESOS_CONTAINERIZERS: docker,mesos
 MESOS_LOG_DIR: /var/log/mesos
 MESOS_WORK_DIR: /var/tmp/mesos
 privileged: true

Marathon

marathon在高版本会出现收不到mesos心跳自动停止的问题，暂时没找到可以配置的方式，故使用1.6的版本，问题链接如下

Missing heartbeats from Mesos, eventually disconnecting and dying

docker-compose-marathon.yml

version: '3.1'

services:

 marathon:
 image: mesosphere/marathon:v1.6.496
 hostname: marathon
 restart: always
 command: --master zk://192.168.133.129:2181/mesos --zk zk://192.168.133.129:2181/marathon
 ports:
 - 8080:8080

安装marathon-lb

marathon-lb 与marathon没有版本的对应关系，故使用当前最新的版本1.14，新版和旧版的配置也有所不同，在早期版本无需指定端口的环境变量，翻阅官网也指出其应该是自动配置的，但如果使用Docker默认运行脚本则需要手动指定

if you use the built-in run script, you’ll need to pass an env var that contains a comma separated list of the ports HAProxy binds to

参考ISSUES：

unbound variable PORTS v1.1.0

docker-compose-marathon-lb.yml

version: '3.1'

services:

 marathon-lb:
 image: mesosphere/marathon-lb:v1.14.0
 network_mode: host
 hostname: marathon-lb
 restart: always
 command: sse --group external --marathon http://192.168.133.132:8080
 environment:
 PORTS: 9090
 ports:
 - 9090:9090

启动

启动顺序：

zookeeper
mesosMaster
mesosSlave
marathon
marathon-lb

由于全使用docker-compose脚本编写，启动时只需指定文件名即可

$ docker-compose -f xx.yml up -d

查看日志命令，-f表示跟踪最新的日志

$ docker-compose -f xx.yml logs [-f]

效果

随便打开一个节点的mesos端口，可看到当前的服务注册数量和当前的leader，其采用与ZK类似的选举算法来选出leader实现高可用

slave信息

查看框架注册情况

查看marathon-lb情况

marathon面板

marathon支持通过面板创建任务和通过rest接口创建任务

使用postman创建任务测试

请求路径http://192.168.133.132:8080/v2/apps

内容

{
 "id": "basic-0", 
 "cmd": "while [ true ] ; do echo 'Hello Marathon' ; sleep 5 ; done",
 "cpus": 0.1,
 "mem": 10.0,
 "instances": 1
}

结果

面板同步显示

运行状态正常

查看详情可知其运行在130服务器上

通过面板创建

切换为json格式可以编辑更多内容

{
 "id": "demo-springboot",
 "cmd": null,
 "cpus": 0.3,
 "mem": 128,
 "disk": 0,
 "instances": 1,
 "container": {
 "docker": {
 "image": "fjy8018/demo-springboot:2.1.6.RELEASE",
 "forcePullImage": true
 },
 "type": "DOCKER",
 "portMappings": [
 {
 "containerPort": 8080,
 "protocol": "tcp",
 "servicePort": 18080
 }
 ]
 },
 "networks": [
 {
 "mode": "container/bridge"
 }
 ]
}

运行成功

访问成功

查看资源调度情况

配置扩缩容

配置成功

两个实例被分别调度到不同的机器上

配置健康检查

自动轮询接口

错误告警

CentOS 7 安装KVM和WebVirtMgr管理面板

Sun, 11 Aug 2019 18:35:00 +0800

配置静态IP

此处使用VMware 模拟服务器环境，为防止IP在启动时动态分配，需要手动配置静态IP，如果是物理服务器可直接跳过

编辑虚拟机网络

编辑 -> 虚拟网络编辑器

更改

取消勾选此项

进入NAT设置记录默认网关和子网掩码

进入虚拟机

设置虚拟机IP

查看虚拟机网卡，lo为本地回环口，实际网卡为ens33

$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
 link/ether 00:0c:29:02:fe:c5 brd ff:ff:ff:ff:ff:ff
...

编辑网卡配置

$ vi /etc/sysconfig/network-scripts/ifcfg-ens33

加入静态配置

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a63224f4-f210-4d84-933d-c4f0ccd68f7a
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.133.128
NETMASK=255.255.255.0
GATEWAY=192.168.133.2
ZONE=public

解释

ONBOOT：开机启动

BOOTPROTO：网络分配方式，静态

IPPADDR：手动指定ip地址

NETMASK：子网掩码

GATEWAY：网关ip

DNS配置

$ vi /etc/resolv.conf

加入DNS配置

nameserver=192.168.133.2
nameserver 8.8.8.8
nameserver 114.114.114.114
search localdomain

此处仅加入第一个也可以正常使用，但无法ping通域名

修改主机名

没有需求此步骤可以跳过

$ vi /etc/sysconfig/network

加入配置

# Created by anaconda
NETWORKING=yes
HOSTNAME=localhost

重启网卡

$ systemctl restart network

查看网络信息

$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
 link/ether 00:0c:29:02:fe:c5 brd ff:ff:ff:ff:ff:ff
 inet 192.168.133.128/24 brd 192.168.133.255 scope global ens33
 valid_lft forever preferred_lft forever
 inet6 fe80::20c:29ff:fe02:fec5/64 scope link noprefixroute
 valid_lft forever preferred_lft forever

静态IP配置完成

安装KVM

此处部分参考GitHub的安装指引，官方wiki也有相关的指南，不过更加复杂

GitHub安装指引

官方wiki

检测是否支持KVM

$ cat /proc/cpuinfo | egrep 'vmx|svm'
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp tpr_shadow vnmi ept vpid fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid mpx rdseed adx smap clflushopt xsaveopt xsavec arat spec_ctrl intel_stibp flush_l1d arch_capabilities

关闭SELinux，将 /etc/sysconfig/selinux 中的 SELinux=enforcing 修改为 SELinux=disabled

$ vi /etc/sysconfig/selinux

安装 KVM 环境

通过 yum 安装 kvm 基础包和管理工具

kvm相关安装包及其作用:

qemu-kvm 主要的KVM程序包
python-virtinst 创建虚拟机所需要的命令行工具和程序库
virt-manager GUI虚拟机管理工具
virt-top 虚拟机统计命令
virt-viewer GUI连接程序，连接到已配置好的虚拟机
libvirt C语言工具包，提供libvirt服务
libvirt-client 为虚拟客户机提供的C语言工具包
virt-install 基于libvirt服务的虚拟机创建命令
bridge-utils 创建和管理桥接设备的工具

$ yum -y install qemu-kvm python-virtinst libvirt libvirt-python virt-manager libguestfs-tools bridge-utils virt-install

重启宿主机，以便加载 kvm 模块

$ reboot

查看KVM模块是否被正确加载

$ lsmod | grep kvm
kvm_intel 183621 0
kvm 586948 1 kvm_intel
irqbypass 13503 1 kvm

配置libvirt以启用TCP服务

LIBVIRTD_CONFIG=/etc/libvirt/libvirtd.conf
LIBVIRTD_ARGS="--listen"

同时修改/etc/libvirt/libvirtd.conf配置

...
listen_tls = 0
listen_tcp = 1
tcp_port = "16509"
listen_addr = "0.0.0.0"
auth_tcp = "none"
...

开启kvm服务，并且设置其开机自动启动

$ systemctl start libvirtd
$ systemctl enable libvirtd

查看状态操作结果，如Active: active (running)，说明运行情况良好

$ systemctl status libvirtd
● libvirtd.service - Virtualization daemon
 Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)
 Active: active (running) since 日 2019-08-11 16:09:20 CST; 30min ago
 Docs: man:libvirtd(8)
 https://libvirt.org
 Main PID: 107953 (libvirtd)
 Tasks: 19 (limit: 32768)
 CGroup: /system.slice/libvirtd.service
 ├─105030 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper
 ├─105031 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper
 └─107953 /usr/sbin/libvirtd --listen

$ systemctl is-enabled libvirtd
enabled

安装WebVirtMgr管理面板

官方指南

更新源

$ yum install -y epel-release
$ yum -y install http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm

安装依赖

$ yum -y install git python-pip libvirt-python libxml2-python python-websockify supervisor nginx
$ yum -y install gcc python-devel
$ pip install numpy

拉取源码安装

拉取源码和安装环境

$ git clone git://github.com/retspen/webvirtmgr.git
$ cd webvirtmgr
$ sudo pip install -r requirements.txt

执行安装文件并按照提示设置管理员账号密码

$ ./manage.py syncdb
WARNING:root:No local_settings file found.
Creating tables ...
Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_groups
Creating table auth_user_user_permissions
Creating table auth_user
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table servers_compute
Creating table instance_instance
Creating table create_flavor

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Please enter either "yes" or "no": yes
Username (leave blank to use 'root'): root
Email address: 123@abc.com
Password:
Password (again):
Superuser created successfully.
Installing custom SQL ...
Installing indexes ...
Installed 6 object(s) from 1 fixture(s)

发布到Nginx

拷贝文件到nginx web目录

$ cd .. && cp -r webvirtmgr/ /var/www/webvirtmgr/

创建配置文件

$ vi /etc/nginx/conf.d/webvirtmgr.conf

内容为

server {
 listen 80 default_server;

 server_name $hostname;
 #access_log /var/log/nginx/webvirtmgr_access_log; 

 location /static/ {
 root /var/www/webvirtmgr/webvirtmgr; # or /srv instead of /var
 expires max;
 }

 location / {
 proxy_pass http://127.0.0.1:8000;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-for $proxy_add_x_forwarded_for;
 proxy_set_header Host $host:$server_port;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_connect_timeout 600;
 proxy_read_timeout 600;
 proxy_send_timeout 600;
 client_max_body_size 1024M; # Set higher depending on your needs 
 }
}

拷贝一份副本并配置nginx.conf

$ mv /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak

写入配置

#user nobody;
worker_processes 1;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;


events {
 worker_connections 1024;
}


http {
 include mime.types;
 default_type application/octet-stream;
 include /etc/nginx/conf.d/*.conf;

 sendfile on;

 keepalive_timeout 65;

 server {
 listen 80;
 server_name localhost;

 location / {
 root html;
 index index.html index.htm;
 }

 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root html;
 }
 }
}

重启nginx

$ systemctl restart nginx.service

配置用户组和权限

$ chown -R nginx:nginx /var/www/webvirtmgr

可能出现的报错——`Address already in use`

重启nginx服务出现错误，查看状态如下

$ systemctl status nginx.service
● nginx.service - The nginx HTTP and reverse proxy server
 Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
 Active: failed (Result: exit-code) since 日 2019-08-11 12:52:42 CST; 2s ago
 Process: 26188 ExecStart=/usr/sbin/nginx (code=exited, status=1/FAILURE)
 Process: 26185 ExecStartPre=/usr/sbin/nginx -t (code=exited, status=0/SUCCESS)
 Process: 26183 ExecStartPre=/usr/bin/rm -f /run/nginx.pid (code=exited, status=0/SUCCESS)

8月 11 12:52:40 localhost.localdomain nginx[26188]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
8月 11 12:52:40 localhost.localdomain nginx[26188]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
8月 11 12:52:41 localhost.localdomain nginx[26188]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
8月 11 12:52:41 localhost.localdomain nginx[26188]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
8月 11 12:52:42 localhost.localdomain nginx[26188]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
8月 11 12:52:42 localhost.localdomain nginx[26188]: nginx: [emerg] still could not bind()
8月 11 12:52:42 localhost.localdomain systemd[1]: nginx.service: control process exited, code=exited status=1
8月 11 12:52:42 localhost.localdomain systemd[1]: Failed to start The nginx HTTP and reverse proxy server.
8月 11 12:52:42 localhost.localdomain systemd[1]: Unit nginx.service entered failed state.
8月 11 12:52:42 localhost.localdomain systemd[1]: nginx.service failed.

解决方法：杀掉占用80端口的进程（不管是不是nginx占用的）

推荐使用fuser命令快速杀掉占用端口的进程，CentOS可通过以下命令安装

$ yum install -y psmisc

杀掉占用端口的进程

$ fuser -k 80/tcp
80/tcp: 18869 18870 18871 18872 18873

再次重启即可

$ service nginx restart
Redirecting to /bin/systemctl restart nginx.service

更新`SELinux`策略

$ /usr/sbin/setsebool httpd_can_network_connect true

$ chkconfig supervisord on
注意：正在将请求转发到“systemctl enable supervisord.service”。
Created symlink from /etc/systemd/system/multi-user.target.wants/supervisord.service to /usr/lib/systemd/system/supervisord.service.

配置`Supervisor`

创建文件/etc/supervisord.d/webvirtmgr.ini

$ /etc/supervisord.d/webvirtmgr.ini

加入配置

[program:webvirtmgr]
command=/usr/bin/python /var/www/webvirtmgr/manage.py run_gunicorn -c /var/www/webvirtmgr/conf/gunicorn.conf.py
directory=/var/www/webvirtmgr
autostart=true
autorestart=true
logfile=/var/log/supervisor/webvirtmgr.log
log_stderr=true
user=nginx

[program:webvirtmgr-console]
command=/usr/bin/python /var/www/webvirtmgr/console/webvirtmgr-console
directory=/var/www/webvirtmgr
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/webvirtmgr-console.log
redirect_stderr=true
user=nginx

启动`supervisor`守护线程

$ systemctl start supervisord.service

配置开启启动

$ systemctl enable supervisord.service

检查

查看端口占用，若80、8000、6080已经监听则正常

$ netstat -lnpt
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 102045/nginx: maste
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 9243/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 9543/master
tcp 0 0 127.0.0.1:6010 0.0.0.0:* LISTEN 16011/sshd: root@pt
tcp 0 0 127.0.0.1:8000 0.0.0.0:* LISTEN 102430/python
tcp 0 0 0.0.0.0:6080 0.0.0.0:* LISTEN 102429/python
tcp6 0 0 :::111 :::* LISTEN 1/systemd
tcp6 0 0 :::22 :::* LISTEN 9243/sshd
tcp6 0 0 ::1:25 :::* LISTEN 9543/master
tcp6 0 0 ::1:6010 :::* LISTEN 16011/sshd: root@pt

开放防火墙

$ firewall-cmd --zone=public --add-port=80/tcp --permanent
$ firewall-cmd --reload

访问web界面

访问虚拟机地址http://192.168.133.128/login/ 可见启动成功

TCP方式连接宿主机

连接成功

使用GitHub和DockerHub自动构建镜像

Wed, 31 Jul 2019 22:36:41 +0800

环境

DockerHub账号、GitHub账号

步骤

构建脚本

此处以构建mycat的docker镜像为例，在本地准备好可以运行的构建脚本Dockerfile，尽可能不使用准备好的配置文件，保证镜像的安全、纯净，并且利用环境变量配置精简构建脚本

FROM openjdk:8-jre
MAINTAINER fjy8018 fjy8018@gmail.com

# Mycat 版本
ENV MYCAT_VERSION 1.6-RELEASE
ENV MYCAT_PKG Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

WORKDIR /usr/local

# 缓存层
RUN wget http://dl.mycat.io/$MYCAT_VERSION/$MYCAT_PKG
RUN apt-get update && \
 apt-get install -y procps && \
 apt-get clean && \
 tar -zxf /usr/local/$MYCAT_PKG && \
 rm -rf /usr/local/$MYCAT_PKG

VOLUME /usr/local/mycat/conf

EXPOSE 8066 9066

ENTRYPOINT /usr/local/mycat/bin/mycat console

创建GitHub仓库

在GitHub上创建对应的仓库，并推送Dockerfile

链接DockerHub与GitHub

登陆DockerHub选择repository新建仓库

首次链接可以参照指引操作，主要是做OAuth 授权

创建构建分支和标签

连接GitHub后可以选择需要构建的仓库，同时展开构建选项，可以指定不同分支构建出的标签，默认master分支构建为latest版本

触发构建

第一次会自动触发构建，随后代码推送都会触发构建

构建结果

在管理页面可以查看构建时长和构建结果

结果

用户视角

用户视角可以看到构建的GitHub仓库

自动构建产生的分支

构建历史记录

DevOps GitLab CICD 实践3——CI文件编写

Wed, 03 Apr 2019 16:32:00 +0800

前置步骤：

Docker 版 GitLab CICD 实践1——GitLab 部署 [[Docker 版 GitLab CICD 实践]]
Docker 版 GitLab CICD 实践2——Runner 部署 [[Docker 版 GitLab CICD 实践——Runner 部署]]

官方文档

编写结构类似Jenkins pineline流水线

GitLab CI/CD Pipeline Configuration Reference

GitLab CI/CD Pipeline Configuration Reference
GitLab CI/CD pipelines are configured using a YAML file called .gitlab-ci.yml within each project.

The .gitlab-ci.yml file defines the structure and order of the pipelines and determines:

What to execute using GitLab Runner.

What decisions to make when specific conditions are encountered. For example, when a process succeeds or fails.

This topic covers CI/CD pipeline configuration. For other CI/CD configuration information, see:

GitLab CI/CD Variables, for configuring the environment the pipelines run in.

GitLab Runner advanced configuration, for configuring GitLab Runner.

We have complete examples of configuring pipelines:

For a quick introduction to GitLab CI, follow our quick start guide.

For a collection of examples, see GitLab CI/CD Examples.

To see a large .gitlab-ci.yml file used in an enterprise, see the .gitlab-ci.yml file for gitlab-ce.

目标

maven项目自动打包
~~自动测试~~
自动镜像构建并上传

官方参数表列出了作业的可用参数：

关键词	描述
`script`	由Runner执行的Shell脚本。
`image`	使用泊坞窗图像。也可用：`image:name`和`image:entrypoint`。
`services`	使用docker services图像。也可用：`services:name`，`services:alias`，`services:entrypoint`，和`services:command`。
`before_script`	覆盖在作业之前执行的一组命令。
`after_script`	覆盖作业后执行的一组命令。
`stages`	定义管道中的阶段。
`stage`	定义作业阶段（默认值:) `test`。
`only`	创建作业时限制。也可用：`only:refs`，`only:kubernetes`，`only:variables`，和`only:changes`。
`except`	在未创建作业时限制。也可用：`except:refs`，`except:kubernetes`，`except:variables`，和`except:changes`。
`tags`	用于选择Runner的标签列表。
`allow_failure`	让工作失败。失败的作业无助于提交状态。
`when`	什么时候开始工作。也可用：`when:manual`和`when:delayed`。
`environment`	作业部署到的环境的名称。也可用：`environment:name`，`environment:url`，`environment:on_stop`，和`environment:action`。
`cache`	后续运行之间应缓存的文件列表。也可用：`cache:paths`，`cache:key`，`cache:untracked`，和`cache:policy`。
`artifacts`	成功附加到作业的文件和目录列表。也可用：`artifacts:paths`，`artifacts:name`，`artifacts:untracked`，`artifacts:when`，`artifacts:expire_in`，`artifacts:reports`，和`artifacts:reports:junit`。在GitLab 企业版，这些都是可供选择：`artifacts:reports:codequality`，`artifacts:reports:sast`，`artifacts:reports:dependency_scanning`，`artifacts:reports:container_scanning`，`artifacts:reports:dast`，`artifacts:reports:license_management`，和`artifacts:reports:performance`。
`dependencies`	作业所依赖的其他作业，以便您可以在它们之间传递工件。
`coverage`	给定作业的代码覆盖率设置。
`retry`	在发生故障的情况下，可以自动重试作业的次数和次数。
`parallel`	应该并行运行多少个作业实例。
`trigger`	定义下游管道触发器。
`include`	允许此作业包含外部YAML文件。也可用：`include:local`，`include:file`，`include:template`，和`include:remote`。
`extends`	此作业将继承的配置条目。
`pages`	上传作业结果以用于GitLab Pages。
`variables`	在作业级别定义作业变量。

注：参数types和type被弃用。

参考

官方构建案例

Deploy a Spring Boot application to Cloud Foundry with GitLab CI/CD

参考其脚本

Configure GitLab CI/CD to deploy your application
Now we need to add the GitLab CI/CD configuration file (.gitlab-ci.yml) to our project’s root. This is how GitLab figures out what commands need to be run whenever code is pushed to our repository. We will add the following .gitlab-ci.yml file to the root directory of the repository, GitLab will detect it automatically and run the steps defined once we push our code:
image: java:8

stages:
 - build
 - deploy

build:
 stage: build
 script: ./mvnw package
 artifacts:
 paths:
 - target/demo-0.0.1-SNAPSHOT.jar

production:
 stage: deploy
 script:
 - curl --location "https://cli.run.pivotal.io/stable?release=linux64-binary&source=github" | tar zx
 - ./cf login -u $CF_USERNAME -p $CF_PASSWORD -a api.run.pivotal.io
 - ./cf push
 only:
 - master

配置

全局变量

进入工程CI设置配置全局变量脚本，包含镜像仓库登陆名称、密码、打包名称等

配置全局变量目的在于配置脚本中不应该包含密码等敏感信息

若希望使用GitLab内置环境变量，可参考官方表格

GitLab CI/CD environment variables

CI脚本

结合可用参数和样例配置，根据已经存在的SpringBoot项目编写响应的CI脚本.gitlab-ci.yml

image: docker:stable
services:
 - docker:dind

variables:
 DOCKER_DRIVER: overlay
 SPRING_PROFILES_ACTIVE: gitlab-ci

stages:
 - build
 - package

maven-build:
 image: maven:3-jdk-8
 stage: build
 script: "mvn package -B"
 artifacts:
 paths:
 - target/*.jar

docker-build:
 stage: package
 script:
 - docker build -t $CONTAINER_IMAGE:latest .
 - docker login -u $DOCKER_HUB_USER -p $DOCKER_HUB_PASS
 - docker push $CONTAINER_IMAGE:latest

该脚本对于满足脚本目标的工程都可复用，若需要测试，则增加相关的测试步骤即可

此处由于工程包含外部依赖关系，不在构建时测试

自动构建

默认的触发构建事件为commit等

触发后会自动执行任务

Maven自动触发构建，自动镜像打包

自动上传（推送）镜像

执行结果

若执行失败则会发送邮件给开发人员

CICD全套流程目标实现！

总结

不管使用GitLab CICD或者是使用Jenkins+Ansible的方式，目标都在于践行DevOps，打通开发与运维流程，一旦配置好CICD流程，往后开发人员便不再操心打包、构建等操作，可以专注开发

DevOps GitLab CICD 实践2——Runner 部署

Wed, 03 Apr 2019 16:31:00 +0800

前置步骤：DevOps GitLab CICD 实践1——GitLab 部署

官方文档

文档地址

虽然有官方指引，但个人感觉指引的不够清晰，导致初次配置可能频繁失败

Run GitLab Runner in a container
This is how you can run GitLab Runner inside a Docker container.

General GitLab Runner Docker image usage
GitLab Runner Docker images (based on Ubuntu or Alpine Linux) are designed as wrappers around the standard gitlab-runner command, like if GitLab Runner was installed directly on the host.

The general rule is that every GitLab Runner command that normally would be executed as:
gitlab-runner [Runner command and options...]
can be executed with:
docker run [chosen docker options...] gitlab/gitlab-runner [Runner command and options...]
For example, getting the top-level help information for GitLab Runner command could be executed as:
docker run --rm -t -i gitlab/gitlab-runner --help

NAME:
 gitlab-runner - a GitLab Runner

USAGE:
 gitlab-runner [global options] command [command options] [arguments...]

VERSION:
 10.7.0 (7c273476)

(...)
In short, the gitlab-runner part of the command is replaced with docker run [docker options] gitlab/gitlab-runner, while the rest of Runner’s command stays as it is described in the register documentation. The only difference is that the gitlab-runner command is executed inside of a Docker container.

Docker image installation and configuration
Install Docker first:
 curl -sSL https://get.docker.com/ | sh
You need to mount a config volume into the gitlab-runner container to be used for configs and other resources:
 docker run -d --name gitlab-runner --restart always \
 -v /srv/gitlab-runner/config:/etc/gitlab-runner \
 -v /var/run/docker.sock:/var/run/docker.sock \
 gitlab/gitlab-runner:latest
Tip: On macOS, use /Users/Shared instead of /srv.

Or, you can use a config container to mount your custom data volume:
 docker run -d --name gitlab-runner-config \
 -v /etc/gitlab-runner \
 busybox:latest \
 /bin/true
And then, run the Runner:
 docker run -d --name gitlab-runner --restart always \
 -v /var/run/docker.sock:/var/run/docker.sock \
 --volumes-from gitlab-runner-config \
 gitlab/gitlab-runner:latest
Register the runner you just launched by following the instructions in the Docker section of Registering Runners. The runner won’t pick up any jobs until it’s registered.

安装步骤

获取Gitlab Runner秘钥

可以通过Gitlab管理员账号获取，也可以让每一个用户自行配置

普通用户查看秘钥

进入任意一个仓库的设置中，查看CICD配置

准备注册专用Runner令牌

管理员查看令牌

进入总设置页面，配置全局Runner令牌

Runner注册

由于Runner一般运行复杂构建、打包任务，推荐配置在性能、带宽更大的机房

准备Docker环境

$ curl -sSL https://get.docker.com/ | sh
$ systemctl start docker

注册

可以根据需要选择注册Runner类型

同时，为了方便配置，使用单行注册并且关闭交互

单行注册官方文档

命令说明：

-v挂载的目的是为了将注册后的配置文件持久化，用于运行容器
--rm指定容器运行结束后自动删除停止的容器
-it指定使用命令行交互方式运行，便于查看注册结果

$ docker run --rm -it \
 -v /www/wwwroot/gitlab/srv/gitlab-runner/config:/etc/gitlab-runner \
 gitlab/gitlab-runner:alpine-v11.8.0 register \
 --non-interactive \
 --executor "docker" \
 --docker-image docker:stable \
 --url "Gitlab URL" \
 --registration-token "令牌" \
 --description "描述" \
 --tag-list "标签1,标签2" \
 --run-untagged \
 --docker-privileged \
 --locked="false"

注册成功提示

此时管理面板显示新的Runner已经注册

Runner 启动

挂载本地配置信息并启动Runner

$ docker run -d --name gitlab-runner --restart always \
 	-v /www/wwwroot/gitlab/srv/gitlab-runner/config:/etc/gitlab-runner \
 -v /var/run/docker.sock:/var/run/docker.sock \
 gitlab/gitlab-runner:alpine-v11.8.0

此时可见Runner已经保持和Gitlab的联系

DevOps GitLab CICD 实践1——GitLab 部署

Wed, 03 Apr 2019 16:30:00 +0800

配置目标

邮件提示
GitHub第三方授权登陆
GitLab Runner
Docker私服注册

官方介绍

目前微服务盛行环境下，服务部署优先考虑Docker方式，便于迁移和弹性伸缩

官方镜像介绍 GitLab Docker images

GitLab Docker images
Both GitLab CE and EE are in Docker Hub:

GitLab CE Docker image

GitLab EE Docker image

The GitLab Docker images are monolithic images of GitLab running all the necessary services on a single container.

In the following examples we are using the image of GitLab CE. To use GitLab EE instead of GitLab CE, replace the image name to gitlab/gitlab-ee:latest.

If you want to use the latest RC image, use gitlab/gitlab-ce:rc or gitlab/gitlab-ee:rc for GitLab CE and GitLab EE respectively.

The GitLab Docker images can be run in multiple ways:

Run the image in Docker Engine

Install GitLab into a cluster

Install GitLab using docker-compose

docker-compose 脚本

此处选择社区版(CE)安装，同时为了便于参数配置，使用docker-compose方式编写脚本文件

Install GitLab using docker-compose
With Docker compose you can easily configure, install, and upgrade your Docker-based GitLab installation.
Install Docker Compose
Create a docker-compose.yml file (or download an example):
 web:
 image: 'gitlab/gitlab-ce:latest'
 restart: always
 hostname: 'gitlab.example.com'
 environment:
 GITLAB_OMNIBUS_CONFIG: |
 external_url 'https://gitlab.example.com'
 # Add any other gitlab.rb configuration here, each on its own line
 ports:
 - '80:80'
 - '443:443'
 - '22:22'
 volumes:
 - '/srv/gitlab/config:/etc/gitlab'
 - '/srv/gitlab/logs:/var/log/gitlab'
 - '/srv/gitlab/data:/var/opt/gitlab'
Make sure you are in the same directory as docker-compose.yml and run docker-compose up -d to start GitLab
Read “Pre-configure Docker container” to see how the GITLAB_OMNIBUS_CONFIG variable works.

Below is another docker-compose.yml example with GitLab running on a custom HTTP and SSH port. Notice how the GITLAB_OMNIBUS_CONFIG variables match the ports section:
web:
 image: 'gitlab/gitlab-ce:latest'
 restart: always
 hostname: 'gitlab.example.com'
 environment:
 GITLAB_OMNIBUS_CONFIG: |
 external_url 'http://gitlab.example.com:9090'
 gitlab_rails['gitlab_shell_ssh_port'] = 2224
 ports:
 - '9090:9090'
 - '2224:22'
 volumes:
 - '/srv/gitlab/config:/etc/gitlab'
 - '/srv/gitlab/logs:/var/log/gitlab'
 - '/srv/gitlab/data:/var/opt/gitlab'
This is the same as using --publish 9090:9090 --publish 2224:22.

官方提示说明Docker CE版基于Omnibus版本，故环境配置也可参考相关文档

Omnibus文档目录

Installation and Configuration using omnibus package
Note: This section describes the commonly used configuration settings. Check configuration section of the documentation for complete configuration settings.

Installing GitLab

Manually downloading and installing a GitLab package

Setting up a domain name/URL for the GitLab Instance so that it can be accessed easily

Enabling HTTPS

Enabling notification EMails

Enabling replying via email

Installing and configuring postfix

Enabling container registry on GitLab

You will require SSL certificates for the domain used for container registry

Enabling GitLab Pages

If you want HTTPS enabled, you will have to get wildcard certificates

Enabling Elasticsearch

GitLab Mattermost Set up the Mattermost messaging app that ships with Omnibus GitLab package.

GitLab Prometheus Set up the Prometheus monitoring included in the Omnibus GitLab package.

GitLab High Availability Roles

结合配置目标编写yaml文件

注意：

此处邮件使用163邮箱（官方没有提供163邮箱支持案例）
Docker私服公钥执行从私服上获取
由于特殊原因，目标配置未启动SSL安全连接，但GitLab可以通过简单配置支持SSL并自动更新证书

配置文档

Let’s Encrypt Integration
Primary GitLab Instance

Note: Introduced in GitLab version 10.5 and disabled by default. Enabled by default in GitLab version 10.7 and later if external_url is set with the httpsprotocol and no certificates are configured.

Note: In order for Let’s Encrypt verification to work correctly, ports 80 and 443 will need to be accessible to the Let’s Encrypt servers that run the validation. Also note that the validation currently does not work with non-standard ports.
Caution Administrators installing or upgrading to GitLab version 10.7 or later and do not plan on using Let’s Encrypt should set the following in /etc/gitlab/gitlab.rb to disable:
letsencrypt['enable'] = false
Add the following entries to /etc/gitlab/gitlab.rb to enable Let’s Encrypt support for the primary domain:
letsencrypt['enable'] = true # GitLab 10.5 and 10.6 require this option
external_url "https://gitlab.example.com"	 # Must use https protocol
letsencrypt['contact_emails'] = ['foo@email.com'] # Optional

生成163邮箱授权密码

生成GitHub授权秘钥

最终配置

version: '3.1'

services:

 gitlab:
 environment:
 GITLAB_OMNIBUS_CONFIG: |
 external_url '外部访问地址'
 gitlab_rails['gitlab_shell_ssh_port'] = 外部SSH端口
 registry_external_url 'Docker私服地址'
 registry_nginx['ssl_certificate'] = "Docker 私服CA证书 crt文件"
 registry_nginx['ssl_certificate_key'] = "Docker 私服公钥 pem文件"
 gitlab_rails['smtp_enable'] = true
 gitlab_rails['smtp_address'] = "smtp.163.com"
 gitlab_rails['smtp_port'] = 465
 gitlab_rails['smtp_user_name'] = "邮件发送者名称"
 gitlab_rails['gitlab_email_from'] = '邮件发送地址'
 gitlab_rails['smtp_password'] = "授权密码"
 gitlab_rails['smtp_domain'] = "163.com"
 gitlab_rails['smtp_authentication'] = "login"
 gitlab_rails['smtp_enable_starttls_auto'] = true
 gitlab_rails['smtp_tls'] = true
 gitlab_rails['omniauth_enabled'] = true
 gitlab_rails['omniauth_allow_single_sign_on'] = true
 gitlab_rails['omniauth_block_auto_created_users'] = true
 gitlab_rails['omniauth_providers'] = [
 {
 "name" => "github",
 "app_id" => "Client ID",
 "app_secret" => "Client Secret",
 "url" => "https://github.com/",
 "args" => { "scope" => "user:email" }
 }
 ]
 image: gitlab/gitlab-ce:latest
 hostname: gitlab.fjy8018.top
 restart: always
 networks:
 - devops-service-bridge
 ports:
 - '8443:443'
 - '8099:8099'
 - '8022:22'
 volumes:
 - ./srv/gitlab/config:/etc/gitlab
 - ./srv/gitlab/logs:/var/log/gitlab
 - ./srv/gitlab/data:/var/opt/gitlab
 - /etc/docker/certs.d:/etc/docker/certs.d


networks:
 devops-service-bridge:
 driver: bridge

阿里云CDN + nginx多级代理获取客户端IP

Wed, 03 Apr 2019 10:01:44 +0800

无Nginx代理场景

业务层通过获取请求头参数即可拿到客户端IP

request.getRemoteAddr();

一级Nginx代理

使用代理后直接读取请求头参数会读取到代理服务器的IP地址，而非真实客户端IP

解决方法是添加Nginx请求头参数提前保存客户端IP

nginx.conf配置加入内容

location / {
 ...
 # IP地址转发
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Real-Port $remote_port;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 }

业务层读取nginx配置的请求头参数即可

public static String getIpAddr(HttpServletRequest request) {
 String ip = request.getHeader("X-Real-IP");
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("Proxy-Client-IP");
 log.info("【Proxy-Client-IP】 {}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("WL-Proxy-Client-IP");
 log.info("【WL-Proxy-Client-IP】{}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("X-Forwarded-For");
 log.info("【X-Forwarded-For】{}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getRemoteAddr();
 log.info("【unknown】{}", ip);
 }
 return ip;
 }

多级Nginx代理

若存在多级Nginx代理，则需要在第一级代理时获取客户端IP，在后续代理逐层传递

第一级代理配置同上，第N级代理配置nginx.conf如下

location /{
 # IP地址转发
 proxy_set_header X-Real-IP $X-Real-IP;
 proxy_set_header X-Real-Port $X-Real-Port;
 proxy_set_header X-Forwarded-For $X-Forwarded-For;
}

业务层保持不变即可读取到传递的IP地址

阿里云CDN转发

在已经存在nginx代理的场景下，加入CDN后源客户端IP在CDN处被转发，故第一级nginx代理使用$remote_addr参数读取到的是CDN服务的地址，而根据一般约定，CDN转发会将IP地址存放在X-Forwarded-For参数下

修改顶级Nginx配置以支持优先获取CDN代理地址，也可以通过修改业务层读取优先级实现

location / {
 ...
 # IP地址转发
 # proxy_set_header X-Real-IP $remote_addr;
 # proxy_set_header X-Real-Port $remote_port;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 }

但经过对阿里云CDN测试，发现X-Forwarded-For下不仅包含真实客户端IP也包含CDN服务IP，故业务层需要做一定的处理进行区分

如图，第一个为真实客户端IP，第二个为CDN代理IP

public static String getIpAddr(HttpServletRequest request) {
 String ip = request.getHeader("X-Real-IP");
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("Proxy-Client-IP");
 log.info("【Proxy-Client-IP】 {}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("WL-Proxy-Client-IP");
 log.info("【WL-Proxy-Client-IP】{}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getHeader("X-Forwarded-For");
 if (ip.contains(",")) {
 // 通过阿里云CDN转发后可能读取到2个IP地址
 String[] cdnMutilIp = ip.split(",");
 ip = cdnMutilIp[0];
 }
 log.info("【X-Forwarded-For】{}", ip);
 }
 if (ip == null || ip.length() == 0 || " unknown ".equalsIgnoreCase(ip)) {
 ip = request.getRemoteAddr();
 log.info("【unknown】{}", ip);
 }
 return ip;
 }
}

Linux面板APPNODE与宝塔横评

Sun, 09 Dec 2018 16:35:04 +0800

宝塔

宝塔从2017年底开始接触并全面在自己服务器上推广使用，到目前为止手上的服务器需要建站数据库之类的都部署了宝塔，同时开发测试环境的服务器为了方便管理也部署了宝塔，可以说用了也算比较长时间了，宝塔的优势也比较明显

1. 界面简单，逻辑明确

系统信息一目了然

2. 软件安装简单

基本都是无脑安装，之前在开发测试环境搭建Redis和MySQL就是通过宝塔快速安装的，5分钟内搭建完毕快速测试，而且卸载的比较干净，特别是如果小白自己下载MySQL编译包安装很容易出现卸载残留导致无法安装新的MySQL

3. 快捷的防火墙管理

宝塔提供的防火墙管理基本满足需求，比使用防火墙命令逐个放行便捷

总结

总的来说宝塔适合建站管理，快速应用部署，但对于复杂的操作还是需要自行通过终端解决，而且防火墙功能有限，抗CC攻击等都需要付费或者搭建其他软件

APPNODE

在最近看到APPNODE这个管理面板，在虚拟机跑了一下发现其功能强大，还是有点意思的。

以下逐一说明（无广告费）

1. 简单安装

其实APPNODE和宝塔都是一键安装，自选服务器环境这些共同点，从这点上来说没什么差别，两者甚至连默认端口号都是一样的。。

装好后的首页，默认展示建站指引（好评，第一次在宝塔建站还是摸索了一会的）

更详细的服务器信息

展示的服务器信息比宝塔详细很多，各项指标都有展示

更丰富的软件市场

和宝塔类似的软件市场，同样种类更多，有些2017年才兴起的小众软件也在里面，也有不少刚需平台例如owncloud、nextcloud，而同样用宝塔搭建私有云还是挺折腾的

功能完备的防火墙管理（重点）

在我看来这个是与宝塔最大的不同，前面那些只要宝塔想加入其实也不难，但这个支持自己配置的防火墙规则，其实内部实现应该是通过nginx代理配置实现，但比宝塔收费的要良心，通过简单设置参数即可抵抗简单的DDOS攻击

攻击测试，通过Apache ab压测进行DDOS攻击

未开启之前所有请求顺利通过

在配置1秒内最大访问次数后成功拦截，1000个请求只有70个有效，说明DDOS流量劫持被成功拦截

更灵活的网站控制

日志、SSL、负载情况、网站更新自动提醒重载nginx等

另外还提供免费SSL证书自动续租，十分好评

总结

APPNODE适合对服务器操作熟悉，需要更大灵活度的定制服务器功能的用户，对于建站灵活度也非常高，而缺点也比较明显，功能多必然带来操作复杂，许多功能小白可能没听过，乱操作一波可能会翻车。。

极力推荐的网络加速（梯子）服务

Sun, 09 Dec 2018 11:17:00 +0800

地址

~~5折圣诞优惠码：CHRISTMASANDNEWYEAR ，账户内现有产品可使用优惠码 RENEW2019 获得 35% off 续约折扣~~

AAEX

原因

从最开始使用免费账号到坚持自建服务器搭建专线梯子，一直认为专线梯子才是王道，何必花钱购买别人的昂贵加速服务，然而。。直到发现AAEX。。其与自建服务器区别如下

默认套餐

默认套餐对自建服务器的吸引不大而且和其他服务提供商产品类型差不多，适用于视频搬运。另外，因为自建服务器成本和套餐差距不大，除了需要自己维护之外没太大区别，而且自建服务器还有台服务器可以折腾

对于本人来说一般就偶尔看个视频，自建服务器一个月才3-5刀，还不限流量，但缺点也是节点有限，而且带宽流量极大浪费，然后发现了另一个隐藏套餐

固定流量包

这个就比较有意思了，按量付费，和买运营商流量包一样，按需购买，还不清零，永久有效，对于查阅资料，游戏玩家来说还是非常友好的，而且所有节点均可用

本人试了下买了200多G的流量套餐100块，38个节点随便用，全平台支持（好评，特别是苹果用户，下载客户端非常麻烦，而且一般还要付费），AAEX官方提供appleID下载梯子app（满分）

效果

常见的控制台，多个香港节点，延迟低带宽大

使用RSS订阅客户端自动更新节点，同时带有流量统计，比原生的SSR体验好了不少

全节点均可用

通过在线视频和网页测试基本秒开，在线4K无压力，带宽也能跑满本地带宽（20M）

总结

一趟测试下来，优点如下

无需自己购买和搭建服务器
无需担心IP被墙
多节点选择，延迟低（自建服务器香港、日本机房贼贵）
固定流量包，不清零
全平台支持

用了这个之后基本就告别自建服务器的梯子了。。

Mesos集群安装

Wed, 03 Oct 2018 22:10:00 +0800

基础环境

4台服务器，一台外部客户机

安装指南

官方支持C++源码编译安装和Docker安装

C++源码编译安装地址

Docker镜像仓库

停止所有容器命令

docker stop $(docker ps -a -q)
docker rm $(docker ps -a -q)

安装

mesos主节点

node1

docker pull mesosphere/mesos-master:1.7.0

node2(host)

docker run --name mesos-zookeeper -p 2181:2181 --restart always -d zookeeper:3.5

node1执行脚本(需替换zk IP地址)

MESOS_QUORUM=1即1为单机运行，3个节点为2，计算方式为 n÷2+1 \

若不手动指定hostname映射的IP，则所有节点默认通过主机名进行通信

使用host通信脚本

docker run -d --net=host \
 -e MESOS_PORT=5050 \
 -e MESOS_ZK=zk://192.168.0.32:2181/mesos \
 -e MESOS_QUORUM=1 \
 -e MESOS_REGISTRY=in_memory \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/work/mesos:/var/tmp/mesos" \
 -p 5050:5050 \
 --name=mesos-master \
 mesosphere/mesos-master:1.7.0 \

使用IP通信脚本

docker run -d --net=host \
 --hostname=192.168.0.32 \
 -e MESOS_PORT=5050 \
 -e MESOS_ZK=zk://192.168.0.32:2181/mesos \
 -e MESOS_QUORUM=1 \
 -e MESOS_REGISTRY=in_memory \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/work/mesos:/var/tmp/mesos" \
 -p 5050:5050 \
 --name=mesos-master \
 mesosphere/mesos-master:1.7.0 \
 --no-hostname_lookup \
 --ip=192.168.0.33

查看日志

docker logs mesos-master

成功输出日志

I1003 08:41:29.868827 14 group.cpp:341] Group process (zookeeper-group(2)@192.168.0.33:5050) connected to ZooKeeper
I1003 08:41:29.868902 14 group.cpp:831] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)
I1003 08:41:29.868921 14 group.cpp:419] Trying to create path '/mesos' in ZooKeeper
I1003 08:41:29.902194 14 contender.cpp:268] New candidate (id='1') has entered the contest for leadership
I1003 08:41:29.904409 8 detector.cpp:152] Detected a new leader: (id='1')
I1003 08:41:29.904513 8 group.cpp:700] Trying to get '/mesos/json.info_0000000001' in ZooKeeper
I1003 08:41:29.912968 8 zookeeper.cpp:262] A new leading master (UPID=master@192.168.0.33:5050) is detected
I1003 08:41:29.913091 8 master.cpp:2113] Elected as the leading master!
I1003 08:41:29.913115 8 master.cpp:1668] Recovering from registrar
I1003 08:41:29.916913 11 registrar.cpp:383] Successfully fetched the registry (0B) in 3.734016ms
I1003 08:41:29.917054 11 registrar.cpp:487] Applied 1 operations in 26us; attempting to update the registry
I1003 08:41:29.918582 11 registrar.cpp:544] Successfully updated the registry in 1.449984ms
I1003 08:41:29.918630 11 registrar.cpp:416] Successfully recovered registrar
I1003 08:41:29.918772 8 master.cpp:1782] Recovered 0 agents from the registry (121B); allowing 10mins for agents to reregister

访问IP:5050，对于PWD，可以访问http://SSHIP-5050.direct.labs.play-with-docker.com/#/，将SSH ip替换成实际提供的IP即可

mesos从节点

node3 (slave-1)、node4(slave-2)

启动脚本

使用host通信脚本

mkdir /cgroup
docker run -d --net=host --privileged \
 -e MESOS_PORT=5051 \
 -e MESOS_MASTER=zk://192.168.0.32:2181/mesos \
 -e MESOS_SWITCH_USER=0 \
 -e MESOS_CONTAINERIZERS=docker,mesos \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/tmp/mesos:/var/tmp/mesos" \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v /cgroup:/cgroup \
 -v /sys:/sys \
 -v "$(which docker):/usr/local/bin/docker" \
 --name=mesos-slave \
 -p 5051:5051 \
 mesosphere/mesos-slave:1.7.0 \
 --no-systemd_enable_support

使用IP通信脚本，--ip需要改成实际IP

mkdir /cgroup
docker run -d --net=host --privileged \
 -e MESOS_PORT=5051 \
 -e MESOS_MASTER=zk://192.168.0.32:2181/mesos \
 -e MESOS_SWITCH_USER=0 \
 -e MESOS_CONTAINERIZERS=docker,mesos \
 -e MESOS_LOG_DIR=/var/log/mesos \
 -e MESOS_WORK_DIR=/var/tmp/mesos \
 -v "$(pwd)/log/mesos:/var/log/mesos" \
 -v "$(pwd)/tmp/mesos:/var/tmp/mesos" \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v /cgroup:/cgroup \
 -v /sys:/sys \
 -v "$(which docker):/usr/local/bin/docker" \
 --name=mesos-slave \
 -p 5051:5051 \
 mesosphere/mesos-slave:1.7.0 \
 --no-systemd_enable_support \
 --no-hostname_lookup \
 --ip=192.168.0.31

查看日志

docker logs mesos-slave

启动成功日志

I1003 09:05:08.615039 12 group.cpp:341] Group process (zookeeper-group(1)@192.168.0.31:5051) connected to ZooKeeper
I1003 09:05:08.615104 12 group.cpp:831] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)
I1003 09:05:08.615121 12 group.cpp:419] Trying to create path '/mesos' in ZooKeeper
I1003 09:05:08.618291 13 state.cpp:66] Recovering state from '/var/tmp/mesos/meta'
I1003 09:05:08.618405 15 slave.cpp:6930] Finished recovering checkpointed state from '/var/tmp/mesos/meta', beginning agent recovery
I1003 09:05:08.618475 8 task_status_update_manager.cpp:207] Recovering task status update manager
I1003 09:05:08.618628 8 docker.cpp:908] Recovering Docker containers
I1003 09:05:08.626359 13 detector.cpp:152] Detected a new leader: (id='3')
I1003 09:05:08.626487 15 group.cpp:700] Trying to get '/mesos/json.info_0000000003' in ZooKeeper
I1003 09:05:08.628664 15 zookeeper.cpp:262] A new leading master (UPID=master@192.168.0.33:5050) is detected
I1003 09:05:08.997036 15 docker.cpp:921] Got the list of Docker containers
I1003 09:05:08.997324 15 docker.cpp:1157] Finished processing orphaned Docker containers
I1003 09:05:08.997436 8 slave.cpp:7159] Recovering executors
I1003 09:05:08.997553 8 slave.cpp:7312] Finished recovery
I1003 09:05:08.998044 11 task_status_update_manager.cpp:181] Pausing sending task status updates
I1003 09:05:08.998045 8 slave.cpp:1275] New master detected at master@192.168.0.33:5050
I1003 09:05:08.998159 8 slave.cpp:1329] No credentials provided. Attempting to register without authentication
I1003 09:05:08.998181 8 slave.cpp:1340] Detecting new master
I1003 09:05:09.446756 11 slave.cpp:1500] Registered with master master@192.168.0.33:5050; given agent ID b597695d-6e37-418a-9879-4ffe46117e17-S0
I1003 09:05:09.449091 10 task_status_update_manager.cpp:188] Resuming sending task status updates

访问主节点web界面可看见资源邀约有效

节点情况

marathon安装

node5

启动脚本

docker run -d --net=host \
 -p 8080:8080 \
 mesosphere/marathon:latest \
 --master zk://192.168.0.32:2181/mesos \
 --zk zk://192.168.0.32:2181/marathon

通过IP:8080查看运行结果

marathon-lb安装

node6

启动脚本

docker run -d -e PORTS=9090 --net=host \
 -p 9090:9090 \
 mesosphere/marathon-lb sse \
 --group external \
 --marathon http://192.168.0.29:8080

访问IP:9090/haproxy?stats可查看启动状态

OpenVZ安装BBR加速

Sat, 15 Sep 2018 22:45:00 +0800

服务器信息

服务商

VPS为hiformance廉价VPS，OpenVZ虚拟化方式，可以通过virt-what命令查询，CentOS安装命令

yum install -y virt-what

查询虚拟化方式

[root@iYdQ3O-server ~]# virt-what
openvz

硬件信息

内存：8G（连续买3年）
CPU：2核
硬盘：20G SSD
流量：4T/月
带宽：1Gbps
IPv4：1个
优惠价：8.99美元/年（QN网络）

另外补充一点，hiformance运营商比较迷的是，如果购买的是CN2网络，即亚洲优化网络，则有两个虚拟化同时并存的情况

[root@BYr3tC-server ~]# virt-what
openvz
lxc

而两种虚拟化并存就导致其既不能装OpenVZ平台的BBR加速方式，又因为不是KVM虚拟化，没有系统内核，无法通过升级内核的方式安装KVM平台的BBR加速，所以目前建议购买hiformance的还是买QN网络比较好

加速方式

目前（2018-09-15）OpenVZ平台上有5种可选方案

参考链接

方案简单分析

本人并没有尝试全部方案，从方案实现上大致分析下

UML

其Alpine linux 小内存版对低内存机器较为友好，但UML是装完 ssr 和 bbr 就已经运行了，不确定SSR账号的安全性，以及安装的SSR不清楚是否是原版，故有安全隐患
LKL

LKL是比较多人使用的解决方案，但亲自尝试了几次，发现并不容易安装成功，而且安装失败没有友好的报错提示
Rinetd

Rinetd原版通过全配置文件配置，使用Rinetd可以不用开启服务器的TUN/TAP功能，更为友好，但不支持端口号段配置
NanQinLang

NanQinLang有两个分支，一个是基于Rinetd修改版，一个是基于haproxy修改版，本次采用其Rinetd修改版，由于haproxy修改版虽然支持端口号段，并且加速也没问题，但存在haproxy经常挂掉的问题，而根据其作者在GitHub上的回复，换用 rinetd 没有这些毛病

BBR安装

本次采用方案为NanQinLang基于Rinetd修改版，官方开源地址

系统环境

系统版本为最新版

[root@BYr3tC-server ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

安装

傻瓜式命令安装，中文引导

wget https://github.com/tcp-nanqinlang/lkl-rinetd/releases/download/1.1.0/tcp_nanqinlang-rinetd-centos.sh
bash tcp_nanqinlang-rinetd-centos.sh

安装好后可以通过配置文件增加端口，配置文件在目录/home/tcp_nanqinlang

[root@iYdQ3O-server ~]# cd /home/tcp_nanqinlang
[root@iYdQ3O-server tcp_nanqinlang]# ls
config-port.conf config-rinetd.sh nohup.out rinetd rinetd.1
[root@iYdQ3O-server tcp_nanqinlang]# vi config-port.conf

端口配置文件config-port.conf

0.0.0.0 8001 0.0.0.0 8001
0.0.0.0 8888 0.0.0.0 8888
0.0.0.0 8080 0.0.0.0 8080
0.0.0.0 8085 0.0.0.0 8085
0.0.0.0 8086 0.0.0.0 8086
0.0.0.0 8087 0.0.0.0 8087
0.0.0.0 8088 0.0.0.0 8088
0.0.0.0 8089 0.0.0.0 8089
0.0.0.0 9000 0.0.0.0 9000

速度测试

使用superbench进行网速测试

使用前

如下可见，启用前国内的速度平均在4Mbps左右，十足的小水管，而国外基本有百兆以上的性能

使用后

加速后提升明显，国内速度平均45Mbps，对于大多数家庭20M宽带来说已经稳定跑满

VPS性能测试

Thu, 13 Sep 2018 13:00:22 +0800

测试命令

采用superbench

wget -qO- --no-check-certificate https://raw.githubusercontent.com/oooldking/script/master/superbench.sh | bash

OpenVZ

以手上的HiFormance VPS为例，superbench自动识别虚拟化平台和硬件信息，并对国内不同地点、不同运营商的上行、下行速度测试和延迟测试

HiFormance 亚洲优化线路，由于HiFormance 亚洲优化线路虚拟化平台是OpenVZ+lxc，故无法安装BBR加速

HiFormance 普通线路，启用了BBR加速

KVM

以搬瓦工VPS为例，平台识别正常

搬瓦工VPS，亚洲优化，启用BBR

阿里云ECS 1Mbps带宽，识别正常

物理机

识别平台为独立主机

gitlab-ce安装配置

Sun, 19 Aug 2018 16:39:00 +0800

系统预配置

关闭防火墙

[root@localhost ~]# systemctl stop firewalld

关闭防火墙开机启动

[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

关闭强制访问控制安全策略

vi /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded. SELINUX=enforcing
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection. SELINUXTYPE=targeted

SELINUX=enforcing改成SELINUX=disabled

reboot使禁用操作生效

查看操作是否生效

[root@localhost ~]# getenforce
Disabled

安装Gitlab依赖

yum install curl policycoreutils openssh-server openssh-clients postfixs

[root@localhost ~]# yum install curl policycoreutils openssh-server openssh-clients postfixs
已加载插件：fastestmirror
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base | 3.6 kB 00:00:00
extras | 3.4 kB 00:00:00
updates | 3.4 kB 00:00:00
(1/4): base/7/x86_64/group_gz | 166 kB 00:00:00
(2/4): extras/7/x86_64/primary_db | 174 kB 00:00:00
(3/4): base/7/x86_64/primary_db | 5.9 MB 00:00:01
(4/4): updates/7/x86_64/primary_db | 5.0 MB 00:00:02
软件包 curl-7.29.0-46.el7.x86_64 已安装并且是最新版本
软件包 policycoreutils-2.5-22.el7.x86_64 已安装并且是最新版本
软件包 openssh-server-7.4p1-16.el7.x86_64 已安装并且是最新版本
软件包 openssh-clients-7.4p1-16.el7.x86_64 已安装并且是最新版本
没有可用软件包 postfixs。
无须任何处理

下载gitlab仓库源

curl -sS https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh | sudo bash

启动邮件服务

[root@localhost ~]# systemctl start postfix

配置开机启动

[root@localhost ~]# systemctl enable postfix

安装gitlab

yum -y install gitlab-ce

配置SSL证书

mkdir -p /etc/gitlab/ssl

创建本地私有秘钥

[root@localhost ~]# openssl genrsa -out "/etc/gitlab/ssl/gitlab.fjy8018.top.key" 2048
Generating RSA private key, 2048 bit long modulus
..................................................+++
......................+++
e is 65537 (0x10001)

创建CSR证书

[root@localhost ~]# openssl req -new -key "/etc/gitlab/ssl/gitlab.fjy8018.top.key" -out "/etc/gitlab/ssl/gitlab.fjy8018.top.csr"
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:cn
State or Province Name (full name) []:gd
Locality Name (eg, city) [Default City]:gz
Organization Name (eg, company) [Default Company Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (eg, your name or your server's hostname) []:gitlab.fjy8018.top
Email Address []:admin@example.com

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:12345678
An optional company name []:

查看证书是否成功创建

[root@localhost ~]# cd /etc/gitlab/ssl
[root@localhost ssl]# ll
总用量 8
-rw-r--r-- 1 root root 1070 8月 18 11:11 gitlab.fjy8018.top.csr
-rw-r--r-- 1 root root 1675 8月 18 11:08 gitlab.fjy8018.top.key

创建签署证书

利用秘钥和csr证书创建签署证书 X.509为证书格式 365为有效期

[root@localhost ssl]# openssl x509 -req -days 365 -in "/etc/gitlab/ssl/gitlab.fjy8018.top.csr" -signkey "/etc/gitlab/ssl/gitlab.fjy8018.top.key" -out "/etc/gitlab/ssl/gitlab.fjy8018.top.crt"
Signature ok
subject=/C=cn/ST=gd/L=gz/O= /OU= /CN=gitlab.fjy8018.top/emailAddress=admin@example.com
Getting Private key

查看证书目录

[root@localhost ssl]# ll
总用量 12
-rw-r--r-- 1 root root 1265 8月 18 11:14 gitlab.fjy8018.top.crt
-rw-r--r-- 1 root root 1070 8月 18 11:11 gitlab.fjy8018.top.csr
-rw-r--r-- 1 root root 1675 8月 18 11:08 gitlab.fjy8018.top.key

输出pem证书

openssl dhparam -out /etc/gitlab/ssl/dhparams.pem 2048

[root@localhost ssl]# ll
总用量 16
-rw-r--r-- 1 root root 424 8月 18 11:17 dhparams.pem
-rw-r--r-- 1 root root 1265 8月 18 11:14 gitlab.fjy8018.top.crt
-rw-r--r-- 1 root root 1070 8月 18 11:11 gitlab.fjy8018.top.csr
-rw-r--r-- 1 root root 1675 8月 18 11:08 gitlab.fjy8018.top.key

证书创建完成修改证书权限

[root@localhost ssl]# chmod 700 *

查看权限

[root@localhost ssl]# ll
总用量 16
-rw------- 1 root root 424 8月 18 11:17 dhparams.pem
-rw------- 1 root root 1265 8月 18 11:14 gitlab.fjy8018.top.crt
-rw------- 1 root root 1070 8月 18 11:11 gitlab.fjy8018.top.csr
-rw------- 1 root root 1675 8月 18 11:08 gitlab.fjy8018.top.key

配置gitlab证书文件

vi /etc/gitlab/gitlab.rb

修改external_url为https的域名

external_url 'https://gitlab.fjy8018.top'

检索重定向配置，启用重定向

# nginx['client_max_body_size'] = '250m'
 nginx['redirect_http_to_https'] = true
# nginx['redirect_http_to_https_port'] = 80

修改下方crt配置原始为# nginx['ssl_certificate'] = "/etc/gitlab/ssl/#{node['fqdn']}.crt" 修改为nginx['ssl_certificate'] = "/etc/gitlab/ssl/gitlab.fjy8018.top.crt" key、ssl_dhparam同样配置

nginx['ssl_certificate_key'] = "/etc/gitlab/ssl/gitlab.fjy8018.top.key"
nginx['ssl_dhparam'] = "/etc/gitlab/ssl/dhparams.pem" # Path to dhparams.pem, eg. /etc/gitlab/ssl/dhparams.pem

初始化配置文件

gitlab-ctl reconfigure

修改gitlab的nginx配置文件

vi /var/opt/gitlab/nginx/conf/gitlab-http.conf

搜索server_name

 server_name gitlab.fjy8018.top;

并在下方添加重定向HTTP请求

 rewrite ^(.*)$ https://$hosst1 permanent;

使nginx配置生效

[root@localhost ssl]# gitlab-ctl restart

所有服务启动成功

访问成功

Ansible安装配置

Sun, 19 Aug 2018 16:38:00 +0800

ansible官方文档指南

系统预配置

关闭防火墙

[root@localhost ~]# systemctl stop firewalld

关闭防火墙开机启动

[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

关闭强制访问控制安全策略

vi /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=enforcing
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

SELINUX=enforcing改成SELINUX=disabled

reboot使禁用操作生效

查看操作是否生效

[root@localhost ~]# getenforce
Disabled

安装Python3

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz

解压编译包

tar xf Python-3.7.0.tar.xz

查看文件

[root@localhost ~]# ls
anaconda-ks.cfg Python-3.7.0 Python-3.7.0.tar.xz
[root@localhost ~]# cd Python-3.7.0

安装OpenSSL依赖，否则使用pip3.7会报找不到SSL模块错误

yum install openssl-devel

设定编译参数，/usr/local为安装位置，–with-ensurepip=install指定安装包管理工具，–enable-shared配置Python匹配系统参数

[root@localhost Python-3.7.0]# ./configure --prefix=/usr/local --with-ensurepip=install --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib" --with-ssl
checking build system type... x86_64-pc-linux-gnu
checking host system type... x86_64-pc-linux-gnu
checking for python3.7... no
checking for python3... no
checking for python... python
checking for --enable-universalsdk... no
checking for --with-universal-archs... no
checking MACHDEP... checking for --without-gcc... no
checking for --with-icc... no
checking for gcc... no
checking for cc... no
checking for cl.exe... no
configure: error: in `/root/Python-3.7.0':
configure: error: no acceptable C compiler found in $PATH
See `config.log' for more details

报错为找不到C编译器，由于系统为最小化安装，没有自带gcc编译器安装gcc

yum install gcc

再次编译，编译通过安装编译文件

 make && make altinstall

日志如下

Traceback (most recent call last):
 File "/root/Python-3.7.0/Lib/runpy.py", line 193, in _run_module_as_main
 "__main__", mod_spec)
 File "/root/Python-3.7.0/Lib/runpy.py", line 85, in _run_code
 exec(code, run_globals)
 File "/root/Python-3.7.0/Lib/ensurepip/__main__.py", line 5, in <module>
 sys.exit(ensurepip._main())
 File "/root/Python-3.7.0/Lib/ensurepip/__init__.py", line 204, in _main
 default_pip=args.default_pip,
 File "/root/Python-3.7.0/Lib/ensurepip/__init__.py", line 117, in _bootstrap
 return _run_pip(args + [p[0] for p in _PROJECTS], additional_paths)
 File "/root/Python-3.7.0/Lib/ensurepip/__init__.py", line 27, in _run_pip
 import pip._internal
zipimport.ZipImportError: can't decompress data; zlib not available

make: *** [altinstall] 错误 1

编译报错，找不到zlib，同理，安装zlib

yum -y install zlib*

另外，此时安装的是3.7版本，3.7版本需要一个新的包libffi-devel否则也会编译报错

yum install libffi-devel -y

安装成功

Python3.7对应的包管理工具pip版本也为3.7，查看其路径

[root@localhost Python-3.7.0]# which pip3.7
/usr/local/bin/pip3.7

设置软链接

ln -s /usr/local/bin/pip3.7 /usr/local/bin/pip

安装virtualenv

安装virtualenv，用于隔离Python环境

pip install virtualenv

安装git工具及其依赖

yum -y install git nss curl

创建ansible账户

useradd ansible

切换用户

[root@localhost Python-3.7.0]# su - ansible
[ansible@localhost ~]$

在ansible用户下创建virtualenv实例，用于集成ansible2.5

virtualenv -p /usr/local/bin/python3.7 .py3-a2.5-env

源码安装git-ansible2.5

cd /home/ansible/.py3-a2.5-env

下载源码

git clone https://github.com/ansible/ansible.git

加载virtualenv环境

[ansible@localhost .py3-a2.5-env]$ source /home/ansible/.py3-a2.5-env/bin/activate
(.py3-a2.5-env) [ansible@localhost .py3-a2.5-env]$

安装ansible依赖

pip install paramiko PyYAML jinja2

查看文件

(.py3-a2.5-env) [ansible@localhost .py3-a2.5-env]$ ll
总用量 8
drwxrwxr-x 14 ansible ansible 4096 8月 18 20:24 ansible
drwxrwxr-x 2 ansible ansible 248 8月 18 20:16 bin
drwxrwxr-x 2 ansible ansible 24 8月 18 20:13 include
drwxrwxr-x 3 ansible ansible 23 8月 18 20:13 lib
-rw-rw-r-- 1 ansible ansible 59 8月 18 20:16 pip-selfcheck.json

移动源码至虚拟环境

mv ansible/ .py3-a2.5-env/

进入虚拟环境源码目录

(.py3-a2.5-env) [ansible@localhost .py3-a2.5-env]$ cd .py3-a2.5-env/
(.py3-a2.5-env) [ansible@localhost .py3-a2.5-env]$ ll
总用量 108
drwxrwxr-x 2 ansible ansible 223 8月 18 20:24 bin
drwxrwxr-x 3 ansible ansible 63 8月 18 20:24 changelogs
-rw-rw-r-- 1 ansible ansible 10591 8月 18 20:24 CODING_GUIDELINES.md
drwxrwxr-x 4 ansible ansible 53 8月 18 20:24 contrib
-rw-rw-r-- 1 ansible ansible 35148 8月 18 20:24 COPYING
drwxrwxr-x 7 ansible ansible 71 8月 18 20:24 docs
-rw-rw-r-- 1 ansible ansible 48 8月 18 20:24 docsite_requirements.txt
drwxrwxr-x 4 ansible ansible 192 8月 18 20:24 examples
drwxrwxr-x 5 ansible ansible 305 8月 18 20:24 hacking
drwxrwxr-x 3 ansible ansible 21 8月 18 20:24 lib
drwxrwxr-x 2 ansible ansible 78 8月 18 20:24 licenses
-rw-rw-r-- 1 ansible ansible 13452 8月 18 20:24 Makefile
-rw-rw-r-- 1 ansible ansible 557 8月 18 20:24 MANIFEST.in
-rw-rw-r-- 1 ansible ansible 201 8月 18 20:24 MODULE_GUIDELINES.md
drwxrwxr-x 10 ansible ansible 120 8月 18 20:24 packaging
-rw-rw-r-- 1 ansible ansible 5265 8月 18 20:24 README.rst
-rw-rw-r-- 1 ansible ansible 371 8月 18 20:24 requirements.txt
-rw-rw-r-- 1 ansible ansible 10586 8月 18 20:24 setup.py
-rw-rw-r-- 1 ansible ansible 3287 8月 18 20:24 shippable.yml
drwxrwxr-x 10 ansible ansible 121 8月 18 20:24 test
-rw-rw-r-- 1 ansible ansible 1103 8月 18 20:24 tox.ini

切换版本

(.py3-a2.5-env) [ansible@localhost .py3-a2.5-env]$ git checkout stable-2.5

分支 stable-2.5 设置为跟踪来自 origin 的远程分支 stable-2.5。切换到一个新分支 ‘stable-2.5’

(.py3-a2.5-env) [ansible@localhost ansible]$ git branch
 devel
* stable-2.5

(.py3-a2.5-env) [ansible@localhost ansible]$ pwd
/home/ansible/.py3-a2.5-env/ansible

加载ansible2.5版本

source /home/ansible/.py3-a2.5-env/ansible/hacking/env-setup -q

验证版本

(.py3-a2.5-env) [ansible@localhost ansible]$ ansible --version
ansible 2.5.8 (stable-2.5 b23b1c2ee0) last updated 2018/08/18 20:35:45 (GMT +800)
 config file = None
 configured module search path = ['/home/ansible/.ansible/plugins/modules', '/usr/share/ansible/plugins/modules']
 ansible python module location = /home/ansible/.py3-a2.5-env/ansible/lib/ansible
 executable location = /home/ansible/.py3-a2.5-env/ansible/bin/ansible
 python version = 3.7.0 (default, Aug 18 2018, 20:09:08) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)]

从零开始部署Rancher

Sat, 11 Aug 2018 11:41:00 +0800

基础环境部署

基础环境使用CentOS 7，版本号为1804，部署在本地虚拟机VM上

安装CentOS+docker

CentOS下载地址

使用最小安装，ISO镜像大小为906MB，在VM中导入镜像，给4G内存（Rancher2.0最低要求），安装过程系统配置均为默认配置

安装好后为纯净环境，使用ip addr即可查看ip，使用外部远程连接工具连接虚拟机ip

使用yum install docker安装docker环境

安装好后使用命令systemctl start docker启动docker 使用 docker info或者docker version查看版本

[root@localhost ~]# docker version
Client:
 Version: 1.13.1
 API version: 1.26
 Package version: docker-1.13.1-68.gitdded712.el7.centos.x86_64
 Go version: go1.9.4
 Git commit: dded712/1.13.1
 Built: Tue Jul 17 18:34:48 2018
 OS/Arch: linux/amd64

Server:
 Version: 1.13.1
 API version: 1.26 (minimum version 1.12)
 Package version: docker-1.13.1-68.gitdded712.el7.centos.x86_64
 Go version: go1.9.4
 Git commit: dded712/1.13.1
 Built: Tue Jul 17 18:34:48 2018
 OS/Arch: linux/amd64
 Experimental: false

安装Rancher

为了加速Rancher下载速度，需要配置docker镜像下载地址，此处提供一个阿里云的镜像地址

{
 "registry-mirrors": ["https://fy707np5.mirror.aliyuncs.com"]
}

使用命令编辑docker镜像地址 vi /etc/docker/daemon.json 保存后重载配置systemctl daemon-reload 重启docker服务systemctl restart docker 镜像地址配置完成

访问Rancher官网查看docker命令 Rancher英文官网

Rancher中文官网

访问quickstart查看docker命令

目前Rancher官方开始推荐2.0版本，首次使用推荐使用1.6稳定版

在下方找到1.6文档，使用命令在虚拟机中安装Rancher1.6

sudo docker run -d --restart=unless-stopped -p 8080:8080 rancher/server:stable

配置防火墙

安装后若没有打开8080端口则会报错，配置CentOS防火墙来源：[莫小安-CentOS7使用firewalld打开关闭防火墙与端口][10]

1、firewalld的基本使用启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用： systemctl disable firewalld 开机启用： systemctl enable firewalld

2.systemctl是CentOS7的服务管理工具中主要的工具，它融合之前service和chkconfig的功能于一体。启动一个服务：systemctl start firewalld.service 关闭一个服务：systemctl stop firewalld.service 重启一个服务：systemctl restart firewalld.service 显示一个服务的状态：systemctl status firewalld.service 在开机时启用一个服务：systemctl enable firewalld.service 在开机时禁用一个服务：systemctl disable firewalld.service 查看服务是否开机启动：systemctl is-enabled firewalld.service 查看已启动的服务列表：systemctl list-unit-files|grep enabled 查看启动失败的服务列表：systemctl –failed

3.配置firewalld-cmd

查看版本： firewall-cmd –version 查看帮助： firewall-cmd –help 显示状态： firewall-cmd –state 查看所有打开的端口： firewall-cmd –zone=public –list-ports 更新防火墙规则： firewall-cmd –reload 查看区域信息: firewall-cmd –get-active-zones 查看指定接口所属区域： firewall-cmd –get-zone-of-interface=eth0 拒绝所有包：firewall-cmd –panic-on 取消拒绝状态： firewall-cmd –panic-off 查看是否拒绝： firewall-cmd –query-panic

那怎么开启一个端口呢添加 firewall-cmd –zone=public –add-port=80/tcp –permanent （–permanent永久生效，没有此参数重启后失效）重新载入 firewall-cmd –reload 查看 firewall-cmd –zone= public –query-port=80/tcp 删除 firewall-cmd –zone= public –remove-port=80/tcp –permanent

通过命令放行8080端口

firewall-cmd --zone=public --add-port=8080/tcp --permanent

重载防火墙

firewall-cmd --reload

查看端口放行情况

 firewall-cmd --zone=public --list-ports

设置Rancher

设置Rancher界面语言

通过虚拟机ip+端口号访问Rancher：http://192.168.79.142:8080

默认为英文界面，Rancher官方有中文支持修改右下方语言选项即可

设置Rancher主机

首次访问需要设置主机

按照默认识别的IP即可，点击保存

选择主机类型，包含自定义主机、亚马逊主机等，此处选择自定义主机

依照指示操作，为了确保通信测试，暂时关闭防火墙

为了测试多台Rancher Server和agent服务，使用VM保存快照并复制一份虚拟机启动目前测试：128为server，129为agent，注意此处填的是客户端的地址，非主机地址

设置Rancher客户端

复制Server的配置命令，在agent服务器上运行，等待下载

按照指示，运行后关闭Server主机配置查看主机列表

也可以添加环境、测试环境、生产环境等

GitLab汉化

Tue, 12 Jun 2018 22:30:00 +0800

准备文件

目前GitLab汉化由xhang维护，故直接克隆其工程到本地目录即可

git clone https://gitlab.com/xhang/gitlab.git

当前GitLab最新版为10.8.4，其他版本自行看release切换到对应的分支或者下载对应的发布版本即可下载完毕为文件夹

修改系统名称别名

CentOS 7中出于安全考虑，设置了部分别名，防止误操作，但在此会导致复制文件需要反复输入y，故将其关闭通过alias查看当前的别名设置，若有alias cp='cp -i'，则说明每次复制文件都会出现提示信息

使用vi ~/.bashrc修改配置文件

source ~/.bashrc使配置文件生效，但还需要重启会话，否则修改的命令可能依旧无效再次查看，此时别名配置修改成功

配置汉化

此处为初次安装汉化，故与补丁方式汉化不同，直接覆盖文件即可覆盖前备份一下

cp -r /opt/gitlab/embedded/service/gitlab-rails{,.ori}

覆盖文件

cp gitlab/* /opt/gitlab/embedded/service/gitlab-rails/ -rf

重启GitLab

gitlab-ctl restart

成功

英文

中文

GitLab跨版本升级

Tue, 12 Jun 2018 21:50:00 +0800

当前版本

当前GitLab版本由宝塔自动安装的8.8.5,但截止至2018-06-12,CentOS的GitLab官方最新版本为10.8.4,显然版本相差较大,故打算跨版本升级至最新版

步骤

升级指南

GitLab社区版不支持直接跨版本升级，需按照官方指南一步步向上升级，若版本越旧，需要跨的版本就越多

下载相关安装包

安装包国内选择清华镜像站速度较快，教育网还有蜜汁加成

若升级其他版本也可自行Ctrl+F

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.17.7-ce.0.el7.x86_64.rpm
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-9.5.8-ce.0.el7.x86_64.rpm
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-10.1.4-ce.0.el7.x86_64.rpm
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-10.8.4-ce.0.el7.x86_64.rpm

升级

关闭GitLab核心服务

gitlab-ctl stop unicorn
gitlab-ctl stop sidekiq
gitlab-ctl stop nginx

安装8.17.7

rpm -Uvh gitlab-ce-8.17.7-ce.0.el7.x86_64.rpm

重启服务

若之前从宝塔安装后未配置GitLab的Nginx启动命令则需要自行配置后才能正常启动，操作见文章GitLab修改配置后nginx无法启动重启服务

[root@localhost ~]# gitlab-ctl restart
/opt/gitlab/embedded/lib/ruby/gems/2.3.0/gems/omnibus-ctl-0.3.6/lib/omnibus-ctl.rb:533: warning: Insecure world writable dir /www/server/nvm/versions/node/v8.11.2/bin in PATH, mode 040777
ok: run: gitlab-workhorse: (pid 39809) 1s
ok: run: logrotate: (pid 39821) 0s
ok: run: nginx: (pid 39828) 0s
ok: run: postgresql: (pid 39835) 0s
ok: run: redis: (pid 39844) 0s
ok: run: sidekiq: (pid 39849) 1s
ok: run: unicorn: (pid 39854) 0s

重启后稍等片刻即可访问，查看版本号，已经更新为8.17.7，后续步骤同上

可能的报错

部分CentOS版本较低未自带policycoreutils-python组件可能无法升级至10.x,需要手动

yum -y install policycoreutils-python

完成

更新到10.x后明显启动项都变多了 [root@localhost ~]# gitlab-ctl restart /opt/gitlab/embedded/lib/ruby/gems/2.3.0/gems/omnibus-ctl-0.5.0/lib/omnibus-ctl.rb:684: warning: Insecure world writable dir /www/server/nvm/versions/node/v8.11.2/bin in PATH, mode 040777 ok: run: alertmanager: (pid 45330) 1s ok: run: gitaly: (pid 45336) 0s ok: run: gitlab-monitor: (pid 45346) 1s ok: run: gitlab-workhorse: (pid 45362) 0s ok: run: logrotate: (pid 45369) 1s ok: run: nginx: (pid 45378) 0s ok: run: node-exporter: (pid 45383) 0s ok: run: postgres-exporter: (pid 45387) 1s ok: run: postgresql: (pid 45394) 0s ok: run: prometheus: (pid 45476) 1s ok: run: redis: (pid 45484) 0s ok: run: redis-exporter: (pid 45488) 1s ok: run: sidekiq: (pid 45493) 0s ok: run: unicorn: (pid 45503) 1s

查看版本号，成功

GitLab修改配置后nginx无法启动

Mon, 11 Jun 2018 12:30:00 +0800

起因

在服务器上通过宝塔搭建了GitLab之后一直没修改GitLab的clone域名和IP配置，今天通过命令自定义域名

 vim /etc/gitlab/gitlab.rb

重启配置

 sudo gitlab-ctl reconfigure

显示启动成功，但网页访问无显示

重启整个GitLab服务

 sudo gitlab-ctl restart

Nginx报错无法启动

查找原因

既然报错，那就只能爬日志看看问题在哪里

 gitlab-ctl tail

报文件存在

 chpst: fatal: unable to run: /opt/gitlab/embedded/sbin/nginx: file does not exist

网上查了查，似乎是宝塔的问题，原因应该是为了防止nginx冲突, 把gitlab的nginx启动文件名改成了gitlab-web, 但有个配置文件没改造成的

解决

修改nginx启动文件

 vi /opt/gitlab/sv/nginx/run

把

 exec chpst -P /opt/gitlab/embedded/sbin/nginx -p /var/opt/gitlab/nginx

改为

 exec chpst -P /opt/gitlab/embedded/sbin/gitlab-web -p /var/opt/gitlab/nginx

重启nginx服务，启动成功，问题解决

阿里云CDN加速的一些经历

Mon, 09 Apr 2018 22:54:00 +0800

问题产生

最近有一个新的业务系统上线运行，源站使用8085端口，通过Nginx反向代理到80和443端口，为了保证全国的延迟在50ms以内，故启用CDN加速，仅对js和css等静态文件加速，其余文件自动回源，然而一旦开启了静态文件CDN后，网页便无法渲染（Vue），通过控制台查看，报重定向（301）过多的错误

一旦关闭CDN对js和css的加速后再清除浏览器缓存就立刻可以访问

寻找解决办法

经过网上查阅资料无果后向阿里云提交工单咨询

过程十分曲折，在阿里云工程师的指引下反复修改CDN各种配置，从上午一直修改到晚上10点，更换了3个工程师（从工号判断），其中还包括阿里工程师直接打电话询问问题情况（好评）测试途径包括但不限于：跟随回源协议、抓包等

目前折衷方案

根据阿里的建议，现在只能暂停对静态文件的加速，全部回源到源站

造成的影响

2018年4月9日全天整个业务系统通过域名访问处于崩溃状态，对所有需要访问的客户重定向到IP+端口号的地址，并且该地址还一直被微信拦截（微信拦截非80端口的网址）

Typecho Pinghsu 主题加入备案信息

Sat, 17 Mar 2018 00:01:00 +0800

修改前

一般安装好typecho和主题后默认的底部信息如下，此时发现没有显示ICP备案信息

修改目的

根据国家法律法规要求备案后，是需要在页面底部增加ICP备案信息和链接的，否则将可能会面临相应的处罚

修改教程

首先以admin账号登录控制台，选择修改外观

选择编辑当前外观，打开footer.php

<p>ICP<a href="http://www.miitbeian.gov.cn/" target="_blank"> 粤ICP备18026XXX号</a></p>

最后点击保存即可

最终效果

访问有ICP备案号的博客链接

阿里云CDN加速使用方法

Fri, 16 Mar 2018 23:52:00 +0800

前提条件

使用国内CDN加速服务前提条件几乎都是：网站必须已经备案

CDN作用

CDN（云分发）可以结合优质的网络节点资源、传输路由技术优势，有效降低用户访问延迟，提升可用性。具有按需计费，资源弹性扩容等特点。说白了就是能加快访问速度

教程

开启阿里云CDN服务

在阿里云处购买CDN服务，考虑到仅仅为了学习和测试，因此本人的CDN服务购买流量为20G，开通后会有邮件提醒

配置阿里云CDN

在阿里云首页登录控制台，进入CDN控制台

选择域名管理，添加需要加速的域名

逐步配置

配置HTTPS，上传SSL证书

配置好后等待1-2分钟会生成CDN加速的域名

复制加速域名，登录自己的域名控制台，设置加速域名的解析

配置加速域名解析

解析为CNAME，即解析到另一域名

配置好后等待20-30分钟才会生效

检查加速域名解析是否生效

这里使用Windows powershell命令行工具ping目标地址，若解析到**.kunluncan.com则已经生效

监控

在多次访问后查看监控才会有流量显示，包含命中率和流量信息

多地访问测试

使用第三方网站进行全国多地的ping测试，可看到原本只有一个固定ip的博客网站已经被加速为34+个CDN加速IP地址，国内访问速度均在50ms以内

使用宝塔部署Java Web服务

Wed, 24 Jan 2018 20:30:00 +0800

环境准备

之前的文章讲到使用宝塔搭建树莓派运维环境，搭建nextcloud应用，现在在原有基础上搭建小型Java web服务

工程准备

以下是在Windows环境中用myeclipse编写好的java web工程，将其打包为zip文件

上传工程文件

进入宝塔面板，选择文件，进入Tomcat文件目录/www/server/tomcat/webapps

上传压缩好的工程文件

点击命令行按钮，输入解压命令unzip OrderBooks.zip

解压完成后修改权限为777，所有者为www

修改Tomcat工程配置文件

进入Tomcat下的conf目录，找到``server.xml文件，配置工程的实际路径和地址栏显示路径，path后为显示路径，docBase```为实际路径，修改后保存

开放防火墙端口

进入安全面板，在防火墙中放行8080端口

启动Tomcat服务

进入软件管理面板，找到Tomcat 8 ，点击设置，选择重启

完成

浏览器中打开树莓派IP+8080端口号+server.xml配置的路径名即可看到Java web服务已正常运行

使用宝塔安装nextcloud私有云服务

Wed, 24 Jan 2018 16:49:00 +0800

最终效果

步骤

之前的文章讲到使用宝塔运维树莓派Ubuntu16.04系统，现在在原有基础上搭建个人私有云服务nextcloud，与owncloud搭建方法几乎一致

下载

百度搜索nextcloud即可找到官方下载地址，选择download，下载zip版本文件

准备站点

进入宝塔面板，选择网站，点击添加站点

输入树莓派的局域网地址或域名，根目录为wwwroot

点击文件

默认打开的根目录即wwwroot,此处可见自动生成的站点文件

在浏览器中打开树莓派地址加/index.html可见站点创建成功

上传nextcloud

回到宝塔，点击上传，选择下载好的nextcloud文件，点击上传，直到显示已上传成功

点击命令行按钮

输入解压命令unzip nextcloud-12.0.4.zip，等待其自动解压

刷新根目录可见解压好的文件夹，右边显示所有者为root，显然是错误的

点击权限，对nextcloud文件夹授予775权限

准备数据库

点击数据库，查看数据库密码，若不是通过宝塔安装MySQL服务者无法在此查看密码

使用命令mysql -u root -p，输入密码进入数据库

root@fjy-desktop:/home/fjy# mysql -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 4 Server version: 5.7.21-0ubuntu0.16.04.1 (Ubuntu)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.

Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.

mysql>

输入如下命令创建nextcloud数据库和数据库用户 CREATE DATABASE nextclouddb; GRANT ALL ON nextclouddb.* TO nextclouddbuser@localhost IDENTIFIED BY 'nextcloud'; flush privileges;

mysql> CREATE DATABASE nextclouddb; Query OK, 1 row affected (0.00 sec)

mysql> GRANT ALL ON nextclouddb.* TO nextclouddbuser@localhost IDENTIFIED BY >‘nextcloud’; Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges; Query OK, 0 rows affected (0.00 sec)

准备php扩展环境

nextcloud还需其他的PHP扩展环境，运行命令apt-get install php-mysql php-json php-xml php-mbstring php-zip php-gd curl php-curl >php-pdo自动安装扩展

root@fjy-desktop:/home/fjy# apt-get install php-mysql php-json php-xml php-mbstring php-zip php-gd curl php-curl >php-pdo 正在读取软件包列表… 完成正在分析软件包的依赖关系树正在读取状态信息… 完成注意，选中 ‘php7.0-common’ 而非 ‘php-pdo’ curl 已经是最新版 (7.47.0-1ubuntu2.5)。将会同时安装下列软件： php-common php7.0-curl php7.0-gd php7.0-json php7.0-mbstring php7.0-mysql php7.0-xml php7.0-zip 下列【新】软件包将被安装： php-common php-curl php-gd php-json php-mbstring php-mysql php-xml php-zip php7.0-common php7.0-curl php7.0-gd php7.0-json php7.0-mbstring php7.0-mysql php7.0-xml php7.0-zip 升级了 0 个软件包，新安装了 16 个软件包，要卸载 0 个软件包，有 249 个软件包未被升级。需要下载 1,508 kB 的归档。解压缩后会消耗 6,490 kB 的额外空间。选择Y 您希望继续执行吗？ [Y/n] Y

安装nextcloud

地址栏输入树莓派IP+文件地址即可打开nextcloud页面，此处打开http://192.168.1.187/nextcloud

按照之前设置的信息进行配置，注意，若报SQLSTATE[HY000] [2002]错误，则将localhost改为127.0.0.1

配置后若不会自动跳转则自行输入http://192.168.1.187/nextcloud进行登录

登陆后nextcloud安装完成！

使用宝塔运维Ubuntu 16.04

Tue, 23 Jan 2018 13:11:00 +0800

系统环境

硬件：树莓派3

CPU：四核1.2GHz Broadcom BCM2837 x64 RAM：1GB TF容量：32G U1速度操作系统：ubuntu-mate-16.04.2-desktop-armhf-raspberry-pi 通过简单的方法可烧录TF卡，系统自动安装配置

终端输入sudo raspi-config启动树莓派配置工具，启动ssh服务并开机启动操作步骤参考：玩转树莓派之Ubuntu MATE for the Raspberry 系统安装

安装宝塔

官方安装要求安装要求：内存：128M以上，推荐512M以上（纯面板约占系统10M内存）硬盘：100M以上可用硬盘空间（纯面板约占20M磁盘空间）系统：暂时只对 CentOS 6.x / 7.x /Ubuntu/Debian 确保是干净的操作系统，没有安装过其它环境带的Apache/Nginx/php/MySQL

下面使用putty登录PI，安装宝塔

自动运行如下

root@fjy-desktop:/# wget -O install.sh http://download.bt.cn/install/install-ubuntu.sh && sudo bash install.sh –2018-01-23 13:13:41– http://download.bt.cn/install/install-ubuntu.sh Resolving download.bt.cn (download.bt.cn)… 103.224.251.67 Connecting to download.bt.cn (download.bt.cn)|103.224.251.67|:80… connected. HTTP request sent, awaiting response… 200 OK Length: 13572 (13K) [application/octet-stream] Saving to: ‘install.sh’

install.sh 100%[===================>] 13.25K –.-KB/s in 0s

2018-01-23 13:13:41 (52.5 MB/s) - ‘install.sh’ saved [13572/13572]

+———————————————————————- | Bt-WebPanel 5.x FOR Ubuntu/Debian +———————————————————————- | Copyright © 2015-2017 BT-SOFT(http://www.bt.cn) All rights reserved. +———————————————————————- | The WebPanel URL will be http://SERVER_IP:8888 when installed. +———————————————————————- 下面选择确定，输入小写y Do you want to install Bt-Panel to the /www directory now?(y/n): y 然后等待系统自动安装依赖

安装完成后会显示如下信息，提供了出事登录用户名和IP地址 ================================================================== Congratulations! Install succeeded! ================================================================== Bt-Panel: http://113.83.XX.XXX:8888 username: admin password: 0df18173 Warning: If you cannot access the panel, release the following port (8888|888|80|443|20|21) in the security group ================================================================== Time consumed: 12 Minute!

但ip地址一般都是不对的，请自行输入ip addr查询主机的ip地址

 root@fjy-desktop:/# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
2: enxb827eb9e1f8b: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000
link/ether b8:27:eb:9e:1f:8b brd ff:ff:ff:ff:ff:ff
3: wlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
 link/ether b8:27:eb:cb:4a:de brd ff:ff:ff:ff:ff:ff
 inet 192.168.31.9/24 brd 192.168.31.255 scope global dynamic wlan0
 valid_lft 30658sec preferred_lft 30658sec
 inet6 fe80::ab44:81:1f49:ce98/64 scope link
 valid_lft forever preferred_lft forever

由上可知192.168.31.9就是我树莓派的局域网地址，因此在浏览器登录的地址为http://192.168.31.9:8888

输入默认账号密码即可登录，登录后进入如下页面，提示安装全套web服务组件

这里选择安装LAMP组件套装，因为后面打算安装私有云服务（nextcloud），nextcloud对nginx支持并不友好，需要负载均衡的可以安装LNMP

点击一键安装即可安装状态可以点击左上角的标号查看

点击监软件管理，可以安装其他软件，包括Tomcat、gitlab等，安装Tomcat还会自动配置java和javac环境，可以说是非常的方便

以后要搭建java web服务，因此这里选择安装Tomcat，版本选择8

最后点击监控面板，打开服务器状态监控

一段时间后可查看服务器状态曲线图

有时候安装完成后发现MySQL服务无法被宝塔安装，那么可以到putty中使用命令行自行安装，输入sudo apt-get install mysql-server

root@fjy-desktop:/home/fjy# apt-get install mysql-server 正在读取软件包列表… 完成正在分析软件包的依赖关系树正在读取状态信息… 完成将会同时安装下列软件： libaio1 libcgi-fast-perl libcgi-pm-perl libevent-core-2.0-5 libfcgi-perl libhtml-template-perl mysql-client-5.7 mysql-client-core-5.7 mysql-common mysql-server-5.7 mysql-server-core-5.7 建议安装： libipc-sharedcache-perl mailx tinyca 下列【新】软件包将被安装： libaio1 libcgi-fast-perl libcgi-pm-perl libevent-core-2.0-5 libfcgi-perl libhtml-template-perl mysql-client-5.7 mysql-client-core-5.7 mysql-common mysql-server mysql-server-5.7 mysql-server-core-5.7 升级了 0 个软件包，新安装了 12 个软件包，要卸载 0 个软件包，有 249 个软件包未被升级。需要下载 17.7 MB 的归档。解压缩后会消耗 140 MB 的额外空间。您希望继续执行吗？ [Y/n] Y 之后会弹出如下对话框，输入默认数据库管理员密码即可

有时候安装后会发现Tomcat无法正常启动，进入putty用命令javac，发现未安装jdk

root@fjy-desktop:/var/lib/mysql# javac The program ‘javac’ can be found in the following packages:

default-jdk

ecj

gcj-5-jdk

openjdk-8-jdk-headless

gcj-4.8-jdk

gcj-4.9-jdk Try: apt install root@fjy-desktop:/var/lib/mysql# java -version openjdk version “1.8.0_151” OpenJDK Runtime Environment (build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12) OpenJDK Client VM (build 25.151-b12, mixed mode)

则输入sudo apt-get install openjdk-8-jdk安装jdk环境

root@fjy-desktop:/var/lib/mysql# apt-get install openjdk-8-jdk 正在读取软件包列表… 完成正在分析软件包的依赖关系树正在读取状态信息… 完成将会同时安装下列软件： fonts-dejavu-extra libgif7 libice-dev libpthread-stubs0-dev libsm-dev libx11-dev libx11-doc libxau-dev libxcb1-dev libxdmcp-dev libxt-dev openjdk-8-jdk-headless openjdk-8-jre x11proto-core-dev x11proto-input-dev x11proto-kb-dev xorg-sgml-doctools xtrans-dev 建议安装： libice-doc libsm-doc libxcb-doc libxt-doc openjdk-8-demo openjdk-8-source visualvm icedtea-8-plugin 下列【新】软件包将被安装： fonts-dejavu-extra libgif7 libice-dev libpthread-stubs0-dev libsm-dev libx11-dev libx11-doc libxau-dev libxcb1-dev libxdmcp-dev libxt-dev openjdk-8-jdk openjdk-8-jdk-headless openjdk-8-jre x11proto-core-dev x11proto-input-dev x11proto-kb-dev xorg-sgml-doctools xtrans-dev 升级了 0 个软件包，新安装了 19 个软件包，要卸载 0 个软件包，有 249 个软件包未被升级。需要下载 11.8 MB 的归档。解压缩后会消耗 61.9 MB 的额外空间。您希望继续执行吗？ [Y/n] Y

手动安装JDK后应去Tomcat配置文件中更改JAVA_HOME的路径以确保Tomcat正常运行查看当前系统jre和jdk路径，输入update-alternatives --config java和update-alternatives --config javac

root@fjy-desktop:/etc# update-alternatives –config java 链接组 java (提供 /usr/bin/java)中只有一个候选项：/usr/lib/jvm/java-8-openjdk-ar mhf/jre/bin/java 无需配置。 root@fjy-desktop:/etc# update-alternatives –config javac 链接组 javac (提供 /usr/bin/javac)中只有一个候选项：/usr/lib/jvm/java-8-openjdk- armhf/bin/javac 无需配置。输入root@fjy-desktop:/etc# vi /etc/init.d/tomcat进入Tomcat配置文件找到JAVA_HOME，修改为系统配置的jdk路径默认为 JAVA_HOME=/usr/java/jdk CATALINA_HOME=/www/server/tomcat 改成 JAVA_HOME=JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf/jre CATALINA_HOME=/www/server/tomcat 保存退出即可

第一篇就用来介绍服务器吧

Mon, 22 Jan 2018 14:33:00 +0800

1.域名

博客域名为阿里万网域名，二级域名为fjy8018.top，一次性买了5年博客使用的是三级域名：web.fjy8018.top

2.公网IP

博客ip位于美国洛杉矶，为购买vps主机赠送，试用期一年，因为在国外，所以就免备案~

3.VPS主机配置

CPU 至强E5 单核内存 ECC 512M 硬盘 SSD 10G 带宽 1GMbps 流量 1T/月

4.服务主机

服务主机位于中国广东电信内网，通过frp映射到美国vps

5.主机配置

CPU I5-2500s 内存 DDR3-1600 4G 硬盘 2.5inch 1T 5400PRM 其他 NEC二手机箱，主板，电源，风扇网络千兆网卡 操作系统 CentOS 7 x64

至于如何运维CentOS ，Putty大法好！