Kubesphere on F嘉阳

Kubesphere落地DevOps

Sat, 19 Jun 2021 22:16:00 +0800

创建企业空间

创建一个企业空间和一个帐户 (project-admin)，必须邀请该帐户至该企业空间并赋予 workspace-self-provisioner 角色。

进入企业空间，切换到DevOps工程，点击创建

创建工程

安装helm

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

找不到环境变量报错

安装helm遇到报错

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash
 % Total % Received % Xferd Average Speed Time Time Time Current
unset -f pathmunge
 Dload Upload Total Spent Left Speed
100 11248 100 11248 0 0 61543 0 --:--:-- --:--:-- --:--:-- 61802
Helm v3.6.0 is available. Changing from version v3.2.1.
Downloading https://get.helm.sh/helm-v3.6.0-linux-amd64.tar.gz
Verifying checksum... Done.
Preparing to install helm into /usr/local/bin
helm installed into /usr/local/bin/helm
helm not found. Is /usr/local/bin on your $PATH?
Failed to install helm
 For support, go to https://github.com/helm/helm.

则需要配置环境变量

$ vi /etc/profile
# 添加配置
export PATH=/usr/local/bin:$PATH

$ source /etc/profile

验证

$ helm version
version.BuildInfo{Version:"v3.6.0", GitCommit:"7f2df6467771a75f5646b7f12afb408590ed1755", GitTreeState:"clean", GoVersion:"go1.16.3"}

安装SonarQube

执行以下命令安装 SonarQube 服务器

$ helm upgrade --install sonarqube sonarqube --repo https://charts.kubesphere.io/main -n kubesphere-devops-system --create-namespace --set service.type=NodePort

输出

执行以下命令以获取 SonarQube NodePort

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services sonarqube-sonarqube)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT

输出

此时可在kubesphere控制台中看到sonar服务

配置 SonarQube 服务器

访问地址，点击右上角的 Log in，然后使用默认帐户 admin/admin 登录。

创建 SonarQube 管理员令牌 (Token)

点击右上角字母 A，然后从菜单中选择 My Account 以转到 Profile 页面。

生成token

创建 Webhook 服务器

执行以下命令获取 SonarQube Webhook 的地址。

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services ks-jenkins)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT/sonarqube-webhook/

输出

依次点击 Administration、Configuration 和 Webhooks 创建一个 Webhook。

点击 Create

由于webhook都通过内部网络调用，故可以使用内部网络地址

将 SonarQube 配置添加到 ks-installer

执行以下命令编辑 ks-installer

$ kubectl edit cc -n kubesphere-system ks-installer

搜寻至 devops。添加字段 sonarqube 并在其下方指定 externalSonarUrl 和 externalSonarToken。

 devops:
 enabled: true
 jenkinsJavaOpts_MaxRAM: 2g
 jenkinsJavaOpts_Xms: 512m
 jenkinsJavaOpts_Xmx: 512m
 jenkinsMemoryLim: 2Gi
 jenkinsMemoryReq: 1500Mi
 jenkinsVolumeSize: 8Gi
 sonarqube:
 externalSonarUrl: http://10.170.0.5:32108
 externalSonarToken: c6a6e2e15a9d52e30b744df0eef4c639bbea88a1

完成操作后保存此文件。

将 SonarQube 服务器添加至 Jenkins

执行以下命令获取 Jenkins 的地址。

$ export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services ks-jenkins)
$ export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")
$ echo http://$NODE_IP:$NODE_PORT

输出

使用地址 http://{$Public IP}:30180 访问 Jenkins。安装 KubeSphere 时，默认情况下也会安装 Jenkins 仪表板。此外，Jenkins 还配置有 KubeSphere LDAP，这意味着您可以直接使用 KubeSphere 帐户（例如 admin/P@88w0rd）登录 Jenkins。

使用kubesphere admin账户登录

前往系统管理下的 Manage Credentials 并点击 Stores scoped to Jenkins 下的 Jenkins，再点击全局凭据 (unrestricted)

点击左侧导航栏的添加凭据，用 SonarQube 管理员令牌添加凭证

点击左侧的系统管理，向下翻页找到并点击系统配置。

搜寻到 SonarQube servers，然后点击 Add SonarQube。

添加sonar服务器地址和名称，点击应用完成操作。

将 sonarqubeURL 添加到 KubeSphere 控制台

指定 sonarqubeURL，以便可以直接从 KubeSphere 控制台访问 SonarQube。

执行以下命令：

$ kubectl edit cm -n kubesphere-system ks-console-config

搜寻到 client，添加 devops 字段并指定 sonarqubeURL。

 client:
 version:
 kubesphere: v3.1.0
 kubernetes: v1.20.4
 openpitrix: v0.3.5
 enableKubeConfig: true
 devops:
 sonarqubeURL: http://34.92.90.181:32108

结果

重启服务

执行以下命令。

$ kubectl -n kubesphere-system rollout restart deploy ks-apiserver
$ kubectl -n kubesphere-system rollout restart deploy ks-console

为新工程创建 SonarQube Token

创建一个 SonarQube 令牌，以便您的流水线可以在运行时与 SonarQube 通信。

在 SonarQube 控制台上，点击 Create new project。

设置工程名称

生成token

创建令牌后，点击 Continue。

分别选择 Java 和 Maven。复制下图所示绿色框中的序列号，如果要在流水线中使用，则需要在凭证中添加此序列号。

创建流水线工程

创建凭证

凭证 ID	类型	用途
dockerhub-id	帐户凭证	Docker Hub
demo-kubeconfig	kubeconfig	Kubernetes

demo-kubeconfig

dockerhub-id

创建一个凭证 ID (sonar-token)

列表中看到已创建的三个凭证。

创建流水线

在流水线页面点击创建，为了使用图形化流水线搭建，不在此处引用代码仓库，直接点击下一步

保持默认配置，点击创建

创建成功

进入流水线，点击编辑

此时选择CICD模板

可视化编辑流水线

编辑后运行

流水线支持交互式操作

在 KubeSphere 控制台查看结果

流水线执行成功后，即可查看到代码质量标签

sonar控制台也可以查看对应结果

jenkins视图

blue ocean

Kubesphere安装——以GCP为例

Sat, 19 Jun 2021 22:15:00 +0800

平台准备

创建工作空间

启用计算引擎API

准备虚拟机

作为演示环境，此处使用Google Cloud Platform创建3台虚拟机，配置如下

CPU	内存	磁盘
4	16G	40G
4	16G	40G
4	16G	40G

创建实例模板

创建需要的实例模板

配置操作系统、资源等，注意放行防火墙

创建实例

基于实例模板创建3台虚拟机，选择地区为香港

此处用于演示用途，可选择无状态机器，机器删除后不会保留磁盘内容

注意关闭自动扩缩容

等待实例创建

由于资源调度问题，最终只成功分配两台虚拟机，不过对于演示环境安装过程一样。

配置连接秘钥

添加本地生成好的rsa秘钥即可

本地SSH工具配置私钥即可连接

前置环境准备

kubesphere建议前置项

节点要求

所有节点必须都能通过 SSH 访问。

所有节点时间同步。

所有节点都应使用 sudo/curl/openssl。

依赖项要求
KubeKey 可以一同安装 Kubernetes 和 KubeSphere。根据要安装的 Kubernetes 版本，需要安装的依赖项可能会不同。您可以参考下表，查看是否需要提前在节点上安装相关依赖项。

依赖项 Kubernetes 版本 ≥ 1.18 Kubernetes 版本 < 1.18

socat 必须可选，但建议安装

conntrack 必须可选，但建议安装

ebtables 可选，但建议安装可选，但建议安装

ipset 可选，但建议安装可选，但建议安装

依赖项	Kubernetes 版本 ≥ 1.18	Kubernetes 版本 < 1.18
`socat`	必须	可选，但建议安装
`conntrack`	必须	可选，但建议安装
`ebtables`	可选，但建议安装	可选，但建议安装
`ipset`	可选，但建议安装	可选，但建议安装

以下内容所有节点都需要执行

$ yum install -y socat curl openssl conntrack ebtables ipset

主节点下载kubekey，由于使用google虚拟机，能正常访问google和github，故直接下载即可

$ curl -sfL https://get-kk.kubesphere.io | VERSION=v1.1.0 sh -
$ chmod +x kk

放行VPC防火墙

创建集群

服务器免密登陆

主节点生成免密登陆配置

$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:yxln4RFEXhsvIMcL0/EzF8CLUpo/hMlkM8KBDcNEjbU root@kubesphere-instance-group-1-bx5d
The key's randomart image is:
+---[RSA 2048]----+
| +=Oo..=Bo+.. |
| +.=.B++=.+ . |
| E= @+o*.o |
| B.+o.= |
| S++ |
| . *o |
| + . |
| |
| |
+----[SHA256]-----+

所有主机允许公钥免密登陆

$ vi /etc/ssh/sshd_config
# 将下面配置改为yes并去掉注释
PubkeyAuthentication yes
PermitRootLogin yes

$ service sshd restart

控制台添加主节点公钥，则所有新建主机都能被主节点访问

创建示例配置文件

$./kk create config --with-kubernetes v1.20.4 --with-kubesphere v3.1.0 -f gcp-config

按默认配置只安装控制台和基础服务

apiVersion: kubekey.kubesphere.io/v1alpha1
kind: Cluster
metadata:
 name: sample
spec:
 hosts:
 - {name: node1, address: 34.92.90.181, internalAddress: 10.170.0.5, privateKeyPath: "/root/.ssh/id_rsa"}
 - {name: node2, address: 35.220.138.230, internalAddress: 10.170.0.6, privateKeyPath: "/root/.ssh/id_rsa"}
 roleGroups:
 etcd:
 - node1
 master: 
 - node1
 worker:
 - node1
 - node2
 controlPlaneEndpoint:
 domain: lb.kubesphere.local
 address: ""
 port: 6443
 kubernetes:
 version: v1.20.4
 imageRepo: kubesphere
 clusterName: cluster.local
 network:
 plugin: calico
 kubePodsCIDR: 10.233.64.0/18
 kubeServiceCIDR: 10.233.0.0/18
 registry:
 registryMirrors: []
 insecureRegistries: []
 addons: []


---
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
 name: ks-installer
 namespace: kubesphere-system
 labels:
 version: v3.1.0
spec:
 persistence:
 storageClass: "" 
 authentication:
 jwtSecret: ""
 zone: ""
 local_registry: "" 
 etcd:
 monitoring: false 
 endpointIps: localhost 
 port: 2379 
 tlsEnable: true
 common:
 redis:
 enabled: false
 redisVolumSize: 2Gi 
 openldap:
 enabled: false
 openldapVolumeSize: 2Gi 
 minioVolumeSize: 20Gi
 monitoring:
 endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
 es: 
 elasticsearchMasterVolumeSize: 4Gi 
 elasticsearchDataVolumeSize: 20Gi 
 logMaxAge: 7 
 elkPrefix: logstash
 basicAuth:
 enabled: false
 username: ""
 password: ""
 externalElasticsearchUrl: ""
 externalElasticsearchPort: "" 
 console:
 enableMultiLogin: true 
 port: 30880
 alerting: 
 enabled: false
 # thanosruler:
 # replicas: 1
 # resources: {}
 auditing: 
 enabled: false
 devops: 
 enabled: false
 jenkinsMemoryLim: 2Gi 
 jenkinsMemoryReq: 1500Mi 
 jenkinsVolumeSize: 8Gi 
 jenkinsJavaOpts_Xms: 512m 
 jenkinsJavaOpts_Xmx: 512m
 jenkinsJavaOpts_MaxRAM: 2g
 events: 
 enabled: false
 ruler:
 enabled: true
 replicas: 2
 logging: 
 enabled: false
 logsidecar:
 enabled: true
 replicas: 2
 metrics_server: 
 enabled: false
 monitoring:
 storageClass: ""
 prometheusMemoryRequest: 400Mi 
 prometheusVolumeSize: 20Gi 
 multicluster:
 clusterRole: none 
 network:
 networkpolicy:
 enabled: false
 ippool:
 type: none
 topology:
 type: none
 notification: 
 enabled: false
 openpitrix:
 store:
 enabled: false
 servicemesh: 
 enabled: false 
 kubeedge:
 enabled: false
 cloudCore:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []
 cloudhubPort: "10000"
 cloudhubQuicPort: "10001"
 cloudhubHttpsPort: "10002"
 cloudstreamPort: "10003"
 tunnelPort: "10004"
 cloudHub:
 advertiseAddress: 
 - "" 
 nodeLimit: "100"
 service:
 cloudhubNodePort: "30000"
 cloudhubQuicNodePort: "30001"
 cloudhubHttpsNodePort: "30002"
 cloudstreamNodePort: "30003"
 tunnelNodePort: "30004"
 edgeWatcher:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []
 edgeWatcherAgent:
 nodeSelector: {"node-role.kubernetes.io/worker": ""}
 tolerations: []

安装集群

此时，在虚拟机安装代理即可查看虚拟机监控

创建完成

访问成功

集群正常，不安装组件时内存占用率并不高

安装kubectl

$ yum install -y kubectl

安装可插拔组件

点击自定义资源 CRD，然后在搜索栏中输入 clusterconfiguration，点击搜索结果进入其详情页面。

按照自身需要启用可插拔组件，此处打开所有组件，即修改为如下配置

apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
 labels:
 version: v3.1.0
 name: ks-installer
 namespace: kubesphere-system
spec:
 alerting:
 enabled: true
 auditing:
 enabled: true
 authentication:
 jwtSecret: ''
 common:
 es:
 basicAuth:
 enabled: false
 password: ''
 username: ''
 elasticsearchDataVolumeSize: 20Gi
 elasticsearchMasterVolumeSize: 4Gi
 elkPrefix: logstash
 externalElasticsearchPort: ''
 externalElasticsearchUrl: ''
 logMaxAge: 7
 minioVolumeSize: 2Gi
 monitoring:
 endpoint: 'http://prometheus-operated.kubesphere-monitoring-system.svc:9090'
 openldap:
 enabled: true
 openldapVolumeSize: 2Gi
 redis:
 enabled: true
 redisVolumSize: 2Gi
 console:
 enableMultiLogin: true
 port: 30880
 devops:
 enabled: true
 jenkinsJavaOpts_MaxRAM: 2g
 jenkinsJavaOpts_Xms: 512m
 jenkinsJavaOpts_Xmx: 512m
 jenkinsMemoryLim: 2Gi
 jenkinsMemoryReq: 1500Mi
 jenkinsVolumeSize: 8Gi
 etcd:
 endpointIps: 10.170.0.5
 monitoring: true
 port: 2379
 tlsEnable: true
 events:
 enabled: true
 ruler:
 enabled: true
 replicas: 2
 kubeedge:
 cloudCore:
 cloudHub:
 advertiseAddress:
 - ''
 nodeLimit: '100'
 cloudhubHttpsPort: '10002'
 cloudhubPort: '10000'
 cloudhubQuicPort: '10001'
 cloudstreamPort: '10003'
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 service:
 cloudhubHttpsNodePort: '30002'
 cloudhubNodePort: '30000'
 cloudhubQuicNodePort: '30001'
 cloudstreamNodePort: '30003'
 tunnelNodePort: '30004'
 tolerations: []
 tunnelPort: '10004'
 edgeWatcher:
 edgeWatcherAgent:
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 tolerations: []
 nodeSelector:
 node-role.kubernetes.io/worker: ''
 tolerations: []
 enabled: true
 logging:
 enabled: true
 logsidecar:
 enabled: true
 replicas: 2
 metrics_server:
 enabled: true
 monitoring:
 prometheusMemoryRequest: 400Mi
 prometheusVolumeSize: 5Gi
 storageClass: ''
 multicluster:
 clusterRole: none
 network:
 ippool:
 type: calico
 networkpolicy:
 enabled: true
 topology:
 type: weave-scope
 openpitrix:
 store:
 enabled: true
 persistence:
 storageClass: ''
 servicemesh:
 enabled: true

通过在线控制台，查看安装进度

执行以下命令

$ kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

安装组件过程中，对CPU负载较大

所有组件安装完成

资源占用情况

Kubesphere运维Kubernetes集群

Sun, 23 May 2021 22:58:00 +0800

背景

使用原生Kubernetes-dashboard和Grafana+Prometheus管理较大规模集群比较困难，有如下缺陷

每次执行命令都要登陆服务器
容器日志采集方案、监控方案搭建比较繁琐
添加节点不方便
管理存储插件、秘钥、配置不方便

解决方案

目前国内流行的k8s管理平台主要有rancher、kubesphere、kubeboard

rancher主打原生集群管理，侧重运维人员
kubesphere主打开发运维工作流，侧重研发人员
kubeboard与kubesphere类似，侧重微服务管理，但功能上较少，对多节点管理需要收费

经过评估，最终决定采用kubesphere进行集群管理

Rancher — 多云混合云多集群Kubernetes管理平台

[post url=“https://kubesphere.io/zh/” title=“Kubesphere” intro=“面向云原生应用的容器混合云” cover=“https://kubesphere.io/images/logo.svg” /]

Kuboard — 快速在 Kubernetes 上落地微服务

安装步骤

目标是面对小规模集群管理，节点数最多为5个，故不考虑高可用集群配置，采用单主节点+4个worker节点配置

采用纯净CentOS 7 Linux系统，需要做以下前置准备

依赖包安装

安装官方要求的依赖包，由于计划安装NFS存储插件，还需要安装nfs工具包

$ yum install -y socat conntrack ebtables ipset nfs-utils

配置DNS解析

将各节点DNS配置为私有DNS服务器

$ tee /etc/resolv.conf <<-'EOF'
# Generated by NetworkManager
nameserver 192.168.1.13
EOF

私有DNS搭建可以参考文章

[[利用Docker自建Dns服务器]]

按照官方教程安装多节点kubernetes

强烈建议先用KubeKey安装纯净k8s集群+控制面板，关闭所有插件。等安装完毕再一个个插件打开，防止因为内存不够而无法打开kubesphere

安装步骤参考官方文档一键安装方式

多节点安装 — Kubesphere

启动成功

启动成功后按照官方指南打开插件

启用可插拔组件 — Kubesphere

所有插件打开后如下

使用

节点状态

存储卷管理

监控告警

日志采集

日志查询

操作审计

工具箱

企业空间权限控制

内置helm应用商店，支持上线审批，在线编辑等

支持关联外部仓库

应用流量治理

链路追踪

灰度发布

费用统计

更多的使用场景包括：DevOps、边缘节点、多集群管理还在探索中