Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CI/CD落地实战
本文基于 kubeadm 部署 K8s,分为两大块:①Kubernetes v1.28 集群完整安装;②DevOps流水线整合:Jenkins+GitLab+Harbor实现业务代码自动构建、推送镜像、K8s自动部署应用,适合学习云原生CI/CD全流程。
前言
Kubernetes(K8s)已经成为容器编排事实标准,在企业开发中,我们希望做到:提交代码 → 自动编译打包 → 构建Docker镜像推送到私有Harbor仓库 → 自动更新K8s中业务Pod,实现持续集成持续部署。
文档包含两套内容:
- K8s v1.28 集群部署:1.24以后移除dockershim,使用
cri‑dockerd对接docker作为容器运行时,master+双node节点。 - DevOps流水线:K8s v1.19环境演示Jenkins流水线,把Java项目自动部署到Kubernetes集群。
环境说明:CentOS7,docker作为容器引擎,Calico作为CNI网络插件,Harbor私有镜像仓库,GitLab存放代码与yaml,Jenkins做流水线调度。
一、Kubernetes v1.28 集群部署(cri‑dockerd对接Docker)
1.1 硬件规划
| 角色 | CPU | 内存 | IP | 主机名 |
|---|---|---|---|---|
| master | 2核 | 4G | 192.168.100.128 | master |
| node1 | 4核 | 6G | 192.168.100.129 | node1 |
| node2 | 4核 | 6G | 192.168.100.136 | node2 |
1.2 所有节点前置环境配置
1. 设置主机名
1# master执行 2hostnamectl set-hostname master 3# node1执行 4hostnamectl set-hostname node1 5# node2执行 6hostnamectl set-hostname node2 7
2. 主机名解析 /etc/hosts(三台机器全部配置)
1cat >> /etc/hosts <<EOF 2192.168.100.128 master 3192.168.100.129 node1 4192.168.100.136 node2 5EOF 6
3. 安装依赖工具包
1yum -y install vim lrzsz unzip wget net-tools tree bash-completion conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp git psmisc telnet gcc gcc-c++ make 2
4. 关闭防火墙与SELinux
1systemctl disable firewalld --now 2setenforce 0 3sed -i 's/enforcing/disabled/g' /etc/selinux/config 4
5. 关闭swap,k8s强制要求
1swapoff -a 2sed -i '/swap/s/^/#/' /etc/fstab 3
6. 关闭NetworkManager(可选)
1systemctl stop NetworkManager 2systemctl disable NetworkManager 3
7. 内核参数配置,开启网桥转发、ip转发
1cat >/etc/sysctl.d/kubernetes.conf<<EOF 2net.bridge.bridge-nf-call-iptables=1 3net.bridge.bridge-nf-call-ip6tables=1 4net.ipv4.ip_forward=1 5vm.swappiness=0 6vm.overcommit_memory=1 7EOF 8sysctl --system 9
8. 资源文件句柄数调优
1cat >> /etc/security/limits.conf <<EOF 2* soft nofile 655360 3* hard nofile 131072 4* soft nproc 655350 5* hard nproc 655350 6* soft memlock unlimited 7* hard memlock unlimited 8EOF 9ulimit -SHn 65535 10
9. 时间同步chrony
1yum -y install chrony 2systemctl restart chronyd 3chronyc sources -v 4hwclock -s 5
10. IPVS内核模块加载
1cat >>/etc/modules-load.d/ipvs.conf<<EOF 2ip_vs 3ip_vs_rr 4ip_vs_wrr 5ip_vs_sh 6nf_conntrack_ipv4 7ip_tables 8ip_set 9xt_set 10ipt_set 11ipt_rpfilter 12ipt_REJECT 13ipip 14overlay 15br_netfilter 16EOF 17systemctl restart systemd-modules-load 18lsmod | grep -e ip_vs -e nf_conntrack_ipv4 19
1.3 所有节点安装Docker‑CE
1yum install -y yum-utils device-mapper-persistent-data lvm2 2yum-config-manager --add-repo [https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo](https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo) 3yum install -y docker-ce 4
配置docker镜像加速 + cgroup驱动为systemd,k8s要求docker与kubelet cgroup保持一致
1tee /etc/docker/daemon.json <<-'EOF' 2{ 3"registry-mirrors": [ 4"[https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com](https://09def58152000fc00ff0c00057bad7e0.mirror.swr.myhuaweicloud.com)", 5"[https://registry.docker-cn.com](https://registry.docker-cn.com)" 6], 7"exec-opts": ["native.cgroupdriver=systemd"], 8"log-driver": "json-file", 9"log-opts": { 10"max-size": "100m" 11}, 12"storage-driver": "overlay2" 13} 14EOF 15 16systemctl daemon-reload 17systemctl enable --now docker 18
1.4 安装 cri‑dockerd(关键!k8s1.24+移除dockershim)
作用:提供CRI接口,让k8s可以调用docker引擎
1wget [https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm](https://github.com/mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm) 2rpm -ivh cri-dockerd-0.3.4-3.el7.x86_64.rpm 3
修改service指定国内pause镜像:
1vim /usr/lib/systemd/system/cri-docker.service 2# 修改ExecStart 3ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd:// 4
启动服务
1systemctl daemon-reload 2systemctl enable --now cri-docker.service 3ls /run/cri-dockerd.sock 4
1.5 安装 kubeadm kubelet kubectl(所有节点)
配置阿里云k8s yum源
1cat <<EOF>/etc/yum.repos.d/kubernetes.repo 2[kubernetes] 3name=Kubernetes 4baseurl=[http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64](http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64) 5enabled=1 6gpgcheck=0 7repo_gpgcheck=0 8gpgkey=[http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg) 9[http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg](http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg) 10EOF 11
安装v1.28.0版本
1yum install -y kubeadm-1.28.0-0 kubelet-1.28.0-0 kubectl-1.28.0-0 2
配置kubelet参数,指定cgroup驱动与proxy模式
1vim /etc/sysconfig/kubelet 2KUBELET_EXTRA_ARGS="--cgroup-driver=systemd" 3KUBE_PROXY_MODE="ipvs" 4 5systemctl daemon-reload 6systemctl enable kubelet 7
1.6 Master节点初始化集群
只在master操作
拉取镜像(提前下载,避免初始化慢)
1kubeadm config images pull \ 2--cri-socket=unix:///var/run/cri-dockerd.sock \ 3--kubernetes-version=v1.28.0 \ 4--image-repository=registry.aliyuncs.com/google_containers 5
两种初始化方式,推荐配置文件方式
方式1:yaml配置文件初始化
1kubeadm config print init-defaults > kubeadm-init.yaml 2vim kubeadm-init.yaml 3
修改关键点:
1apiVersion: kubeadm.k8s.io/v1beta3 2bootstrapTokens: 3groups: 4- system:bootstrappers:kubeadm:default-node-token 5token: abcdef.0123456789abcdef 6ttl: 24h0m0s 7usages: 8- signing 9- authentication 10kind: InitConfiguration 11localAPIEndpoint: 12 advertiseAddress: 192.168.100.128 # master本机IP 13 bindPort: 6443 14nodeRegistration: 15 criSocket: unix:///var/run/cri-dockerd.sock # cri‑dockerd套接字 16 imagePullPolicy: IfNotPresent 17 name: master 18 taints: 19 - effect: NoSchedule 20 key: node-role.kubernetes.io/control-plane 21--- 22apiServer: 23 timeoutForControlPlane: 4m0s 24apiVersion: kubeadm.k8s.io/v1beta3 25certificatesDir: /etc/kubernetes/pki 26clusterName: kubernetes 27controllerManager: {} 28dns: {} 29etcd: 30 local: 31 dataDir: /var/lib/etcd 32imageRepository: registry.aliyuncs.com/google_containers 33kind: ClusterConfiguration 34kubernetesVersion: 1.28.0 35networking: 36 dnsDomain: cluster.local 37 serviceSubnet: 10.96.0.0/12 38 podSubnet: 10.244.0.0/16 # calico pod网段 39scheduler: {} 40--- 41apiVersion: kubeproxy.config.k8s.io/v1alpha1 42kind: KubeProxyConfiguration 43mode: ipvs 44--- 45apiVersion: kubelet.config.k8s.io/v1beta1 46kind: KubeletConfiguration 47cgroupDriver: systemd 48
执行初始化
1kubeadm init --config=kubeadm-init.yaml --upload-certs | tee kubeadm-init.log 2
方式2:命令行直接初始化(可选)
1kubeadm init \ 2--apiserver-advertise-address=192.168.100.128 \ 3--image-repository=registry.aliyuncs.com/google_containers \ 4--kubernetes-version=v1.28.0 \ 5--cri-socket=unix:///var/run/cri-dockerd.sock \ 6--pod-network-cidr=10.244.0.0/16 \ 7--service-cidr=10.96.0.0/12 \ 8--upload-certs | tee kubeadm-init.log 9
配置kubectl认证文件
1mkdir -p $HOME/.kube 2cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 3chown $(id -u):$(id -g) $HOME/.kube/config 4 5# 永久环境变量 6echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile 7source ~/.bash_profile 8
初始化失败重置命令
1kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock 2rm -rf /etc/kubernetes/* 3
1.7 worker节点加入集群
node1、node2分别执行,必须带上cri‑socket参数!
1kubeadm join 192.168.100.128:6443 --token abcdef.0123456789abcdef \ 2--discovery-token-ca-cert-hash sha256:xxxxxx \ 3--cri-socket unix:///var/run/cri-dockerd.sock 4
token过期重新生成(master执行)
1kubeadm token create --print-join-command 2
此时节点状态为NotReady,还没有部署CNI网络插件。
1.8 部署Calico网络插件
calico3.25适配k8s v1.23‑v1.28,pod网段与初始化的
10.244.0.0/16保持一致。
1wget --no-check-certificate [https://docs.tigera.io/archive/v3.25/manifests/calico.yaml](https://docs.tigera.io/archive/v3.25/manifests/calico.yaml) 2vim calico.yaml 3# 修改CALICO_IPV4POOL_CIDR为 10.244.0.0/16 4
应用yaml
1kubectl apply -f calico.yaml 2
等待所有calico pod全部Running
1kubectl get nodes 2kubectl get pods -A 3
1.9 验证集群功能
测试dns解析
1dig -t a www.baidu.com @10.96.0.10 2
简单测试nginx应用
1kubectl create deployment nginx --image=nginx --replicas=3 2kubectl expose deployment nginx --port=80 --target-port=80 --type=NodePort 3 4kubectl get pod,svc 5# 浏览器访问 nodeIP:NodePort端口 访问nginx页面 6
kubectl命令补全
1yum install bash-completion -y 2source /usr/share/bash-completion/bash_completion 3echo "source <(kubectl completion bash)" >> ~/.bashrc 4source ~/.bashrc 5
至此Kubernetes v1.28集群搭建完成。
二、DevOps CI/CD流水线:Jenkins+GitLab+Harbor+K8s
业务目标:Java SpringBoot项目,代码提交打tag触发流水线: 拉取代码 → maven编译打包 → docker构建镜像 → push到Harbor私有仓库 → 将deployment yaml推送到k8s‑master →
kubectl apply完成发布。
环境参考文档使用K8s v1.19演示,流程逻辑完全兼容v1.28集群。
2.1 整体架构组件
- GitLab:存放业务源代码 + k8s部署yaml文件 + Jenkinsfile流水线脚本
- Jenkins:流水线调度,maven编译、docker构建、ssh推送yaml到k8s‑master
- Harbor私有镜像仓库:存储业务docker镜像
- Kubernetes Master:接收yaml,执行
kubectl apply完成应用部署 - Node节点:运行业务Pod
2.2 前置准备工作
① K8s创建harbor镜像拉取secret
k8s拉取私有harbor镜像需要imagePullSecrets凭证,master节点执行
1kubectl create secret docker-registry harbor-secret \ 2--docker-server=192.168.100.145:80 \ 3--docker-username=admin \ 4--docker-password=harbor123 5
② k8s所有节点配置harbor非安全仓库
每个节点修改docker /etc/docker/daemon.json,添加insecure‑registries
1{ 2 "insecure-registries":["192.168.100.145:80"], 3 "registry-mirrors":["[https://registry.cn-hangzhou.aliyuncs.com](https://registry.cn-hangzhou.aliyuncs.com)"], 4 "exec-opts":["native.cgroupdriver=systemd"] 5} 6systemctl daemon-reload 7systemctl restart docker 8# 测试登录harbor 9docker login 192.168.100.145:80 -u admin -p harbor123 10
③ k8s‑master创建接收yaml目录,Jenkins通过ssh推送文件到此目录
1mkdir /usr/local/k8s 2chmod 777 /usr/local/k8s 3
④ Jenkins容器免密ssh登录k8s‑master(重点)
Jenkins运行在docker容器内,需要生成ssh密钥,公钥放到k8s‑master的authorized_keys实现免交互执行kubectl命令。
进入jenkins容器:
1docker exec -it jenkins bash 2# jenkins容器内部 3cd ~ 4ssh-keygen -t rsa # 一路回车,不设置密码 5cd .ssh 6cat id_rsa.pub 7
复制输出公钥,粘贴到k8s‑master节点
1# master节点操作 2mkdir -p /root/.ssh 3vim /root/.ssh/authorized_keys 4# 粘贴上面公钥内容 5systemctl restart sshd 6
在jenkins容器测试免密连通
1ssh root@192.168.100.145 ls / 2
2.3 GitLab准备项目文件
在GitLab项目中创建:
- Java业务源代码(SpringBoot)
Jenkinsfile:流水线定义pipeline.yml:k8s deployment + service资源清单
pipeline.yml示例:
1apiVersion: apps/v1 2kind: Deployment 3metadata: 4 name: pipeline 5 labels: 6 app: pipeline 7spec: 8 replicas: 2 9 selector: 10 matchLabels: 11 app: pipeline 12 template: 13 metadata: 14 labels: 15 app: pipeline 16 spec: 17 imagePullSecrets: 18 - name: harbor-secret 19 containers: 20 - name: pipeline 21 image: 192.168.100.145:80/repo/pipeline:v4.0 22 imagePullPolicy: Always 23 ports: 24 - containerPort: 8080 25--- 26apiVersion: v1 27kind: Service 28metadata: 29 labels: 30 app: pipeline 31 name: pipeline 32spec: 33 selector: 34 app: pipeline 35 ports: 36 - port: 8081 37 targetPort: 8080 38 type: NodePort 39
⚠注意:镜像tag版本需要和gitlab的tag版本保持一致,每次发布新版本修改镜像tag,打新tag。
2.4 Jenkins配置
- 安装插件:
Publish Over SSH,用于ssh传输文件。 - 系统管理 → System → Publish Over SSH,配置k8s‑master服务器信息:
- Name:k8s
- Hostname:k8s‑masterIP
- Username:root
- Remote Directory:
/usr/local/k8s
- 测试连接成功,保存。
2.5 Jenkinsfile流水线完整逻辑
流水线主要阶段:
- 拉取gitlab代码
- maven编译打包
- docker构建镜像
- docker push镜像到harbor私有仓库
- 将
pipeline.yml推送至k8s‑master/usr/local/k8s目录 - ssh远程执行
kubectl apply -f /usr/local/k8s/pipeline.yml,完成k8s应用更新 - 钉钉消息通知构建结果
流水线片段说明,核心两个新增stage
1stage('将yml文件推送到k8s的master节点') { 2 steps { 3 sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)]) 4 } 5} 6 7stage('远程执行kubectl命令') { 8 steps { 9 sh 'ssh root@192.168.100.145 kubectl apply -f /usr/local/k8s/pipeline.yml' 10 } 11} 12
2.6 触发发布流程
- 修改Java业务代码,修改接口返回版本号;
- 修改gitlab中
pipeline.yml镜像tag为新版本; - gitlab打tag(如
v4.0); - Jenkins流水线检测tag,自动执行流水线;
- 流水线执行完成,查看k8s资源状态。
master查看pod与service:
1kubectl get pod -o wide 2kubectl get svc 3
浏览器访问 任意nodeIP:NodePort端口/test,验证业务接口返回新版本内容。
同时配置钉钉webhook,流水线执行成功/失败推送钉钉通知。
三、常见踩坑总结
- k8s1.24+使用docker必须部署cri‑dockerd,否则节点无法加入集群,join的时候必须带上
--cri‑socket参数。 - docker与kubelet cgroup驱动必须统一为
systemd,否则kubelet启动失败。 - 私有harbor镜像拉取失败:①所有节点配置
insecure‑registries;②必须创建imagePullSecrets并在deployment引用。 - Jenkins容器ssh免密:密钥生成是在jenkins容器内部执行ssh‑keygen,不要在宿主机生成。
- calico部署完节点还是NotReady:核对pod网段是否和kubeadm初始化
podSubnet完全一致。 - yaml缩进错误会导致
kubectl apply失败,严格遵守yaml语法。 - gitlab打tag:修改yaml后要删除旧tag,重新创建新tag,jenkins才能读取最新yml文件。
四、拓展方向
- 版本优化:流水线中动态获取git tag,yaml中镜像tag通过变量传入,避免每次手动修改pipeline.yml;
- 增加sonarqube代码质量扫描;
- 增加回滚stage;
- 使用Ingress替代NodePort对外暴露服务;
- 使用Kuboard webUI管理k8s集群。
参考文档
《Kubernetes 从集群搭建到 Jenkins+GitLab+Harbor 完整CICD落地实战》 是转载文章,点击查看原文。