kubeadm创建k8s集群一直失败排查
背景
某环境使用kubeadm创建3个master节点的高可用集群但是一直失败。
img
排查
1 .从日志可以看出 10.197.145.24为集群的kube-api的地址使用kubeadmjoin命令想把10.197.145.25节点添加到集群时报错报错提
示/etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf存在貌似是节点残留文件导致节点join失败。
2.使用清理脚本清理10.197.145.25的残留从新添加节点发现错误仍然存在且报错内容一样清理脚本如下
#!/bin/bashrm -rf /etc/kubernetessystemctl stop kubelet 2>/dev/nulldocker rm -f $(docker ps -aq) 2>/dev/nullsystemctl stop docker 2>/dev/nullip link del cni0 2>/etc/nullfor port in 80 2379 6443 8086 {10249. .10259} ; dofuser -k -9 ${port}/tcpdonerm -fv /root/.kube/configrm -rfv /var/lib/kubeletrm -rfv /var/lib/cnirm -rfv /etc/cnirm -rfv /var/lib/etcdrm -rfv /var/lib/postgresql /etc/core/token /var/lib/redis /storage /chart_storagesystemctl start docker 2>/dev/null
3.于是检查10.197.145.25节点情况docker和kubelet运行情况
• systemctl status docker
该节点docker进程为active和running的
• systemctl status kublet
节点kubelet进程为inactive状态
4.通过syste mctl restart kubelet重启kubelet进程发现启动后kubelet进程启动后一会后进程退出。
5.检查节点的message日志发现kubelet有如下报错kubelet: F0727 11:39:07.530805 23779 docker_service.go:414] Streaming server stopped unexpectedly: listen tcp
172.0.0.1:0: bind: cannot assign requested address
image-20200731221748691
1 . google上述错误发现如下链接
Minikube Start Fai lure
检查该节点的/etc/hosts,确实发现没有localhost的解析文件了。经咨询得知客户为了配置一个域名的自定义解析采用了echo “1.2.3.4 a.b.co m” > /etc/hosts的操作导致/etc/hosts中localhost解析被清空。
解决
参照https://coding-stream-of-consciousness.com/2020/01/15/minikube-start-fai lure-streaming-server-stopped-cannot-assign-requested-address/修复方式我们在/etc/hosts文件中增加localhost解析后 kubelet启动正常了节点添加成功。
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
: :1 localhost localhost.localdomain localhost6 localhost6.localdomain6
后记
1 . /etc/hosts中localhost的回环地址解析绝大多数应用都会依赖因此生产环境绝对不能删除。
2.在使用kubeadm创建k8s集群时进行必备条件的checkl ist检查常见检查条件如下
• 内核模块
须加载iptable_nat br_netfi lter内核模块
• 内核参数net.ipv4.ip_forward = 1net.bridge.bridge-nf-call-iptables = 1net.bridge.bridge-nf-call-arptables = 1
• 关闭sel inux
参照官方文档 https://kubernetes. io/docs/tasks/configure-pod-container/security-context/ 新版本的kubernetes可以开启sel inux但是sel inux配置很复杂开启sel inux时 docker可能无法创建出容器。除非安全要求很严格的场景一般情况建议关闭。
• 关闭节点swap
默认开启swap会导致kubelet无法启动
• 时间同步节点时区统一
建议时区设置为Asia/Shanghai
• 防火墙设置kubernetes组件运行需要的端口须保持开放如6443 2379 2380等。
• /etc/hosts文件
所有服务器可以通过hostname解析成ip 可以将localhost解析成127.0.0.1 同时hosts文件内不能有重复的hostname。
• /tmp/权限
/tmp目录的权限是777
• 集群全部节点安装socat软件包socat不仅kubeadm创建集群需要 helm使用时也需要。
• iptablesiptables FORWARD链为ACCEPTiptables -P FORWARD ACCEPT
萤光云怎么样?萤光云是一家国人云厂商,总部位于福建福州。其成立于2002年,主打高防云服务器产品,主要提供福州、北京、上海BGP和香港CN2节点。萤光云的高防云服务器自带50G防御,适合高防建站、游戏高防等业务。目前萤光云推出北京云服务器优惠活动,机房为北京BGP机房,购买北京云服务器可享受6.5折优惠+51元代金券(折扣和代金券可叠加使用)。活动期间还支持申请免费试用,需提交工单开通免费试用体验...
CloudCone的[2021 Flash Sale]活动仍在继续,针对独立服务器、VPS或者Hosted email,其中VPS主机基于KVM架构,最低每月1.99美元,支持7天退款到账户,可使用PayPal或者支付宝付款,先充值后下单的方式。这是一家成立于2017年的国外VPS主机商,提供独立服务器租用和VPS主机,其中VPS基于KVM架构,多个不同系列,也经常提供一些促销套餐,数据中心在洛杉...
香港云服务器最便宜价格是多少钱一个月/一年?无论香港云服务器推出什么类型的配置和活动,价格都会一直吸引我们,那么就来说说香港最便宜的云服务器类型和香港最低的云服务器价格吧。香港云服务器最便宜最低价的价格是多少?香港云服务器只是服务器中最受欢迎的产品。香港云服务器有多种配置类型,如1核1G、2核2G、2核4G、8到16核32G等。这些配置可以满足大多数用户的需求,无论是电商站、视频还是游戏、小说等。...