节点kubeadm创建k8s集群一直失败排查

怎么创建群  时间:2021-03-20  阅读:()

kubeadm创建k8s集群一直失败排查

背景

某环境使用kubeadm创建3个master节点的高可用集群但是一直失败。

img

排查

1 .从日志可以看出 10.197.145.24为集群的kube-api的地址使用kubeadmjoin命令想把10.197.145.25节点添加到集群时报错报错提

示/etc/kubernetes/kubelet.conf  /etc/kubernetes/bootstrap-kubelet.conf存在貌似是节点残留文件导致节点join失败。

2.使用清理脚本清理10.197.145.25的残留从新添加节点发现错误仍然存在且报错内容一样清理脚本如下

#!/bin/bashrm -rf /etc/kubernetessystemctl stop kubelet 2>/dev/nulldocker rm -f $(docker ps -aq) 2>/dev/nullsystemctl stop docker 2>/dev/nullip link del cni0 2>/etc/nullfor port in 80 2379 6443 8086 {10249. .10259} ; dofuser -k -9 ${port}/tcpdonerm -fv /root/.kube/configrm -rfv /var/lib/kubeletrm -rfv /var/lib/cnirm -rfv /etc/cnirm -rfv /var/lib/etcdrm -rfv /var/lib/postgresql /etc/core/token /var/lib/redis /storage /chart_storagesystemctl start docker 2>/dev/null

3.于是检查10.197.145.25节点情况docker和kubelet运行情况

• systemctl status docker

该节点docker进程为active和running的

• systemctl status kublet

节点kubelet进程为inactive状态

4.通过syste mctl restart kubelet重启kubelet进程发现启动后kubelet进程启动后一会后进程退出。

5.检查节点的message日志发现kubelet有如下报错kubelet: F0727 11:39:07.530805 23779 docker_service.go:414] Streaming server stopped unexpectedly: listen tcp

172.0.0.1:0: bind: cannot assign requested address

image-20200731221748691

1 . google上述错误发现如下链接

Minikube Start Fai lure

检查该节点的/etc/hosts,确实发现没有localhost的解析文件了。经咨询得知客户为了配置一个域名的自定义解析采用了echo “1.2.3.4 a.b.co m” > /etc/hosts的操作导致/etc/hosts中localhost解析被清空。

解决

参照https://coding-stream-of-consciousness.com/2020/01/15/minikube-start-fai lure-streaming-server-stopped-cannot-assign-requested-address/修复方式我们在/etc/hosts文件中增加localhost解析后 kubelet启动正常了节点添加成功。

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

: :1 localhost localhost.localdomain localhost6 localhost6.localdomain6

后记

1 . /etc/hosts中localhost的回环地址解析绝大多数应用都会依赖因此生产环境绝对不能删除。

2.在使用kubeadm创建k8s集群时进行必备条件的checkl ist检查常见检查条件如下

• 内核模块

须加载iptable_nat  br_netfi lter内核模块

• 内核参数net.ipv4.ip_forward = 1net.bridge.bridge-nf-call-iptables = 1net.bridge.bridge-nf-call-arptables = 1

• 关闭sel inux

参照官方文档 https://kubernetes. io/docs/tasks/configure-pod-container/security-context/ 新版本的kubernetes可以开启sel inux但是sel inux配置很复杂开启sel inux时 docker可能无法创建出容器。除非安全要求很严格的场景一般情况建议关闭。

• 关闭节点swap

默认开启swap会导致kubelet无法启动

• 时间同步节点时区统一

建议时区设置为Asia/Shanghai

• 防火墙设置kubernetes组件运行需要的端口须保持开放如6443  2379 2380等。

• /etc/hosts文件

所有服务器可以通过hostname解析成ip 可以将localhost解析成127.0.0.1 同时hosts文件内不能有重复的hostname。

• /tmp/权限

/tmp目录的权限是777

• 集群全部节点安装socat软件包socat不仅kubeadm创建集群需要 helm使用时也需要。

• iptablesiptables FORWARD链为ACCEPTiptables -P FORWARD ACCEPT

Megalayer美国服务器CN2优化线路30M带宽3独立IP限时月299元

Megalayer 商家算是比较新晋的国内主机商,主要方向是美国、香港、菲律宾等机房的独立服务器为主,以及站群服务器和显卡服务器。同时也有新增价格并不是特别优惠的VPS云服务器。上午的时候有网友问问有没有CN2线路的美国独立服务器的,这里我推荐他选择Megalayer看看,目前也是有活动截止到月底的。Megalayer 商家创办2年左右时间,如果我们初次使用建议月付体验。目前在进行且可能截止到6月...

美国G口/香港CTG/美国T级超防云/物理机/CDN大促销 1核 1G 24元/月

[六一云迎国庆]转盘活动实物礼品美国G口/香港CTG/美国T级超防云/物理机/CDN大促销六一云 成立于2018年,归属于西安六一网络科技有限公司,是一家国内正规持有IDC ISP CDN IRCS电信经营许可证书的老牌商家。大陆持证公司受大陆各部门监管不好用支持退款退现,再也不怕被割韭菜了!主要业务有:国内高防云,美国高防云,美国cera大带宽,香港CTG,香港沙田CN2,海外站群服务,物理机,...

bgpto:BGP促销,日本日本服务器6.5折$93/月低至6.5折、$93/月

bgpto怎么样?bgp.to日本机房、新加坡机房的独立服务器在搞特价促销,日本独立服务器低至6.5折优惠,新加坡独立服务器低至7.5折优惠,所有优惠都是循环的,终身不涨价。服务器不限制流量,支持升级带宽,免费支持Linux和Windows server中文版(还包括Windows 10). 特色:自动部署,无需人工干预,用户可以在后台自己重装系统、重启、关机等操作!bgpto主打日本(东京、大阪...

怎么创建群为你推荐
中国机电一体化技术应用协会操作httpwordpress模板wordpress高手进,我是新手,不知道下载的模板应该放在wordpress的那个地方.请高手指点.谢谢centos6.5怎么用u盘安装centos6.5苹果appstore宕机苹果无法连接到appstore怎么办字节跳动回应TikTok易主抖音字节跳动是什么意思?360arp防火墙在哪360ARP防火墙哪里下载?开源网店系统国内有哪些好的java开源电子商城系统账号通如何绑定天下贰手机账号通?无忧验证码无忧序列号怎么获得?
二级域名查询 域名备案流程 老域名全部失效请记好新域名 raksmart oneasiahost wdcp 国外免费空间 租空间 165邮箱 服务器维护方案 免费全能主机 昆明蜗牛家 卡巴斯基破解版 789电视剧 免费私人服务器 个人免费邮箱 腾讯数据库 阿里云个人邮箱 accountsuspended 美国十大啦 更多