背景

为测试Istio流量管理，将两个服务sleep、flaskapp的两个版本v1、v2(部署文件见参考链接)部署到Istio环境中，通过sleep-v1向flaskapp发起调用http://flaskapp/env/version，正常结果会交替打印出结果v1和v2，然而在调用过程中报错503 reset reason: connection failure，故将问题的步骤、现象、分析、验证整理于此。

步骤

部署sleep、flaskapp应用，同时Istio平台开启mTls，命名空间kangxzh开启自动注入，部署如下图所示：

kubectl apply -f sleep.istio.yaml -n kangxzh

kubectl apply -f flask.isito.yaml -n kangxzh

#查看pod创建情况

kubectl -n kangxzh get pod -w

flaskapp-v1-775dbb9b79-z54fj   /     Running                     13s

flaskapp-v2-d454cdd47-mdb8s    /     Running                     14s

sleep-v1-7f45c6cf94-zgdsf      /     Running                     19h

sleep-v2-58dff94b49-fz6sj      /     Running                     19h

现象

在sleep应用中发起http请求，调用flaskapp，curl http://flaskapp/env/version，如下所示：

#

export SOURCE_POD=$(kubectl get pod -l app=sleep,version=v1 -o jsonpath={.items..metadata.name})

# 进入sleep发起http请求

kubectl -n kangxzh exec -it -c sleep $SOURCE_POD bash

bash-4.4# curl http://flaskapp/env/version

# 响应

upstream connect error or disconnect/reset before headers. reset reason: connection failure 
 

背景

1.检测flaskapp tls 配置，如下：

[root@kubernetes-master flaskapp]# istioctl authn tls-check flaskapp-v1-775dbb9b79-z54fj flaskapp.kangxzh.svc.cluster.local

HOST:PORT                                 STATUS     SERVER     CLIENT     AUTHN POLICY     DESTINATION RULE

flaskapp.kangxzh.svc.cluster.local:     OK         mTLS       mTLS       default/         default/istio-system 


STATUS OK 证明flaskapp tls配置正确。


进入sleep istio-proxy向flaskapp发起http请求：




kubectl -n kangxzh exec -it -c istio-proxy $SOURCE_POD bash

# 发起请求

curl http://flaskapp/env/version

# 响应

v1 




 


2.发现通过istio-proxy可以得到相应，因为开启了mtls，通过istio-proxy直接请求是需要添加istio相关证书的，此时没有加入证书也可请求，所以想到检查flaskapp iptables配置，如下所示：




# 获取进程号

PID=$(docker inspect --format {{.State.Pid}} $(docker ps | grep flaskapp-v1 | awk '{print $1}' | head -n ))

# 查看iptables 规则

nsenter -t ${PID} -n iptables -t nat -L -n -v

# 输出

Chain PREROUTING (policy ACCEPT  packets,  bytes)

 pkts bytes target     prot opt in     out     source               destination

    ISTIO_INBOUND  tcp  --  *      *       0.0.0.0/            0.0.0.0/

Chain INPUT (policy ACCEPT  packets,  bytes)

 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT  packets,  bytes)

 pkts bytes target     prot opt in     out     source               destination

        ISTIO_OUTPUT  tcp  --  *      *       0.0.0.0/            0.0.0.0/

Chain POSTROUTING (policy ACCEPT  packets,  bytes)

 pkts bytes target     prot opt in     out     source               destination

Chain ISTIO_INBOUND ( references)

 pkts bytes target     prot opt in     out     source               destination

       ISTIO_IN_REDIRECT  tcp  --  *      *       0.0.0.0/            0.0.0.0/            tcp dpt:    #是没有的，修改后增加

Chain ISTIO_IN_REDIRECT ( references)

 pkts bytes target     prot opt in     out     source               destination

       REDIRECT   tcp  --  *      *       0.0.0.0/            0.0.0.0/            redir ports 

Chain ISTIO_OUTPUT ( references)

 pkts bytes target     prot opt in     out     source               destination

          ISTIO_REDIRECT  all  --  *      lo      0.0.0.0/           !127.0.0.1

        RETURN     all  --  *      *       0.0.0.0/            0.0.0.0/            owner UID match

          RETURN     all  --  *      *       0.0.0.0/            0.0.0.0/            owner GID match

          RETURN     all  --  *      *       0.0.0.0/            127.0.0.1

          ISTIO_REDIRECT  all  --  *      *       0.0.0.0/            0.0.0.0/

Chain ISTIO_REDIRECT ( references)

 pkts bytes target     prot opt in     out     source               destination

          REDIRECT   tcp  --  *      *       0.0.0.0/            0.0.0.0/            redir ports  




 


证明envoy没有劫持到flaskapp 80的流量，也就是说上述第2步是sleep-istio-proxy直接请求flaskapp，没有经过flaskapp-istio-proxy 转发。


3. 此时才检查flaskapp deployment，如下所示：




...

---

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: flaskapp-v1

spec:

  replicas:

  template:

    metadata:

      labels:

        app: flaskapp

        version: v1

    spec:

      containers:

      - name: flaskapp

        image: dustise/flaskapp

        imagePullPolicy: IfNotPresent

        ports:

          - name: http

            containerPort:   #缺少containerPort

        env:

        - name: version

          value: v1

... 




官网说明https://istio.io/docs/setup/kubernetes/additional-setup/requirements/中：




Pod ports: Pods must include an explicit list of the ports each container listens on. Use a containerPort configuration in the container specification for each port. Any unlisted ports bypass the Istio proxy.

# 未列出来来的端口都会绕过istio proxy 




 


同时describe flaskapp pod 如下所示：




kubectl describe pod flaskapp-v1-6df8d69fb8-fb5mr -n kangxzh

#

istio-proxy:

    ... 省略若干

    Args:

      ...

      --concurrency

      --controlPlaneAuthPolicy

      MUTUAL_TLS

      --statusPort

      --applicationPorts

      "" #为空 




 


在deployment中增加containerPort: 80后，如下所示：




istio-proxy:

    ... 省略若干

    Args:

      ...

      --concurrency

      --controlPlaneAuthPolicy

      MUTUAL_TLS

      --statusPort

      --applicationPorts
       






注意：在Istio1.2版本以后也可通过设置Pod annotation 中 traffic.sidecar.istio.io/includeInboundPorts来达到同样的目的，缺省值为Pod的containerPorts列表，逗号分隔的监听端口列表，这些流量会被重定向到 Sidecar，* 会重定向所有端口，具体详情参见官网1.2新特性(见参考链接)


验证


sleep 发起请求：




[root@kubernetes-master flaskapp]# kubectl -n kangxzh exec -it -c sleep $SOURCE_POD bash

bash-4.4# curl http://flaskapp/env/version

#响应

v1




 


sleep-istio-proxy 未携带证书，发起请求：




kubectl -n kangxzh exec -it -c istio-proxy $SOURCE_POD bash

istio-proxy@sleep-v1-7f45c6cf94-zgdsf:/$ curl http://flaskapp/env/version

#响应

curl: () Recv failure: Connection reset by peer

sleep-istio-proxy 携带证书，发起请求

istio-proxy@sleep-v1-7f45c6cf94-zgdsf:/$ curl https://flaskapp:80/env/version --key /etc/certs/key.pem --cert /etc/certs/cert-chain.pem --cacert /etc/certs/root-cert.pem -k

#响应

v1 




 


 


 


参考链接


  • https://github.com/fleeto/sleep
    • 

  • https://github.com/fleeto/flaskapp
    • 

  • https://istio.io/docs/setup/kubernetes/additional-setup/requirements/
    • 

  • https://preliminary.istio.io/about/notes/1.2/
												


																

最新文章
	

    
						
  1. WebGIS中等值线前端生成绘制简析
		
    2. 
						
  2. 学习Redis你必须了解的数据结构——双向链表（JavaScript实现）
		
    3. 
						
  3. Android studio下gradle Robolectric单元测试配置
		
    4. 
						
  4. css3选择器详解
		
    5. 
						
  5. 讲讲Handler+Looper+MessageQueue 关系
		
    6. 
						
  6. block的语法
		
    7. 
						
  7. Docker第三方项目小结
		
    8. 
						
  8. ZOJ3724 Delivery(树状数组？？)
		
    9. 
						
  9. 第48条：如果需要精确的答案，请避免使用float和double
		
    10. 
						
  10. SQL server 变量、运算符
		
    11. 
						
  11. Ftp不能登陆的解决方法
		
    12. 
						
  12. 地下迷宫（bfs输出路径）
		
    13. 
						
  13. linux之LVS简介(转自南非的蚂蚁)
		
    14. 
						
  14. 手把手教你使用startuml画用例图
		
    15. 
						
  15. Android开发环境的配置2017.05.27
		
    16. 
						
  16. 131A
		
    17. 
						
  17. python prettytable模块
		
    18. 
						
  18. [No0000192]Vim打开和保存文件-Vim使用技巧(7)
		
    19. 
						
  19. windows下maven的安装
		
    20. 
						
  20. Microsoft Azure Storage架构分析
		
    21. 
		

	


热门文章
	

    
									
  1. DevExpress的TreeList怎样设置数据源，从实例入手
			
    2. 
						
  2. WEBAPI 设置上传文件大小
			
    3. 
						
  3. Java生鲜电商平台-商品的spu和sku数据结构设计与架构
			
    4. 
						
  4. Codeforces 1256A 1257A
			
    5. 
						
  5. 小鸟初学Shell编程（五）输入输出重定向
			
    6. 
						
  6. jQuery 杂项方法大全
			
    7. 
						
  7. JavaScript中的 JSON 和 JSONP
			
    8. 
						
  8. 给普通用户赋予sudo权限后报错，提示/etc/sudoers文件权限拒绝
			
    9. 
						
  9. 服务器CPU很高，频繁FullGC排查小总结
			
    10. 
						
  10. windows elasticsearch搭集群启动失败failed to send join request to master....
			
    11.