一次TiDB负载搞排查

1. 背景

• TiDB Server两个节点CPU使用率都比较高

  

• 查看QPS指标，可以看到14点到19点之间是基本没有流量的

  

• 登陆机器可以发现，有很多连接其实已经失效，但是还残留服务器上：

  

• 怀疑Server负载高和这些诡异的SQL有关系，即便没有释放，也没办法KILL，但是还是占用了一个核的CPU

  

  • https://github.com/pingcap/tidb/pull/29212
  • https://github.com/pingcap/tidb/issues/24031

2. 解决方案

1. 将流量转移到其他机器，可选途径有：

   • 将机器从负载均衡上剔除，让新建连接不使用这台机器
   • 旧连接处理，有多种方案