线上java JVM问题排查
作者：霞落满天
第一部分 是我以前公司的一则正式案例：
第二部分 是我另一个博客上写的主要是最近发现大家问的比较多就写了此文
第一部分 线上真实故障案例
下面是一个老系统，代码写的有点问题导致出现这样一个JVM占比过高的问题，正常情况下也就是CPU负载不高的时候21:00左右的，也有30万，但是再多一点30几万就是阈值，就会出现堆积。
这个队列一直是增长的快。
这个是zabbix的CPU监控图，可以看出某些时段CPU会有性能毛刺：
经过跟同事一起讨论发现是系统框架中 kafka producer 使用了线程池，但设置较小，而消息量比较大，导致消息堆积
我建议在项目中，将线程数量加大。
下面是分析过程：
1、 从dump文件来看kafka.producer.KafKaProducerImpl这个对象中的queue占用了大量内存，这个类应该fx-kafka中提供的功能，用来写业务kafka的；
从图来看，堆内存已经占用了1.4G，可能存在内存泄露风险。
2、 建议查看一下dump文件中的线程消耗CPU情况，
a、可能是有线程在不停的循环造成的CPU过高；
b、 gc线程不停回收造成？
线上问题当时的CPU占用情况如图所示：
下面是当时java内存dump
=========================
第二部分 JVM常见排障步骤
0.jps
这个输出java进程pid
#jps
查看java的线程
#top -Hp 25448
如图25757这个线程比较耗时，看看他在做什么
注意需要折算出线程pid的16进制值，然后jstack。
可以打印更多信息
#jstack pid | grep -A 20 649d
参考：JVM调优之jstack找出最耗cpu的线程并定位代码
top+jstack分析cpu过高原因
1.jstack
#jstack -l pid > jstack.log
使用jstack命令输出这一时刻的线程栈
jstack线程分析
jstack日志深入理解
2.jmap
#jmap -dump:format=b,file=heapDump 6900
#jmap -dump:live,format=b,file=dump.bin 6900
-dump:[live,]format=b,file=<filename> 使用hprof二进制形式,输出jvm的heap内容到文件=.
live子选项是可选的，假如指定live选项,那么只输出活的对象到文件.
Java命令学习系列（3）：Jmap
jmap查看堆内存大小
#jmap -heap pid
注意：jmap使用的时候jvm是处在停顿状态的，只能在服务不可用的时候为了解决问题来使用，否则会造成服务中断。
使用jmap -histo[:live] pid查看堆内存中的对象数目、大小统计直方图，如果带上live则只统计活对象，如下：
# jmap -histo:live pid | more
需要使用MAT工具分析jmap dump的内存
使用jmap和MAT分析JVM堆内存
3.jstat
jstat -gcutil pid
250毫秒一次采样4次
可以看出：
堆内存 = 年轻代 + 年老代 + 永久代
年轻代 = Eden区 + 两个Survivor区（From和To）
现在来解释各列含义：
S0C、S1C、S0U、S1U：Survivor 0/1区容量（Capacity）和使用量（Used）
EC、EU：Eden区容量和使用量
OC、OU：年老代容量和使用量
PC、PU：永久代容量和使用量
YGC、YGT：年轻代GC次数和GC耗时
FGC、FGCT：Full GC次数和Full GC耗时
GCT：GC总耗时
E、hprof（Heap/CPU Profiling Tool）
4.gcore
#gdb -q --pid=1990
(gdb) generate-core-file
(gdb) detach
(gdb) quit
jmap -dump:format=b,file=heap.hprof /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java core.1990
需要具体jdk对应的bin/java
参考：
gcore 获取程序core dump file 但程序不用退出，gdb 分析core
java程序性能分析之thread dump和heap dump
5.堆外内存泄露分析
top出来java占用内存极大而jmap出来的很小，说明有堆外内存泄露。
参考Java堆外内存泄露分析
综合使用参考： JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解
JVM性能调优监控工具专题一：JVM自带性能调优工具（jps,jstack,jmap,jhat,jstat,hprof)
JVM性能调优监控工具专题二：VisualVM基本篇之监控JVM内存，CPU，线程
下面一些写的好，如果觉得前面不够尽兴可以延申阅读
如何使用MAT进行内存泄露分析
jvm系列六、windows用jdk自带工具jps、jstack找出性能最差的代码 【windows下的比较实用】
JVM 发生 OOM 的 8 种原因、及解决办法
面试官问：平时碰到系统CPU飙高和频繁GC，你会怎么排查【评判标准】
1.如果是Full GC次数过多，那么通过jstack得到的线程信息会是类似于VM Thread之类的线程；
2.而如果是代码中有比较耗时的计算，那么我们得到的就是一个线程的具体堆栈信息。
3.如果说该接口中有某个位置是比较耗时的，由于我们的访问的频率非常高，那么大多数的线程最终都将阻塞于该阻塞点，这样通过多个线程具有相同的堆栈日志，我们基本上就可以定位到该接口中比较耗时的代码的位置。
4.waiting on condition
如果该线程本身就应该处于等待状态，比如用户创建的线程池中处于空闲状态的线程，那么这种线程的堆栈信息中是不会包含用户自定义的类的。这些都可以排除掉，而剩下的线程基本上就可以确认是我们要找的有问题的线程。通过其堆栈信息，我们就可以得出具体是在哪个位置的代码导致该线程处于等待状态了。
5.deadlock死锁这种情况基本上很容易发现
=========================
JVM很多时间是因为系统架构不合理导致的，比如过大的内存，其实系统只要稍微调整下，完全可以提前避免。推荐看看我精心制作的课程《高性能微服务架构设计模式》你会对系统架构有很大的提高。
高性能微服务架构设计模式
主讲：霞落满天
现在企业开发都是微服务架构，但是有很多问题，比如分布式定义，分布式的微服务怎么拆分，什么时候拆分，怎么做到高性能，针对这些问题我录制了一期学习视频。有任何学习问题可以给我留言
视频地址有试听：https://edu.csdn.net/course/detail/27256/
课程大纲
开篇 高性能系统架构的分布式理论基础
模型 可无限扩展的AKF立方
问题 亿级QPS的电商网站遇到的问题
模式 CQRS模式进行架构设计
模式 事件溯源模式进行架构设计
结尾 新问题
课程精彩图片分享：
相关文章：
走向云时代的大型机
大型机，又称大型主机，英文名mainframe，是指使用专用的处理器指令集、操作系统和应用软件的有机整体。大型机最早诞生于上个世纪六十年代，经过四十多年的不断发展，其在可靠性、安全性、可用性和灵活性方面首屈一指。近年…
区分 欧几里得距离 曼哈坦距离 明考斯基距离
欧几里德距离(Euclidean Distance)，欧氏距离。一种通常采用的表示相似度的距离定义，是表示在m维空间中两个点之间的真实距离。 对于n维空间中的两个点之间的欧几里得距离d(i,j)表示为： d(i,j) (|xi1-xj1|2|xi2-xj2|2……|xip-xjp|2)1/2 当n2…
传统行业转型微服务的挖坑与填坑
原文:传统行业转型微服务的挖坑与填坑一、微服务落地是一个复杂问题，牵扯到IT架构，应用架构，组织架构多个方面 在多家传统行业的企业走访和落地了微服务之后，发现落地微服务是一个非常复杂的问题，甚至都不完全是技术问…
Windows下安装Mongodb SpringBoot集成MongoDB和Redis多数据源
全文内容： Mongodb安装 说明：Mongodb和redis是开发中常用的中间件，Redis的安装使用比较简单就不写了，只说本地也就是Windows安装Mongodb。 SpringBoot集成MongoDB和Redis 文中还有一个彩蛋Hutool 1.下载最新稳定版 https://w…
使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰…
HTTP缓存相关头
本文说的是HTTP中控制客户端缓存的头有哪些。网上这方面的文章很多了，这里就说下个人的理解。 在请求一个静态文件的时候（图片，css，js）等，这些文件的特点是文件不经常变化，将这些不经常变化的文…
Thrift RPC 系列教程（4）——源码目录结构组织
Thrift 代码就是编程代码。是代码，就应该有良好的工程组织，并且，单独git仓库、版本管理，都是必不可少的。 前面我们简单总结了一些 Thrift 的一些基础知识点，但无非是一些细节层面的东西，所谓『细枝末节』也…
Spring Bean四种注入方式（Springboot环境）
阅读此文建议参考本人写的Spring常用注解：https://blog.csdn.net/21aspnet/article/details/104042826 给容器中注册组件的四种方法： 1.ComponentScan包扫描组件标注注解Component(ControllerServiceRepository) 使用场景：自己写的代码&…
chrome dev debug network 的timeline说明
在使用chrome的时候F12的开发者工具中有个network，其中对每个请求有个timeline的说明，当鼠标放上去会有下面的显示： 这里面的几个指标在说明在chrome使用文档有说明： 下面我用人类的语言理解下： Proxy 与代理服务器的连…
【MATLAB】函数句柄
在MATLAB平台中，对函数的调用方法分为直接调用法和间接调用法。 1、直接调用函数，被调用的函数通常称为子函数。一个文件中只能有一个主函数。 2、函数句柄——提供一种间接调用函数的方法。创建函数句柄需要用到操作符。 创建函数句柄的一般句法格式…
为什么企业选择年底裁员？如何选择一个正确的公司！
为什么很多企业选择年底裁员？首先分析一下裁员的原因：1、你能力不行，在公司吃闲饭2、减少公司成本3、公司换血，需要新的人才注入普通情况下，这些因素裁员很正常，只能怪自己不争气，成为末尾被淘汰…
springboot集成logback日志 通用logback.xml模板详解
先看Spring Boot中依赖的logback,log4j,slf4j相关Jar包 1.最简单的默认打印控制台日志 import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.Reques…
【MATLAB】单元数组类型
1、概述 单元（Cell）数组是一种无所不包的广义数组。 组成单元数组的每个元素成为一个单元。 每一个单元可以包括任意数组，如数值数组，字符串数组，结构体数组或另外一个单元数组。 单元数组用花括号来创建“{ }”。…
UNITY3D拓展编辑器 - 目录
前文：最近在自学UNITY3D拓展器,对以上功能点做一些认知范围内的总结.目录：1. 属性编辑器http://weizeteng.blog.51cto.com/5604545/17744312. 工具编辑器3. 场景编辑器转载于:https://blog.51cto.com/weizeteng/1774390
程序员的你还沉浸在大公司就是螺丝钉？小公司锻炼人？错了！看完即懂
刚毕业那会经历过很多所谓创业公司，和很多朋友经历过画大饼，洗脑以及公司上市原始股这样的承诺。当你正在趟过这些谎言你就会发现，在这个世界上能信这些鬼话的也只有涉世未深的毕业生了。小公司里真的就是十几二十几个精英带你一路向前&#…
深入Jetty源码之Servlet框架及实现(AsyncContext、RequestDispatcher、HttpSession)
概述 Servlet是Server Applet的缩写，即在服务器端运行的小程序，而Servlet框架则是对HTTP服务器(Servlet Container)和用户小程序中间层的标准化和抽象。这一层抽象隔离了HTTP服务器的实现细节，而Servlet规范定义了各个类的行为，从…
SpringBoot conditional注解和自定义conditional注解使用
conditional注解是Springboot starter的基石，自动装配的时候会根据条件确定是否需要注入这个类。 含义：基于条件的注解。 作用：根据是否满足某个特定条件来决定是否创建某个特定的Bean。 意义：Springboot实现自动配置的关键基础…
TOPSIS算法及代码
TOPSIS的全称是“逼近于理想值的排序方法” 根据多项指标、对多个方案进行比较选择的分析方法，这种方法的中心思想在于首先确定各项指标的正理想值和负理想值，所谓正理想值是一设想的最好值（方案），它的的各个属性值都…
django框架的基础知识点《贰》
状态保持-----session作用：状态保持与cookie区别： cookie保存在浏览器中 session：保存在服务器中，即python代码运行的那台电脑 支持配置，可以指定保存的位置在django中保存方案： 关系型数据库 内存 关系型数…
Springboot源码分析之内嵌tomcat源码分析
Springboot源码是内嵌tomcat的，这个和完整的tomcat还是不同。 内嵌tomcat的源码在tomcat-embed-core等3个jar包里 展开tomcat-embed-core的catalina目录 再对照下载的apache-tomcat-9.0.31源码 打开bin目录，看到很多库文件比如catalina.jar 再展开看看类…
spring amqp rabbitmq fanout配置
基于spring amqp rabbitmq fanout配置如下： 发布端 <rabbit:connection-factory id"rabbitConnectionFactory" username"guest" password"guest" host"localhost" port"5672"/> <rabbit:template id&qu…
【MATLAB】数组运算
（这里这列举笔者不熟悉的，容易忘的数组运算） 1、数组的转置 >> a[1 2 3 4 5 6 7]a 1 2 3 4 5 6 7>> bab 1234567 2、对数组的赋值 >> a([1 4])[0 0]a 0 2 3 0 5 6 73、注…
RLCenter云平台配置中心
榕力RLCenter云平台配置中心以图形界面的方式实现对云桌面系统的统一管理，包括用户管理、服务器管理、虚拟机管理、策略管理。可配置U盘类设备的读写权限，避免企业敏感信息泄密。实行数据集中存储，支持用户数据进行备份和恢复。 (1)云桌面性能…
SSL/TLS原理详解
本文大部分整理自网络，相关文章请见文后参考。 关于证书授权中心CA以及数字证书等概念，请移步 OpenSSL 与 SSL 数字证书概念贴 ，如果你想快速自建CA然后签发数字证书，请移步 基于OpenSSL自建CA和颁发SSL证书 。 SSL/TLS作为一种互…
SpringBoot源码分析之@Scheduled
Springboot写上注解Scheduled就可以实现定时任务， 这里对其源码做一点分析 Service public class MyScheduled {Scheduled(cron"${time.cron}")void paoapaoScheduled() {System.out.println("Execute at " System.currentTimeMillis());} }…
【MATLAB】矩阵分析之向量和矩阵的范数运算
本片借鉴于 https://blog.csdn.net/u013534498/article/details/52674008 https://blog.csdn.net/left_la/article/details/9159949 向量范数当p1时，即为各个向量的元素绝对值之和 >> norm(x,1)ans 21>> xx 1 2 3 4 5 6>> no…
如何打一个FatJar（uber-jar）
如何打一个FatJar（uber-jar） FatJar也就叫做UberJar，是一种可执行的Jar包(Executable Jar)。FatJar和普通的jar不同在于它包含了依赖的jar包。 1. maven-jar-plugin 例子 <build><finalName>demo</finalName><plugins&g…
JDK源码分析 NIO实现
总列表：http://hg.openjdk.java.net/ 小版本：http://hg.openjdk.java.net/jdk8u jdk:http://hg.openjdk.java.net/jdk8u/jdk8u60/file/d8f4022fe0cd hotspot:http://hg.openjdk.java.net/jdk8u/jdk8u60/hotspot/file/37240c1019fd 调用本地native方法…
Linux进程ID号--Linux进程的管理与调度（三）
进程ID概述 进程ID类型 要想了解内核如何来组织和管理进程ID，先要知道进程ID的类型： 内核中进程ID的类型用pid_type来描述,它被定义在include/linux/pid.h中 enum pid_type {PIDTYPE_PID,PIDTYPE_PGID,PIDTYPE_SID,PIDTYPE_MAX };12345671234567PID 内核…
【MATLAB】矩阵运算之矩阵分解
矩阵分解：把一个矩阵分解成为矩阵连乘的形式。矩阵的分解函数cholCholesky分解cholinc稀疏矩阵的不完全Cholesky分解lu矩阵LU分解luinc稀疏矩阵的不完全LU分解qr正交三角分解svd奇异值分解gsvd一般奇异值分解schur舒尔分解 在MATLAB中线性方程组的求解主要基于四种基…