线上问题定位--OOM
服务器上部署了Java服务,出现了OutOfMemoryError,问题应该如何定位?
解决思路
Java服务OOM,最常见的原因为:
-
有可能是内存分配确实过小,而正常业务使用了大量内存
-
某一个对象被频繁申请,却没有释放,内存不断泄漏,导致内存耗尽
-
某一个资源被频繁申请,系统资源耗尽,例如:不断创建线程,不断发起网络连接
更具体的,可以使用以下的一些工具逐一排查。
一、查发生了OOM的进程
工具:top
方法:
-
执行top -d 1 -c,每秒刷新一次,显示进程运行信息列表
-
键入M (大写m),进程按照内存使用排序
图示:
二、确认是不是内存本身就分配过小
方法:jmap -heap 2820
如上图,可以查看新生代,老生代堆内存的分配大小以及使用情况,看是否本身分配过小。
三、找到最耗内存的对象
方法:jmap -histo:live 2820 | more
图示:
如上图,输入命令后,会以表格的形式显示存活对象的信息,并按照所占内存大小排序:
-
实例数
-
所占内存大小
-
类名
是不是很直观?对于实例数较多,占用内存大小较多的实例/类,相关的代码就要针对性review了。
上图中占内存最多的对象是byte,共占用内存71M,值得关注,后续再MAT中再次分析。
四、确认是否是资源耗尽
查看进程创建的线程数,如果资源耗尽,也可能出现OOM。
工具:
-
ps
方法:ps -efL 2820
查看进程网络连接数,如果资源耗尽,也可能出现OOM。
工具:
-
netstat
方法:netstat -apn | grep 2820
这里介绍另一种方法,通过
-
/proc/${PID}/fd
-
/proc/${PID}/task
可以分别查看句柄详情和线程数。
例如,某一台线上服务器的sshd进程PID是2820,查看
-
ll /proc/2820/fd
-
ll /proc/2820/task
喜欢请微信扫描下面二维码,关注我公众号–“扯一扯技术”,做一些实战项目中的问题和解决方案分享。