python会不会出现内存泄露_Python内存泄漏和内存溢出的解决方案
一、内存泄漏
像Java程序一样，虽然Python本身也有垃圾回收的功能，但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的，长期运行的后台服务进程来说，如果内存持续增长，那么很可能是有了“内存泄露”。
1、内存泄露的原因
对于 python 这种支持垃圾回收的语言来说，怎么还会有内存泄露？ 概括来说，有以下三种原因：
所用到的用 C 语言开发的底层模块中出现了内存泄露。
代码中用到了全局的 list、 dict 或其它容器，不停的往这些容器中插入对象，而忘记了在使用完之后进行删除回收
代码中有“引用循环”，并且被循环引用的对象定义了__del__方法，就会发生内存泄露。
为什么循环引用的对象定义了__del__方法后collect就不起作用了呢？
gc模块最常使用的方法就是gc.collect()方法，使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言，在使用了del语句的时候解释器首先会看要删除对象的引用计数，如果为0，那么就释放内存并执行del方法。
在这里，首先del语句出现时本身引用计数就不为0(因为有循环引用的存在)，所以解释器不释放内存；
再者，执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的，对于这两个循环引用对象而言，
python无法判断调用它们的del方法时会不会要用到对方那个对象，比如在进行b.del()时可能会用到b._a也就是a，如果在那之前a已经被释放，那么就彻底GG了。
为了避免这种情况，collect方法默认不对重载了del方法的循环引用对象进行回收，而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的，自然就不会被collect处理，所以就进入了garbage列表。
2、内存泄露的诊断思路
无论是哪种方式的内存泄露，最终表现的形式都是某些 python 对象在不停的增长；因此，首先是要找到这些异常的对象。
3、诊断步骤
用到的工具： gc 模块和 objgraph 模块
gc模块 是Python的垃圾收集器模块，gc使用标记清除算法回收垃圾
objgraph 是一个用于诊断内存问题的工具
1、 在服务程序的循环逻辑中，选择出一个诊断点
2、 在诊断点，插入如下诊断语句
import gc
import objgraph
### 强制进行垃圾回收
gc.collect()
### 打印出对象数目最多的 50 个类型信息
objgraph.show_most_common_types(limit=50)
4、检查统计信息，找到异常对象
运行加入诊断语句的服务程序，并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后，就可以来分析日志，看看哪些对象在不停的增长。
比如，排查结果可能是：
一个多线程程序，多个线程作为生产者，一个线程作为消费者，通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度，又没有进行同步， 导致异步队列中的对象越来越多。
二、内存溢出
1、内存溢出原因
内存中加载的数据量过于庞大，如一次从数据库取出过多数据
集合类中有对对象的引用，使用完后未清空，产生了堆积，使得JVM不能回收
代码中存在死循环或循环产生过多重复的对象实体
使用的第三方软件中的BUG
启动参数内存值设定的过小
2、内存溢出的解决方案
第一步，修改JVM启动参数，直接增加内存(-Xms，-Xmx参数一定不要忘记加)
第二步，检查错误日志，查看“OutOfMemory”错误前是否有其 它异常或错误
第三步，对代码进行走查和分析，找出可能发生内存溢出的位置
重点排查以下几点：
检查对数据库查询中，是否有一次获得全部数据的查询。一般来说，如果一次取十万条记录到内存，就可能引起内存溢出。这个问题比较隐蔽，在上线前，数据库中数据较少，不容易出问题，上线后，数据库中数据多了，一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
检查代码中是否有死循环或递归调用。
检查是否有大循环重复产生新对象实体。
检查List、MAP等集合对象是否有使用完后，未清除的问题。List、MAP等集合对象会始终存有对对象的引用，使得这些对象不能被GC回收。
第四步，使用内存查看工具动态查看内存使用情况
三、内存泄漏和内存溢出的区别
内存溢出是指向JVM申请内存空间时没有足够的可用内存了，就会抛出OOM即内存溢出。
内存泄漏是指，向JVM申请了一块内存空间，使用完后没有释放，由于没有释放，这块内存区域其他类加载的时候无法申请，
同时当前类又没有这块内存空间的内存地址了也无法使用，相当于丢了一块内存，这就是内存泄漏。
值得注意的是内存泄漏最终会导致内存溢出，很好理解，内存丢了很多最后当然内存不够用了。
以上就是Python内存泄漏和内存溢出的解决方案的详细内容，更多关于Python内存泄漏和内存溢出的资料请关注龙方网络其它相关文章！
相关文章：
以太坊发展历史回顾
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 以太坊历史 最近历史记录，请查看Taylor Gerring博客发帖。 诞生 2013年末Vitalik Buterin第一次描述了以太坊，作为他研究比…
医学图像分类_TauMed：医学诊断领域中的图像分类测试数据扩增
南京大学智能软件工程实验室iselab.cn摘要：深度学习在医学分类方面取得了长足的进步。但是，在许多现实的环境中，用于训练和测试的数据不足且不平衡，深度学习模型将很容易过度拟合且泛化能力很差。并且由于医院和患者的状况并不总是…
仲兆鹏 160809329 第5次
---恢复内容开始--- 第一题 #include<stdio.h>//输入三个数有小到大排序 int main() {int a;int b;int c;printf("输入三个整数:");scanf("%d %d %d",&a,&b,&c);if(a>c) { ta; ac; ct; } if(b>c) { tb…
promise实现多个请求并行串行执行
早上查资料，偶然发现这个话题，发现自己并不会，于是乎，下来研究了一下。 想想之前我们用jquery写请求的时候，要实现请求的串行执行，我们可能是这么做的。 $.ajax({url: ,data: ,success: function (data) {$…
人工智能和区块链的融合
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 AI与区块链结合，可能性有多大？ 人工智能和区块链是促进各行业创新和转型的主要技术，对这一点各行业已达成共识。…
AngularJS学习笔记（3）——通过Ajax获取JSON数据
通过Ajax获取JSON数据 以我之前写的与用户交互的动态清单列表为例，使用JSON前todo.html代码如下： <!DOCTYPE html> <html ng-app"todoApp"> <head> <meta charset"UTF-8"> <title>TO DO List</tit…
python爬取哔哩哔哩视频_荐爬取哔哩哔哩中的cosplay小视频
爬取哔哩哔哩小视频前言：想必大家都对小视频感兴趣吧，今天的爬虫的内容为将哔哩哔哩中的视频下载到本地，今天爬取的网站为URL : https://vc.bilibili.com/p/eden/all#/?tab%E5%BE%A1%E5%AE%85%E6%96%87%E5%8C%96&tagCOSPLAY1. 分析站点a…
区块链双语术语大全
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 这是一个简单而又全面的Blockchain词汇表，用于令人印象深刻的blockchain语言世界。 51% Attack（51%攻击） 当一…
SQL SERVER的锁机制（三）——概述（锁与事务隔离级别）
五、锁与事务隔离级别 事务隔离级别简单的说，就是当激活事务时，控制事务内因SQL语句产生的锁定需要保留多入，影响范围多大，以防止多人访问时，在事务内发生数据查询的错误。设置事务隔离级别将影响整条连接。 SQL Serve…
开源造轮子：一个简洁，高效，轻量级，酷炫的不要不要的canvas粒子运动插件库...
一：开篇 哈哈哈，感谢标题党的莅临~ 虽然标题有点夸张的感觉，但实际上，插件库确实是简洁，高效，轻量级，酷炫酷炫的咯。废话不多说，先来看个标配例子吧： （codepe…
python启动appium服务_python下appium服务的自启动和关闭
最近想把前不久写的webUi框架改写成mobile_Ui,也就是 用于手机端的UI自动化框架，目前已经完成该框架的改写，记录其中一些问题，框架后续会单独写篇幅介绍遇到的第一个问题就是1、python怎么能够自动启动和自动关闭appium服务，这样每…
以太坊源码分析
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 前言：人类正在步入数据时代。如今，全球每天就产生超过500亿GB的数据，据IDC预测，到2025年这一数据将超…
yapi-docker
yapi-docker 转载于:https://www.cnblogs.com/vickey-wu/p/9026153.html
灵活性是原则性基础上的灵活
灵活性是原则性基础上的灵活，没有原则性的灵活是耍流氓。 原则性是质，灵活性是量，灵活性有度的要求，就是不能改变质。转载于:https://www.cnblogs.com/jcode/p/5961867.html
办公室自动化系统_信息化管理建设 公司办公室用自动盖章机贵吗？
办公室自动盖章机的应用我们首先要考虑到底有没有用，之后在考虑贵不贵的问题。自动盖章机也称智能印章，是企业单位建设信息化印章管理方式的一种，过去由于人工盖章和管章效率低，且风险较大，为了避免因印章管理不当引起…
加密货币银行是什么？它又将如何运作？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 比特币曾经承诺，将帮助每个人拥有“属于自己的 银行 ”。但这里需要强调一点，在了解到银行实际提供的众多服务之后ÿ…
【Python】实现将testlink上的用例指定格式保存至Excel，用于修改上传
背景 前一篇博客记录的可以上传用例到testlink指定用例集的脚本，内部分享给了之后，同事希望能将testlink上原有的用例下载下来，用于下次修改上传，所有有了本文脚本。 具体实现 获取用例信息 def download_testcase():""…
Java随机字符串：随机数字字符串，工具类
Java中生成随机数，字符串的工具类 1. 调用方法需要传入生成字符串的长度和需要的类型 生成随机数字 生成随机字母字符串 生成随机字符串数字等 ......... 2. 总共8种类型，具体看工具类中的注释。 1 import java.util.Date;2 import java.util.Random;3 i…
python怎么查看代码错误_python中的错误如何查看
python常见的错误有1.NameError变量名错误2.IndentationError代码缩进错误3.AttributeError对象属性错误4.TypeError类型错误5.IOError输入输出错误6.KeyError字典键值错误具体介绍1.NameError变量名错误报错：>>> print aTraceback (most recent call last…
Facebook的加密货币即将到来会对整个加密货币领域意味着什么
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 Facebook的加密货币即将到来，它对整个加密货币领域意味着什么？这里不仅涉及到用户采用、节点参与，还涉及到合规、…
threadlocal使用场景_深入剖析ThreadLocal
点击上方 IT牧场 ，选择 置顶或者星标技术干货每日送达朋友们在遇到线程安全问题的时候，大多数情况下可能会使用synchronized关键字，每次只允许一个线程进入锁定的方法或代码块，这样就可以保证操作的原子性，保证对公共资…
zabbix 监控tomcat实例
zabbix 监控tomcat实例环境:CentOS 7.2zabbix-3.0.5 LTSnginx-1.10.1php-7.0.11mariadb-10.1.18tomcat-9请参看zabbix-3.0.x LTS源码安装配置Tomcat7/8/9安装配置tomcat启用jmxhttp://tomcat.apache.org/tomcat-9.0-doc/monitoring.htmlhttp://docs.oracle.com/javase/6/docs/t…
什么是USDT以及如何使用它？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 什么是USDT？ 如果您使用Poloniex或Bittrex交易所交易，那么您可能已经多次见过UDST市场了，您甚至经常使用它。 …
BZOJ3930: [CQOI2015]选数
BZOJ3930: [CQOI2015]选数 Description 我们知道，从区间[L,H]（L和H为整数）中选取N个整数，总共有(H-L1)^N种方案。 小z很好奇这样选出的数的最大公约数的规律，他决定对每种方案选出的N个整数都求一次最大公约数…
the job was canceled什么意思_这些英语短语，因为相差一个“the”导致意思大不相同！...
今天有小伙伴在我文章下面留言，说到了两个短语，同样是因为两者之间相差一个“the”而造成了意义完全不同。分别是“out of question”和“out of the question”，第一个没有“the”意思是“毫无疑问、无疑的”意思。第二个则是“不可能的”。…
php中类和对象的操作
在类中用$this指代对象本身。 用self::指代类本身。 $p1 new Person(michael);//向Person类的构造函数__construct中传名字 echo($p1->name);//获取对象p1的public实例属性name(注意没有$) $p1->speak();//调用对象p1的实例方法speak echo(Person::$sex);//获取类变量(s…
关于区块链的知识
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 1 是什么导致了区块链的出现？ 互联网的信任缺失导致了区块链技术的出现 在互联网上最缺乏的就是信任了，1993年《纽约客》…
JavaScript 表单与表单验证
JavaScript 表单 JavaScript 表单验证 HTML 表单验证可以通过 JavaScript 来完成。 以下实例代码用于判断表单字段(fname)值是否存在，如果存在，则弹出信息，否则阻止表单提交： JavaScript 实例 function validateForm() { var x d…
iOS项目的本地化处理（多国语言）
项目的本地化就是：iOS系统在不同语言环境下自动切换语言，从而实现一个app发布到全世界各个国家的AppStore上。 我们不仅仅需要在iOS项目中做本地化处理，在上架iOS APP的时候，也需要做对应的本地化设置哦。 iOS项目中需要处理的本地…
synchronized底层原理_你用过synchronized吗？它的底层原理是什么？Java经典面试题来了...
并发编程已经成为程序员必备技能作为Java程序员，不懂得并发编程显然已经不能满足市场需求了，尤其是在面试过程中将处于被动地位，也有可能面试将就此终结。那么作为Java开发者的你，日常虽然可以基于Java的并发工具包实现并发编程&a…