当前位置：首页 > 编程日记 > 正文

HybridDB · 源码分析 · MemoryContext 内存管理和内存异常分析

编程日记 2024-11-14 05:40:00

背景

最近排查和解决了几处 HybridDB for PostgreSQL 内存泄漏的BUG。觉得有一定通用性。
这期分享给大家一些实现细节和小技巧。

阿里云上的 HybridDB for PostgreSQL 是基于 PostgreSQL 开发，定位于 OLAP 场景的 MPP 架构数据库集群。它不少的内部机制沿用了 PostgreSQL 的实现。其中就包括了内存管理机制 MemoryContext。

一：PostgreSQL 内存管理机制

PostgreSQL 对内存的使用方式主要分两大块

1. shared_buffer 和同类 buffer。简单的说 shared_buffer 用于存放数据页面对应数据文件中的 block，这部分内存是 PostgreSQL 中各进程共享。这部分不在本文讨论。
2. MemoryContext 以功能为单位组织起来的树形数据结构，不同的阶段使用不同的 MemoryContext。

1. MemoryContext 的作用

简单的说 MemoryContext 的存在是为了更清晰的管理内存

合理管理碎片小内存。频繁的向 OS 申请和释放内存效率是很差的。MemoryContext 会以 trunk 为单位向 OS 申请成块的内存，并管理起来。当程序需求小内存时从 trunk 中分配，用完后归还给对应的 MemoryContext ，并不归还给 OS。
赋予内存功能和生命周期属性
- 以功能为单位管理内存。不同功能和阶段使用对应的 MemoryContext。
- TopTransactionContext：一个事务的生命周期，事务管理相关数据放在 TopTransactionContext，当一个事务提交时该上下文被整个释放。
- ExprContext PostgreSQL 以行为单位处理数据，每一行数据的表达式计算都会在 ExprContext 完成，每处理完一行都会重置对应的 ExprContext。
树形的 MemoryContext 结构
- 不同功能间的 MemoryContext 是以为树为单位组织起来的
- 每个数据库后端进程顶层是 TopMemoryContext
- TopMemoryContext 下有很多子 Context
  - 缓存相关的 CacheMemoryContext；
  - 本地锁相关的 LOCALLOCK hash；
  - 当前事务相关的 TopTransactionContext
  - 注意 CacheMemoryContext 为何不属于 TopTransactionContext，那是由于 Cache 是独立于事务存在的，事务提交不影响 Cache 的存在。
- 删除或重置一个 MemoryContext，它的子 MemoryContext 也一并被删除或重置。

2. 不同模块的 MemoryContext

你可能明白了，实现不同的模块时，对待内存的方式可能区别很大。
比如：

1. 执行器在做表达式计算时，一些诸如字符串类型数据处理的函数，大多会比较随意的使用 palloc 分配内存，但直到函数返回，却并没有释放它们。
2. 在处理缓存模块处理数据时，却倍加小心的释放内存。

这是由于：

1. 执行器对数据的处理是以行为单位，都在 ExprContext 中，每处理完一行，会重置 ExprContext，以此释放相关的内存。
2. 缓存的生命周期很长，不会定期重置整个 MemoryContext。哪怕少量的内存泄漏，积攒的后果都很严重。这部分的实现容易出问题，也不好排查。

3. 常见的内存问题

虽然有很好的内存管理机制，但进程中内存间没有强隔离，也可能出现内存问题。

造成内存泄漏的原因很大可能是：

1. 在较长生存周期的 MemoryContext 中正常处理流程中没有释放内存。
2. 由于发生了异常，跳转到在异常处理阶段没有释放内存。
3. 没有使用内存管理机制，使用 OS 调用 malloc，free 处理内存（某些实现不合理的插件中可能出现）。
4. 在不正确的 MemoryContext 分配了内存，导致内存泄漏或数据丢失。
5. 写内存越界，这是最难找的问题，很容易造成数据库崩溃。

4. 问题排查小技巧

针对内存泄漏，常用两种方法排查

1. valgrind 最常见的大杀器,开发人员都懂的。这里就不详细介绍了。

2. 使用 GDB 也能大致定位问题

2.1 这是一段脚本，我们把它保存成文本文件(pg_debug_cmd)

define sum_context_blocks
set $context = $arg0
set $block = ((AllocSet) $context)->blocks
set $size = 0
while ($block)
set $size = $size + (((AllocBlock) $block)->endptr - ((char *) $block))
set $block = ((AllocBlock) $block)->next
end
printf "%s: %d\n",((MemoryContext)$context)->name, $size
enddefine walk_contexts
set $parent_$arg0 = ($arg1)
set $indent_$arg0 = ($arg0)
set $i_$arg0 = $indent_$arg0
while ($i_$arg0)
printf " "
set $i_$arg0 = $i_$arg0 - 1
end
sum_context_blocks $parent_$arg0
set $child_$arg0 = ((MemoryContext) $parent_$arg0)->firstchild
set $indent_$arg0 = $indent_$arg0 + 1
while ($child_$arg0)
walk_contexts $indent_$arg0 $child_$arg0
set $child_$arg0 = ((MemoryContext) $child_$arg0)->nextchild
end
endwalk_contexts 0 TopMemoryContext

2.2 获得疑似内存泄漏的进程PID，定时触发执行下面的 shell

gdb -p $PID < pg_debug_cmd > memchek/MemoryContextInfo_$(time).log

2.3 分析日志文件

日志文件以 MemoryContext 树的形式展示了一个时间点该进程的内存分配情况。根据时间的积累，可以很容易判断出哪一些 MemoryContext 可能存在异常，从而为内存泄漏指明一个方向。

(gdb)
TopMemoryContext: 149616pgstat TabStatusArray lookup hash table: 8192TopTransactionContext: 8192TableSpace cache: 8192Type information cache: 24480Operator lookup cache: 24576MessageContext: 32768Operator class cache: 8192smgr relation table: 24576TransactionAbortContext: 32768Portal hash: 8192PortalMemory: 8192PortalHeapMemory: 1024ExecutorState: 24576SRF multi-call context: 1024ExprContext: 0ExprContext: 0ExprContext: 0Relcache by OID: 24576CacheMemoryContext: 1040384pg_toast_2619_index: 1024....pg_authid_rolname_index: 1024WAL record construction: 49776PrivateRefCount: 8192MdSmgr: 8192LOCALLOCK hash: 8192Timezones: 104128ErrorContext: 8192

最后，文章的参考资料中也提供了一种类似的方法，供各位参考。

总结

PostgreSQL 内存管理机制的实现比较复杂，但用起来确却很简单，有一种特别的美感，推荐大家了解一下。

参考资料

PostgreSQL Developer_FAQ

https://www.dkcj.cn/info/27427.html

联合南京大学，爱奇艺智能论文入选顶会CVPR 2021

日前，全球计算机视觉顶级会议CVPR (IEEE Conference on Computer Vision and Pattern Recognition)公布了2021年论文接收结果。作为计算机视觉领域世界三大顶会(CVPR、ICCV、ECCV)之一，CVPR的论文投稿量近五年来持续大涨。据CVPR官网显示，今…

编程日记2024/11/14 05:30:00

Forefront_TMG_2010-TMG发布Web服务器

1.环境拓扑图：2.准备DMZ区域的Web服务器：安装Web服务器：在DMZ区域的Web服务器进行测试：3.TMG发布Web服务器：打开TMG管理控制台，新建“网站发布规则”：新建名称：选择“允许”&#xf…

编程日记2024/11/14 05:20:00

ASP.NET实现身份模拟

使用模拟时，ASP.NET 应用程序可以选择以这些应用程序当前正为之操作的客户的身份执行。通常这样做的原因是为了避免在 ASP.NET 应用程序代码中处理身份验证和授权问题。而您依赖于 Microsoft Internet 信息服务 (IIS) 来验证用户，然后将已通过验证的标记…

编程日记2024/11/14 05:10:00

Mac homebrew类似apt-get命令安装包

INSTALL brew ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 其它： 其他brew命令 brew list 列出已安装的软件 brew update 更新brew brew home 用浏览器打开brew的官方网站 brew inf…

编程日记2024/11/14 05:00:00

asp.net中长内容自动分页的实现

在一篇文章过长时,可以自动的写个小程序对其进行分页.具体代码:public class t3 : System.Web.UI.Page { private string str;//字符 private int strl;//字符总长度 private int pagesize;//每页显示的字符数 …

编程日记2024/11/14 04:50:00

黑马程序员之List--队列、栈...

--------------------- ASP.NetUnity开发、.Net培训、期待与您交流！ ---------------------- 1.队列：先进先出运行结果： zhangsan lisi wangwu 2.栈：先进后出结果： lisi wangwu zhangsan 3. 去除重复元素思路&#x…

编程日记2024/11/14 04:40:00

龙芯架构应用迁移技术分享——搜狗输入法应用迁移

技术引领创新，用“芯”构建生态，第一期龙芯生态论坛将于2021年3月12日（周五）盛大开讲！龙芯生态论坛作为龙芯生态建设的重要技术交流窗口，将汇聚龙芯资深技术专家及行业生态伙伴精英，持续开展行业…

编程日记2024/11/14 04:30:00

Health Check in eShop -- 解析微软微服务架构Demo（五）

引言 What is the Health Check Health Check（健康状态检查）不仅是对自己应用程序内部检测各个项目之间的健康状态（各项目的运行情况、项目之间的连接情况等），还包括了应用程序对外部或者第三方依赖库的状态检测。 Why…

编程日记2024/11/14 04:20:00

网易伏羲论文入选 CVPR：AI 感知表情能力或实现巨大突破！

出品 | AI科技大本营（ID:rgznai100）2月28日，人工智能顶级会议CVPR 2021（国际计算机视觉与模式识别会议，Conference onComputer Vision and Pattern Recognition）公布论文录取结果，网易伏羲共有3…

编程日记2024/11/14 04:10:00

asp.net/c#字符格式化大总结

一、用{0:?}格式化可通过 String.Format 方法或通过 Console.Write 方法格式化数值结果，其中后一种方法调用 String.Format。使用格式字符串指定格式。下表包含受支持的标准格式字符串。格式字符串采用的形式为 Axx，其中 A 为“格式说明符”&#xff0c…

编程日记2024/11/14 04:00:00

小鱼提问1 类中嵌套public修饰的枚举，外部访问的时候却只能Class.Enum这样访问，这是为何？...

/// <summary>/// 常量等定义/// </summary>public class General{/// <summary>/// 文件类型/// </summary>public enum FileType{}}小鱼提问：都是public修饰，为何外部只能General.FileType这样访问？既然外部都不能…

编程日记2024/11/14 03:50:00

radio根据name 获取选中值及判断是否被选中

$(input:radio[name"fjscfs"]:checked).val();根据id判断是否被选中if($("#A26").is(":checked")){}根据class判断是否被选中if($(".A26").is(":checked")){}转载于:https://blog.51cto.com/ty2538402559/1949828

编程日记2024/11/14 03:40:00

ASP.NET中用healthMonitor属性用

在ASP.NET 2.0中，可以使用healthMonitoring属性监测事件。healthMonitoring属性是一个基于方法的provider，在这里可以构造自己的provider。利用healthMonitoring属性，我们可以诸如记录错语、成功的事件等，对不同的数据源&#xff…

编程日记2024/11/14 03:30:00

用 Python 动态可视化，看看比特币这几年

作者 | 刘早起来源 | 早起Python头图 | 下载于视觉中国最近几年，一直站在风口浪尖的比特币被追捧为最佳的投资产品，拥护者们认为这种加密货币是一种类似于黄金的储值工具，可以对冲通胀和美元疲软。其他人则认为，比特币的暴涨只是一…

编程日记2024/11/14 03:20:00

违规用户处理办法

2019独角兽企业重金招聘Python工程师标准>>> 1.简单设置用户信赖状态给用户设置信任字段，0不可信任，1默认许可（默认值），2可信赖用户当用户违规后，对其进行惩罚并设置其为不可信赖状态&#…

编程日记2024/11/14 03:10:00

linux同步软件

linux同步软件：scp,rsync,inotify,sersync一、scpscp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证。与rcp 不同的是，scp 在需要进行验证时会要求你…

编程日记2024/11/14 03:00:00

C语言内联函数

内联函数也称内嵌函数，它主要解决程序的运行效率。 #####################问题######################################### 函数调用需要建立栈内存环境，进行参数传递，并产生程序执行转移，这些转移都需要时间开销。有些函数在程序…

编程日记2024/11/14 02:50:00

Maximum Subarray

Find the contiguous subarray within an array (containing at least one number) which has the largest sum. For example, given the array [−2,1,−3,4,−1,2,1,−5,4],the contiguous subarray [4,−1,2,1] has the largest sum 6. Code: class Solution { public:int …

编程日记2024/11/14 02:40:00

HybridDB · 源码分析 · MemoryContext 内存管理和内存异常分析

背景

一：PostgreSQL 内存管理机制

1. MemoryContext 的作用

2. 不同模块的 MemoryContext

3. 常见的内存问题

4. 问题排查小技巧

总结

参考资料

相关文章：

联合南京大学，爱奇艺智能论文入选顶会CVPR 2021

Forefront_TMG_2010-TMG发布Web服务器

ASP.NET实现身份模拟

Mac homebrew类似apt-get命令安装包

asp.net中长内容自动分页的实现

黑马程序员之List--队列、栈...

龙芯架构应用迁移技术分享——搜狗输入法应用迁移

Health Check in eShop -- 解析微软微服务架构Demo（五）

网易伏羲论文入选 CVPR：AI 感知表情能力或实现巨大突破！

asp.net/c#字符格式化大总结

小鱼提问1 类中嵌套public修饰的枚举，外部访问的时候却只能Class.Enum这样访问，这是为何？...

radio根据name 获取选中值及判断是否被选中

ASP.NET中用healthMonitor属性用

用 Python 动态可视化，看看比特币这几年

违规用户处理办法

linux同步软件

C语言内联函数

Maximum Subarray

从Python到AI，这条路好走吗？

微信小程序server-1-搭建HTTPS server

被“钱”困住的开源开发者们！

PHP连接MySQL的2种方法以及防止乱码

nodejs npm install -g 全局安装和非全局安装的区别

Windows平台上实现P2P服务（三）

ASP.NET 2.0数据处理之高级分页/排序

rpcgen的简单讲解及例子程序

Python 捕获警告

python装饰器+迭代器+生成器

ASP.NET中绑定枚举类型

Java 领域offer收割：程序员黄金 5 年进阶心得！