1、内存简介

    DWS集群有丰富的内存监控和管控工具，实际环境中经常出现内存使用率较高甚至出现"memory is temporarily unavailable"报错提示信息，本文对DWS提供的内存参数和视图，以及常见内存问题进行分析介绍，希望对大家的内存定位问题有帮助。

2、内存管控相关参数和视图

2.1 内存相关guc参数

• max_process_memory

        设置单节点最大可用内存，当实际物理内存较大，且集群出现"memory is temporarily unavailable"报错信息时，可适当调大该参数。

• query_mem

• wlm_memory_feekback_adjust

2.2 内存相关视图

• pv_total_memory_detail

        统计当前节点内存使用信息，多节点的视图为pgxc_total_memory_detail。

       查询所有节点内存使用情况

with 
  a as (select * from pgxc_total_memory_detail where memorytype = 'dynamic_used_memory'),
  b as (select * from pgxc_total_memory_detail where memorytype = 'dynamic_peak_memory'),
  c as (select * from pgxc_total_memory_detail where memorytype = 'max_dynamic_memory'),
  d as (select * from pgxc_total_memory_detail where memorytype = 'process_used_memory'),
  e as (select * from pgxc_total_memory_detail where memorytype = 'other_used_memory'),
  f as (select * from pgxc_total_memory_detail where memorytype = 'max_process_memory')
select 
  a.nodename,
  a.memorymbytes as dynamic_used_memory,
  b.memorymbytes as dynamic_peak_memory,
  c.memorymbytes as max_dynamic_memory,
  d.memorymbytes as process_used_memory,
  e.memorymbytes as other_used_memory,
  f.memorymbytes as max_process_memory
from 
  a, b, c, d, e, f
where 
  a.nodename = b.nodename
  and b.nodename = c.nodename 
  and c.nodename = d.nodename 
  and d.nodename = e.nodename 
  and e.nodename = f.nodename 
order by
  a.nodename;

• pv_session_memory_detail

      查看内存上下文级别的内存占用详细信息

# 在当前dn节点查看内存占用较高的context
select sessid, contextname, level,parent, pg_size_pretty(totalsize) as total ,pg_size_pretty(freesize) as freesize, pg_size_pretty(usedsize) as usedsize, datname,query_id, substr(query, 1,60) as query from pv_session_memory_detail a , pg_stat_activity b where split_part(a.sessid,'.',2) = b.pid order by totalsize desc limit 10;

• pg_shared_memory_detail

        查询所有已产生的共享内存上下文的使用信息。

# 在dn节点上查看共享内存使用较高的context
select * from pg_shared_memory_detail order by totalsize desc limit 30;

• pv_session_memory

         pv_session_memory统计Session级别的内存使用情况，包含执行作业在数据节点上Postgres线程和Stream线程分配的所有内存。

2.3 内存相关函数

• pv_session_chunk_dump(tid, contextname)

将tid对应的线程下memory context当前生成的所有chunk信息输出到文件，需要搭配pv_session_chunk_detail函数使用。

• pv_session_chunk_detail(tid, contextname)

用于打印tid对应的线程下memory context生成的所有chunk信息，需要先执行pv_session_chunk_dump函数。

输出字段信息：

• pg_shared_chunk_dump(contextname)

     将共享memory context当前生成的所有chunk信息输出到文件，需要搭配pg_shared_chunk_detail函数使用。

• pg_shared_chunk_detail(tid, contextname)

     用于打印共享memory context生成的所有chunk信息，需要先执行pg_shared_chunk_dump函数。

输出字段信息：

    效果演示：

select * from pg_shared_memory_detail order by totalsize desc;
select * from pg_shared_chunk_dump('RunTime Statistics');
select file_name, line_number, sum(requested_number) rn, sum(total_size) ts from pg_shared_chunk_detail('RunTime Statistics') group by 1,2 order by 3 desc;

3、内存资源管控

        内存资源管控仅使用于复杂作业，即动态资源管控场景下语句估算内存大于等于32MB的内存。

•  实例级别的内存管理

          实例级别的内存管理通过max_process_memory实现，用户通过调整该参数，进而影响max_dynamic_memory，控制集群整体可以内存，值得注意的是，在ccn排队逻辑中，仲裁作业是排队还是运行的逻辑是比较作业的估算内存（语句单dn内存估算，cn内存不管控）与集群剩余可用内存，其中集群可用内存就是该集群下所有dn节点中最小的max_dynamic_memory。

•   资源池级别内存管控

           资源池级别的内存管控通过创建资源池指定的mem_percent参数实现，该参数和资源池慢车道排队强相关。资源池作业级别资源管控，主要通过mem_limit参数实现，该参数主要限制资源池复杂语句的最大估算内存，防止语句估算内存过高引起异常排队，与此对应的是数据库级别语句内存管控参数query_mem，该参数直接指定语句估算内存，注意区别。

4、内存问题常用定位语句

• 监控当前实例内存总体实时使用情况

SELECT * FROM pg_total_memory_detail;

• 监控当前实例共享内存实时使用情况

select * from pg_shared_memory_detail order by totalsize desc limit 30;

• 监控同一pid作业总共使用的session内存

select split_part(sessid,'.',2) pid,pg_size_pretty(sum(totalsize)) total_size,count(*) context_count from pv_session_memory_detail group by pid order by sum(totalsize) desc limit 50;

• 会话级内存，包括memoryContext名字，query信息，threadid，内存使用大小（totalsize）等信息

select sessid,contextname,level,parent,pg_size_pretty(totalsize) as total,pg_size_pretty(freesize) as freesize,pg_size_pretty(usedsize) as usedsize,datname,usename,application_name,client_addr,now() - query_start as dur,query_id,substr(query,1,100) from pv_session_memory_detail a, pg_stat_activity b where split_part(a.sessid,'.',2) = b.pid order by totalsize desc limit 50;

• 监控当前节点内存使用最高的语句

select b.state as state, a.sessid as sessid, b.query_id as query_id, substr(b.query,1,100) as query, sum(totalsize) as totalsize, sum(freesize) as freesize, sum(usedsize) as usedsize from pv_session_memory_detail a , pg_stat_activity b where split_part(a.sessid,'.',2) = b.pid group by state,sessid,query_id,query order by totalsize desc limit 50;

• 监控当前节点不同状态语句的内存使用信息

select b.state, sum(totalsize) as totalsize, sum(freesize) as freesize, sum(usedsize) as usedsize from pv_session_memory_detail a , pg_stat_activity b where split_part(a.sessid,'.',2) = b.pid group by b.state order by totalsize desc limit 20;

• 监控当前节点不同用户语句的内存使用信息

select b.usename, sum(totalsize) as totalsize, sum(freesize) as freesize, sum(usedsize) as usedsize from pv_session_memory_detail a , pg_stat_activity b where split_part(a.sessid,'.',2) = b.pid group by b.usename order by totalsize desc limit 30;

• 监控作业并发信息

select * from gs_respool_monitor;

• 监控所有节点运行时间最长的作业

select coorname,usename,client_addr,sysdate-query_start as dur, state, enqueue, waiting,pid,query_id, substr(query,1,50) from pgxc_stat_activity where usename != 'omm' and usename != 'Ruby' and state = 'active' order by dur desc limit 100;

• 所有节点线程运行状态统计

	
select node_name,wait_status,wait_event,count(*) as cnt from pgxc_thread_wait_status where wait_status <>'wait cmd' and wait_status <> 'synchronize quit' and wait_status <>'none' and wait_status<>'wait stream task' and wait_status <> 'wait node' group by 1,2,3 order by 4 desc limit 100;

5、案例

        出现内存不可用的报错常见的有以下场景：

        ①语句中相关的表未及时做analyze，统计信息差距过大，导致执行计划和内存估算出现步骤，该情况可以及时对相关表进行analzye矫正内存估算情况；

        ②SQL不下推。如内存问题在CN上出现，很大程度上是因为某个SQL的不下推导致。通过explain确认语句不下推后，将语句进行修改使其下推；

        ③中间结果集倾斜。GaussDB DWS在进行表关联时，优先使用hash join，需要对一张表创建哈希表，当哈希表大小超过work_mem限制时，会进行下盘避免内存占用过多，但如果原始表里或中间结果集中在join列上存在大量重复数据，是无法下盘的，必须全部载入内存中进行计算，会造成内存大量占用。如pv_session_memory_detail中占用内存最大的内存上下文为hash context，则大概率是此问题。这时应对客户的表和SQL进行分析，对重复值进行处理后，再进行关联。

        ④max_process_memory设置过小或者shared_buffer/cstore_buffer设置过大。

        ⑤作业并发较大，需降低并发，值得注意的是快车道是不管控内存和cpu资源的，所以当快车道作业并发量较大时，也会占用较高内存

案例1：

        某局点出现内存不可用报错，需对其进行分析：

         步骤1：作业内存不可用已经发生，可通过日志查看确定内存使用较高的context

       步骤2：通过日志可以看出Exprcontext内存使用较高，可知作业数据倾斜率较大导致的内存使用较高，可对作业的相关表进行重分布，使数据均衡

6、参考文献

【总结】【内存】DWS内存问题定位三板斧_数仓GaussDB(DWS)_华为云论坛 (huaweicloud.com)