如何定期监控并收集Notebook里的资源使用情况

背景

Notebook实例在使用中，如果内存超过配置限额，对应实例会被kill掉重启，会对使用造成一定的影响。

特别是在多人共用的场景下，很难监控到具体是谁启动的任务导致内存超限，并最终引发实例重启。

急切需要一套工具来记录相关的信息，从而能够对内存超限的程序进行溯源。定位内存超限的应用，并最终根据溯源结果实施具体的规避措施。

实施

由于整个Notebook重启，只有"/home/ma-user/work"目录是会持久化的，所以提供简单的监控脚本如下：

nohup top -n 99999 -d 60 -w 2048 -b -c -o %MEM > /home/ma-user/work/logs/top.log

参数说明：

-n 99999：连续执行99999次

-d 60：每60秒查询一次

-b：批量模式，通过文本输出

-c：显示程序启动命令

-w 2048：每行显示2048个字符，保证启动命令的主要内容能够正常显示

-o %MEM：按内存占用排序

效果：