黄兵的个人博客

使用 memory_profiler 诊断内存用量

最近使用多线程长时间运行任务，具体情况可以参考这篇文章：futures.ThreadPoolExecutor 内存耗尽相关问题，经过一天测试问题依然没有解决，只能分析看看哪里出了问题，导致内存占用居高不下。

在 Python 中分析内存占用，可以使用 memory_profiler 来分析。

安装 memory_profiler：

pip install memory_profiler

之后在需要分析的函数上面加装饰器：

from memory_profiler import profile

@profile
def ping_main(self, ip_list):
    # fix ValueError: max_workers must be greater than 0
    workers = min(self._num_worker, len(ip_list) if len(ip_list) > 0 else 1)
    with futures.ThreadPoolExecutor(workers) as executor:
        executor.map(self.ping, ip_list)

这里加入了 @profile 装饰器，现在开始分析，执行如下命令：

python python_program.py

运行一段时间之后就出现了占用内存的报告：

Filename: ping_monitor_main.py

Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
    42     53.0 MiB     53.0 MiB           1       @profile
    43                                             def run_process_ping(self):
    44     53.0 MiB      0.0 MiB           1           ip_list = self.get_ip_list_by_csv()
    45     53.0 MiB      0.0 MiB           1           if ip_list:
    46     53.0 MiB      0.0 MiB           1               self._init_process_ping.ping_main(ip_list)


Filename: E:\Code\Service_Ping_Monitor\unit\process_ping.py

Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
    86     53.0 MiB     53.0 MiB           1       @profile
    87                                             def ping_main(self, ip_list):
    88                                                 # fix ValueError: max_workers must be greater than 0
    89     53.0 MiB      0.0 MiB           1           workers = min(self._num_worker, len(ip_list) if len(ip_list) > 0 else 1)
    90     53.0 MiB      0.0 MiB           1           with futures.ThreadPoolExecutor(workers) as executor:
    91     50.8 MiB     -2.2 MiB           1               executor.map(self.ping, ip_list)


Filename: ping_monitor_main.py

Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
    42     53.0 MiB     53.0 MiB           1       @profile
    43                                             def run_process_ping(self):
    44     53.0 MiB      0.0 MiB           1           ip_list = self.get_ip_list_by_csv()
    45     53.0 MiB      0.0 MiB           1           if ip_list:
    46     47.7 MiB     -5.3 MiB           1               self._init_process_ping.ping_main(ip_list)


Filename: E:\Code\Service_Ping_Monitor\unit\process_ping.py

Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
    86     47.7 MiB     47.7 MiB           1       @profile
    87                                             def ping_main(self, ip_list):
    88                                                 # fix ValueError: max_workers must be greater than 0
    89     47.7 MiB      0.0 MiB           1           workers = min(self._num_worker, len(ip_list) if len(ip_list) > 0 else 1)
    90     47.7 MiB      0.0 MiB           1           with futures.ThreadPoolExecutor(workers) as executor:
    91     52.7 MiB      5.0 MiB           1               executor.map(self.ping, ip_list)


Filename: ping_monitor_main.py

Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
    42     47.7 MiB     47.7 MiB           1       @profile
    43                                             def run_process_ping(self):
    44     47.7 MiB      0.0 MiB           1           ip_list = self.get_ip_list_by_csv()
    45     47.7 MiB      0.0 MiB           1           if ip_list:
    46     52.7 MiB      5.0 MiB           1               self._init_process_ping.ping_main(ip_list)

这样就可以分析哪里出了问题，导致内存占用过高。

参考资料：

1、Memory profiling in Python using memory_profiler

2、《Python 高性能编程》[美] Micha Gorelick Ian Ozsvald 著

黄兵个人博客原创。

转载请注明出处：黄兵个人博客 - 使用 memory_profiler 诊断内存用量