gputaskman:查看各个进程占用的显存
内容摘要
gputaskman 是一款开源的终端显存监控工具,可查看本机进程的显存和 GPU 活动,也能按可用线索拆分本地模型的权重、KV 缓存和计算缓冲区。项目仍处于实验阶段,不同系统与显卡的统计能力不同,模型拆分值也不等同于直接测量。
排查显存占用时,看到 GPU 总量或进程名称,还不一定能分清浏览器、桌面合成器和本地模型各占了多少。gputaskman 在终端界面里把每个进程的显存占用、引擎活动与背后加载的运行时及模型文件关联起来,方便排查本地 GPU 负载和显存去向。
拆解本地模型与进程显存占用
跑本地大模型或训练任务时,光看进程名往往分不清显存里装了什么。工具针对本地 GPU 工作负载做了专门的关联分析:
- 估算大模型显存分布:支持关联已加载的运行时与模型文件,将大语言模型的显存开销细分为模型权重、KV 缓存和计算缓冲区,帮助判断为什么会有大量 GPU 内存占用或溢出到系统内存。项目还提供 GGUF 路径、Ollama 清单和本地模型服务等线索。
- 覆盖常见本地 GPU 负载:除了大语言模型推理,也适用于决策模型、视觉、语音、微调训练(包含 Unsloth)以及常规图形和视频任务。纯 CPU、纯 NPU 或云端服务不在监控范围内。
- 同屏查看系统与进程资源:除了 GPU 指标,面板还提供系统整体的内存与 CPU 状态,以及按进程细分的内存和 CPU 占用列。
- 导出与对比 JSON 快照:除了直接打开交互式终端界面,也支持单次输出或通过记录命令生成仅追加的 JSON 快照,用来对比不同时间点的负载变化。
工具目前处于早期实验阶段。设备和进程计数器属于实测数据,而工作负载分类及基于 GGUF 的显存拆解属于估算值;仅凭 PyTorch 或 CUDA 动态库本身无法识别具体模型,它也不会转储显存内容或枚举游戏贴图。
硬件兼容与安装方式
支持 Windows、Linux(含 WSL)和搭载 Apple Silicon 的 macOS:
- 显卡支持范围:Windows 支持 NVIDIA 和 AMD 显卡,需要兼容的 WDDM 驱动;原生 Linux 支持 NVIDIA、AMD 和 Intel,WSL 的支持范围不同。macOS 仅支持 Apple Silicon,显存读数基于共享内存架构,与独立显卡的统计口径不同。
- Python 环境安装:在具备 Python 3.11 及以上版本的系统上,可直接通过 PyPI 使用 uv 或 pipx 独立安装,安装后除了完整命令,也可以直接输入更短的缩写命令启动。
- Windows 免安装便携版:如果电脑上没有配置 Python 或 CUDA 工具包,可以直接下载官方发布的 Windows 便携压缩包(提供 x64 和原生 ARM64 两个独立版本)。解压时需要保留完整的全部文件目录,不要把主程序单独拖出来运行。目前便携版尚未做数字签名,官方附有 SHA-256 校验文件,可用来核对下载完整性,但它不能代替软件签名。
资料:使用说明 · 11 月 10 日更新说明