昇腾算子调试的 AddressSanitizer——msSanitizer 全景解读

系列一 · 第 1 篇

写过算子的同学大概都经历过这种时刻：同一个 kernel，小 shape 的用例跑得好好的，一换真实的 shape 就出状况——要么结果全乱，要么一跑就报错退出，要么，最折磨人的，十次里偶尔错一两次。排查起来像大海捞针：读报错日志、加打点、二分注释代码，折腾半天，最后发现不过是某个 DataCopy 多搬了几十个元素，或者两个 block 写重了同一块 GM。

这种憋屈，根子不在能力，而在"没工具"。CPU 世界里，这类隐蔽的内存与并发问题早有自动化手段。C/C++ 开发者对 AddressSanitizer（ASan）、ThreadSanitizer（TSan）想必不陌生——把程序放在 sanitizer 下跑一遍，越界、野指针、数据竞争自动现形，连出错地址和调用栈都给你标好。可一旦下到昇腾 NPU，同样的需求却一直缺一把趁手的家伙。

msSanitizer（MindStudio Sanitizer）就是为此而来。它是昇腾专为 AI 处理器打造的单算子异常检测工具，2025 年底刚全面开源。你可以把它理解成"搬到昇腾上的 ASan + TSan"——思路一脉相承，面对的却是完全不同的硬件：算力核（block）、流水线（pipe），以及 GM、UB、L1 这些片上存储。它要盯的，也正是在这套环境里最阴险的四类问题。

第一类是内存越界。 你申请的 UB 缓冲只够放 64 个 float，DataCopy 却搬了 256 个——工具会在报告里精确告诉你"越界写 768 字节"，还附上算子源码的行号。越界之外，未对齐访问、多个核写重同一块内存（踩踏）、申请了不释放（泄漏）、释放两次、申请了从不用，统统归在这一类。

第二类是数据竞争。 多个核或多条流水同时访问同一块内存，又没有同步约束先后顺序，就会产生 WAW、WAR、RAW 三类竞争。这类问题最阴险的地方是"时隐时现"——它会不会出错，取决于运行时的那一下时序。工具会在报告里同时列出互相冲突的两条访问，各自来自哪个 block、哪条流水、哪一行代码。

第三类是未初始化访问。 读了一块从来没被写入过的内存，拿到的自然是"垃圾值"。它专门追着"这个字节到底被写过没有"这一件事不放。

第四类是同步异常。 Ascend C 算子靠 SetFlag 和 WaitFlag 这对原语来协调流水线的时序。少写一个 WaitFlag，或者同一对同步写了两遍，都会埋下隐患。工具能揪出未配对的、冗余的同步指令，甚至帮你定位算子"卡死"在哪。

这四类问题有个共同点：靠肉眼读代码很难稳定发现，要么漏，要么慢。msSanitizer 干的事，是在算子真正跑起来时"全程盯梢"，把每一次内存读写、每一次同步都记下来，跑完再统一分析，最后给你一份带地址、带核号、带源码行号的报告——就像给算子做了一次体检。

更妙的是接入方式。你几乎不用改算子主逻辑，只需在编译时加一个选项、再用 mssanitizer 这条命令把它"包"起来跑一遍。具体怎么跑，每一类检测背后藏着哪些巧思，我们后面一篇一篇慢慢聊。

如果说 CPU 世界的 sanitizer 曾帮你省下过成吨的调试时间，那这把"昇腾版"的照妖镜，大概率也会成为你算子工具箱里舍不得离开的那一件。