中文排序别再用裸 sort():2 万条实测,复用 Collator 快 1.36 倍,但长沙会排到最后

举报
yd_250310792 发表于 2026/11/19 05:09:35 2026/11/19
【摘要】 默认 sort() 按 UTF-16 码位排,中文等于乱序;换成 localeCompare 又会被「每次比较都 new 一个 Collator」拖慢 92 倍。2 万条中文词实测三种写法,并给出 ICU 拼音排序在多音字上的固定错位(长沙、厦门),以及 numeric 选项和 sensitivity:base 的实测边界。

后台有个城市筛选下拉,选项顺序一直很怪:北京排第一,接着是安庆、西安、重庆,长沙落在最后。产品经理问是不是数据没排序,我打开代码——排了,`list.sort()`,一行,看着没问题。


问题就在这一行。`sort()` 不传比较函数时按 **UTF-16 码位**比字符串,跟拼音、笔画、字母顺序都没关系。北京能排第一,是因为「北」的码位 U+5317 比「安」的 U+5B89 小;长沙垫底,是因为「长」U+957F 几乎在汉字区末尾。顺序稳定、可复现,就是没人看得懂。


修法看起来也简单:`list.sort((a, b) => a.localeCompare(b))`。能用,但我顺手把三种写法放到 2 万个中文词上跑了一遍,差别比想象中大——而且真正坑人的不是性能。


一、三种写法,2 万条实测


数据是 30 个真实城市名各配 0~96 的编号,凑 2 万条,每轮重新打乱,跑 5 轮取中位数。机器 Node v22.22.2,ICU 78.2。


```

默认 sort() 18.4 ms

sort((a,b)=>a.localeCompare(b)) 62.1 ms

复用 Intl.Collator 的 compare 45.6 ms

每次比较都 new Intl.Collator 4226.0 ms

```


默认 `sort()` 最快,但结果是错的,这个快没意义。真正的选择在中间两行:**复用 Collator 比每次调 `localeCompare` 快 1.36 倍**,绝对值是 2 万条省 16 毫秒。这个差距不算惊人,所以我不会写成「快一倍」——它就是个顺手的优化,不是必须做的手术。


第四行才是重点。把 `new Intl.Collator('zh')` 写进比较函数里,2 万条排序从 45 毫秒变成 **4.2 秒,慢 92 倍**。原因是 Collator 构造时要去加载 ICU 的排序规则表,单次约 10 微秒(实测造 2000 个花 21 毫秒),而一次快排要比较几十万次。这个写法在代码 review 里极常见,因为「一行写完」看起来最干净:


```js

// 别这么写

list.sort((a, b) => new Intl.Collator('zh').compare(a, b));


// 这么写

const zh = new Intl.Collator('zh-Hans-CN');

list.sort(zh.compare);

```


顺带一个开销参考:复用同一个实例比较 20 万次只要 33 毫秒,单次 0.17 微秒。构造一次、用到底,成本可以忽略。


二、真正的坑:多音字按单字默认读音排


换成拼音排序后,那行列表变成了「安庆 北京 重庆 西安 长沙」。前四个对了,长沙还是垫底。


我一开始以为是自己 locale 写错,换成 `zh-Hans-CN` 也一样。查下去才明白:**ICU 的中文排序是逐字查读音表,没有词组上下文**。长沙的「长」被读成 zhǎng(默认读音),于是整个词按 zhang 参与排序,跑到 Z 段去了。同理,「厦」默认读 shà,厦门被排到 S 段。


实测的两个最小样例:


```

长沙 vs 上海 → 上海在前(应为长沙在前,cháng < shàng)

厦门 vs 深圳 → 厦门在前(应为深圳在前,xià > shēn)

重庆 vs 成都 → 成都在前(正确,chēng < chóng)

```


也就是说,**拼音排序对 90% 的词是对的,剩下 10% 恰好是地名、姓名这类最常见的多音字**。这不是 bug,是词典查表的固有限制:ICU 不知道你这句话里「长」该读哪个音。


能怎么办?三条路,按代价排:


1. **接受它**。列表够长、用户只是扫一眼时,个别词位置偏了不影响使用。这是绝大多数业务的正确答案。

2. **给多音字打标注**。把词表里已知的多音字词单独提出来,排序前替换成同音字(长沙→常沙)排完再换回来。工程量小,但词表要自己维护。

3. **服务端排序**。用带词库分词的拼音库(如 pinyin-pro)预生成 `sort_key` 字段存库,前端只按 key 排。多音字靠词组匹配解决,代价是多一个字段和一次数据迁移。


三、文件名排序,一个选项就够


同一天还碰到文件列表:`file1.txt`、`file2.txt`、`file10.txt` 排成了 1、10、2。这是字符串比较的通病,默认 `sort()` 和拼音 Collator 都会这么排。加 `numeric` 就对了:


```js

const fileSort = new Intl.Collator('zh', { numeric: true });

['file10.txt','file2.txt','file1.txt','file20.txt'].sort(fileSort.compare);

// file1.txt file2.txt file10.txt file20.txt

```


这个选项值得无脑加上——只要你的列表里可能出现数字(版本号、章节号、楼层、编号),不加就是错的。


四、一个我以为是捷径、实测不成立的写法


我原本想在文章里推荐 `sensitivity: 'base'` 做模糊去重:它按设计忽略大小写和变音符号,那么「山西」和「陕西」应该被判为相等,`Set` 一去重就只剩一条。


实测打脸,`compare('山西','陕西')` 返回 `-1`,不相等:


```js

new Intl.Collator('zh', { sensitivity: 'base' }).compare('山西', '陕西') // -1

```


原因是中文拼音排序里声调不是「重音符号」,而是参与比较的独立层级,`base` 这一档压不掉它。所以**别拿 Collator 去做中文去重**,老老实实比对归一化后的字符串,或者按业务主键去重。


顺带一个副作用:`sensitivity: 'base'` 在英文里确实会把 `A` 和 `a` 判等,所以它适合做大小写不敏感的查表匹配,不适合做中文近似判断。同一个选项,两种语言两种行为,这点文档里不会写。


五、落到代码里的三条规则


```js

// 1. 任何面向用户的中文列表,别用裸 sort()

const zh = new Intl.Collator('zh-Hans-CN'); // 模块级常量,只建一次

list.sort(zh.compare);


// 2. 列表里可能出现数字,加 numeric

const zhNum = new Intl.Collator('zh-Hans-CN', { numeric: true });


// 3. 排序结果要「完全符合人工预期」时,别指望 ICU

// 多音字地名、姓名走服务端 sort_key 方案

```


性能上的结论:默认 `sort()` 18.4 ms,复用 Collator 45.6 ms,多花 27 毫秒换一个正确的顺序,任何面向人的列表都值。真正不能接受的是每次比较都 new 一个 Collator——那不是慢一点,是从 45 毫秒变 4.2 秒,在 2 万条数据上已经肉眼可见地卡住了。


最后留个判断标准。如果你只想知道「这行排序会不会出错」,问三个问题:是不是中文、列表里有没有数字、有没有多音字地名。三个都没有,裸 `sort()` 挺好;中了一个,就该上 Collator;中了第三个,还得再补一层词表或服务端 key。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。