中文排序别再用裸 sort():2 万条实测,复用 Collator 快 1.36 倍,但长沙会排到最后
后台有个城市筛选下拉,选项顺序一直很怪:北京排第一,接着是安庆、西安、重庆,长沙落在最后。产品经理问是不是数据没排序,我打开代码——排了,`list.sort()`,一行,看着没问题。
问题就在这一行。`sort()` 不传比较函数时按 **UTF-16 码位**比字符串,跟拼音、笔画、字母顺序都没关系。北京能排第一,是因为「北」的码位 U+5317 比「安」的 U+5B89 小;长沙垫底,是因为「长」U+957F 几乎在汉字区末尾。顺序稳定、可复现,就是没人看得懂。
修法看起来也简单:`list.sort((a, b) => a.localeCompare(b))`。能用,但我顺手把三种写法放到 2 万个中文词上跑了一遍,差别比想象中大——而且真正坑人的不是性能。
一、三种写法,2 万条实测
数据是 30 个真实城市名各配 0~96 的编号,凑 2 万条,每轮重新打乱,跑 5 轮取中位数。机器 Node v22.22.2,ICU 78.2。
```
默认 sort() 18.4 ms
sort((a,b)=>a.localeCompare(b)) 62.1 ms
复用 Intl.Collator 的 compare 45.6 ms
每次比较都 new Intl.Collator 4226.0 ms
```
默认 `sort()` 最快,但结果是错的,这个快没意义。真正的选择在中间两行:**复用 Collator 比每次调 `localeCompare` 快 1.36 倍**,绝对值是 2 万条省 16 毫秒。这个差距不算惊人,所以我不会写成「快一倍」——它就是个顺手的优化,不是必须做的手术。
第四行才是重点。把 `new Intl.Collator('zh')` 写进比较函数里,2 万条排序从 45 毫秒变成 **4.2 秒,慢 92 倍**。原因是 Collator 构造时要去加载 ICU 的排序规则表,单次约 10 微秒(实测造 2000 个花 21 毫秒),而一次快排要比较几十万次。这个写法在代码 review 里极常见,因为「一行写完」看起来最干净:
```js
// 别这么写
list.sort((a, b) => new Intl.Collator('zh').compare(a, b));
// 这么写
const zh = new Intl.Collator('zh-Hans-CN');
list.sort(zh.compare);
```
顺带一个开销参考:复用同一个实例比较 20 万次只要 33 毫秒,单次 0.17 微秒。构造一次、用到底,成本可以忽略。
二、真正的坑:多音字按单字默认读音排
换成拼音排序后,那行列表变成了「安庆 北京 重庆 西安 长沙」。前四个对了,长沙还是垫底。
我一开始以为是自己 locale 写错,换成 `zh-Hans-CN` 也一样。查下去才明白:**ICU 的中文排序是逐字查读音表,没有词组上下文**。长沙的「长」被读成 zhǎng(默认读音),于是整个词按 zhang 参与排序,跑到 Z 段去了。同理,「厦」默认读 shà,厦门被排到 S 段。
实测的两个最小样例:
```
长沙 vs 上海 → 上海在前(应为长沙在前,cháng < shàng)
厦门 vs 深圳 → 厦门在前(应为深圳在前,xià > shēn)
重庆 vs 成都 → 成都在前(正确,chēng < chóng)
```
也就是说,**拼音排序对 90% 的词是对的,剩下 10% 恰好是地名、姓名这类最常见的多音字**。这不是 bug,是词典查表的固有限制:ICU 不知道你这句话里「长」该读哪个音。
能怎么办?三条路,按代价排:
1. **接受它**。列表够长、用户只是扫一眼时,个别词位置偏了不影响使用。这是绝大多数业务的正确答案。
2. **给多音字打标注**。把词表里已知的多音字词单独提出来,排序前替换成同音字(长沙→常沙)排完再换回来。工程量小,但词表要自己维护。
3. **服务端排序**。用带词库分词的拼音库(如 pinyin-pro)预生成 `sort_key` 字段存库,前端只按 key 排。多音字靠词组匹配解决,代价是多一个字段和一次数据迁移。
三、文件名排序,一个选项就够
同一天还碰到文件列表:`file1.txt`、`file2.txt`、`file10.txt` 排成了 1、10、2。这是字符串比较的通病,默认 `sort()` 和拼音 Collator 都会这么排。加 `numeric` 就对了:
```js
const fileSort = new Intl.Collator('zh', { numeric: true });
['file10.txt','file2.txt','file1.txt','file20.txt'].sort(fileSort.compare);
// file1.txt file2.txt file10.txt file20.txt
```
这个选项值得无脑加上——只要你的列表里可能出现数字(版本号、章节号、楼层、编号),不加就是错的。
四、一个我以为是捷径、实测不成立的写法
我原本想在文章里推荐 `sensitivity: 'base'` 做模糊去重:它按设计忽略大小写和变音符号,那么「山西」和「陕西」应该被判为相等,`Set` 一去重就只剩一条。
实测打脸,`compare('山西','陕西')` 返回 `-1`,不相等:
```js
new Intl.Collator('zh', { sensitivity: 'base' }).compare('山西', '陕西') // -1
```
原因是中文拼音排序里声调不是「重音符号」,而是参与比较的独立层级,`base` 这一档压不掉它。所以**别拿 Collator 去做中文去重**,老老实实比对归一化后的字符串,或者按业务主键去重。
顺带一个副作用:`sensitivity: 'base'` 在英文里确实会把 `A` 和 `a` 判等,所以它适合做大小写不敏感的查表匹配,不适合做中文近似判断。同一个选项,两种语言两种行为,这点文档里不会写。
五、落到代码里的三条规则
```js
// 1. 任何面向用户的中文列表,别用裸 sort()
const zh = new Intl.Collator('zh-Hans-CN'); // 模块级常量,只建一次
list.sort(zh.compare);
// 2. 列表里可能出现数字,加 numeric
const zhNum = new Intl.Collator('zh-Hans-CN', { numeric: true });
// 3. 排序结果要「完全符合人工预期」时,别指望 ICU
// 多音字地名、姓名走服务端 sort_key 方案
```
性能上的结论:默认 `sort()` 18.4 ms,复用 Collator 45.6 ms,多花 27 毫秒换一个正确的顺序,任何面向人的列表都值。真正不能接受的是每次比较都 new 一个 Collator——那不是慢一点,是从 45 毫秒变 4.2 秒,在 2 万条数据上已经肉眼可见地卡住了。
最后留个判断标准。如果你只想知道「这行排序会不会出错」,问三个问题:是不是中文、列表里有没有数字、有没有多音字地名。三个都没有,裸 `sort()` 挺好;中了一个,就该上 Collator;中了第三个,还得再补一层词表或服务端 key。
- 点赞
- 收藏
- 关注作者
评论(0)