手写 OBS 签名被 403:把官方 SDK 当作基准,而不是当作文档
【摘要】 我最近在读一个公开的鸿蒙案例仓(harmony-practice-center/HarmonyOS-APP-OBSCloudAlbum,main 分支,commit eb4162c),它实现了一个相册云备份:端侧用 ArkTS 把照片逐个 PUT 到 OBS,再列举对象做云端预览。 它的 OBS 客户端没有用任何现成 SDK,而是手写了一套 Header 签名,文件头部注释写得...
# 手写 OBS 签名被 403:把官方 SDK 当作基准,而不是当作文档
## 一、现象
我最近在读一个公开的鸿蒙案例仓(`harmony-practice-center/HarmonyOS-APP-OBSCloudAlbum`,main 分支,commit `eb4162c`),它实现了一个相册云备份:端侧用 ArkTS 把照片逐个 PUT 到 OBS,再列举对象做云端预览。
它的 OBS 客户端没有用任何现成 SDK,而是手写了一套 Header 签名,文件头部注释写得很清楚:
```text
StringToSign = HTTP-Verb + "\n" + Content-MD5 + "\n" + Content-Type + "\n"
+ Date + "\n" + CanonicalizedHeaders + CanonicalizedResource
Signature = Base64( HMAC-SHA1( SK, StringToSign ) )
Authorization: OBS AK:Signature
```
这套骨架本身没问题——它是 AWS Signature V2 的经典形态,OBS 的 V2 签名也确实是这个结构。真正的问题出在一个很小的细节上:它把 `x-obs-forbid-overwrite` 这个请求头写进了 `CanonicalizedHeaders`:
```typescript
const authorization = await this.sign('PUT', contentType, contentMd5, date,
`/${this.config.bucket}/${this.encodeKey(objectKey)}`, 'x-obs-forbid-overwrite:true\n');
```
而这个请求头**同时被写进了两处,但两处的取值绑定在同一个字面量上**:签名串里手写了一份 `'x-obs-forbid-overwrite:true\n'`,实际发出的 HTTP 头里又单独写了一份 `'x-obs-forbid-overwrite': 'true'`。两处内容一致,所以签名本身自洽——问题不在这里,问题在下一节:这条规则**在两个官方 SDK 里给出的是相反的答案**。
## 二、为什么会漏
签名算法最容易出的错不是算法本身,而是「到底哪些请求头参与签名」这条规则。
这条规则写在 OBS 的 API 参考里,但**同一个规则在官方 SDK 源码里有可执行的权威实现**——比文字描述更可靠,因为它就是线上真正发请求的那份代码。于是我直接读 SDK:`huaweicloud/huaweicloud-obs-obsutil`(Go)和 `huaweicloud/huaweicloud-sdk-python-obs`(Python)都在 GitCode 上开源。我把 Go SDK 拉下来,调用它内部的 V2 签名函数,看它到底把哪些头算进去。
Go SDK 的 `src/obs/auth.go` 里有一个 `attachHeaders` 函数,逻辑是这样的:对每个请求头取小写键名,只保留三类——`content-md5`、`content-type`、`date`,以及**以 `x-amz-` 开头的头**。其它一律丢弃。
我写了一个测试,直接把这个函数跑起来:
```go
func TestWhichHeadersGetSigned(t *testing.T) {
h := map[string][]string{
"Date": {"Wed, 12 Feb 2025 10:00:00 GMT"},
"Content-Type": {"image/jpeg"},
"Content-Md5": {"1B2M2Y8AsgTpgAmY7PhCfg=="},
"x-obs-forbid-overwrite": {"true"},
"x-amz-meta-custom": {"hello"},
}
sts := getV2StringToSign(HTTP_PUT, "/album-photos/album-photos/2025/img.jpg", h)
fmt.Printf("%s\n", sts)
}
```
跑出来的待签名串是:
```text
PUT
1B2M2Y8AsgTpgAmY7PhCfg==
image/jpeg
Wed, 12 Feb 2025 10:00:00 GMT
x-amz-meta-custom:hello
/album-photos/album-photos/2025/img.jpg
```
`x-obs-forbid-overwrite` **不在里面**,`x-amz-meta-custom` 在里面。这就是 Go SDK 的口径:只有 `x-amz-` 前缀的头参与 V2 签名。
## 三、但 Python SDK 给出了相反的答案
我一开始以为这就是最终结论,接着用 Python SDK 核了一遍。Python SDK 的 `src/obs/auth.py` 里,`__make_canonicalstring_interesting_headers` 的过滤条件是:
```python
if lk in const.CONTENT_LIST or lk.startswith(self.ha._get_header_prefix()):
```
而 `const.OBS_HEADER_PREFIX` 是 `x-obs-`,`const.V2_HEADER_PREFIX` 是 `x-amz-`。也就是说,Python SDK 在 OBS 模式下会把 `x-obs-` 前缀的头**算进签名**。
我不放心只读源码,于是直接调用 Python SDK 自己的 `Authentication.doAuth`,让 SDK 自己产出待签名串和签名:
```python
adapter = Adapter("obs")
auth = Authentication(AK, SK, path_style=False, ha=adapter,
server="obs.cn-north-4.myhuaweicloud.com", is_cname=False)
r = auth.doAuth("PUT", "album-photos", "album-photos/2025/img.jpg", None, headers)
print(r[const.CANONICAL_STRING])
print(r[const.AUTHORIZATION_HEADER])
```
输出:
```text
PUT
1B2M2Y8AsgTpgAmY7PhCfg==
image/jpeg
Wed, 12 Feb 2025 10:00:00 GMT
x-obs-forbid-overwrite:true
/album-photos/album-photos/2025/img.jpg
AUTHORIZATION: OBS EXAMPLEAKID0000000000000000000000EX:L8PQny33/fea4+ezIocKvK1QWgc=
```
和 Go SDK 完全不同。同一份 AK/SK、同一组请求头、同一段待签名串,两个官方 SDK 给出了两个不同的签名:
| 用例 | Go SDK 签名 | Python SDK 签名 |
|---|---|---|
| GET 取对象 | `1L9rE0k5uulOvtImHRMSczPrNZM=` | `1L9rE0k5uulOvtImHRMSczPrNZM=` |
| LIST 列桶 | `8fmdV2d47u5g6UFUHhv5vGT8k6Y=` | `8fmdV2d47u5g6UFUHhv5vGT8k6Y=` |
| PUT 带 `x-obs-forbid-overwrite` | `kE093Y/MiGJB9tCuERuV39cbUww=` | `L8PQny33/fea4+ezIocKvK1QWgc=` |
前两行一致,因为那两组请求里根本没有 `x-obs-` 头的参与。第三行不一致——差异只由这一个头引起。
那案例仓自己的实现落在哪一边?把它的 `sign()` 逻辑照搬成等价的 Python(`stringToSign` 六段拼接、`HMAC-SHA1` + Base64),用同一组假凭据跑一遍:
```text
PUT
<空>
image/jpeg
Wed, 12 Feb 2025 10:00:00 GMT
x-obs-forbid-overwrite:true
/album-photos/album-photos/2025/img.jpg
AUTHORIZATION: OBS EXAMPLEAKID0000000000000000000000EX:R9gpRu0YQ/yLBkp7ROEW23Cw9jQ=
```
第四段带着 `x-obs-forbid-overwrite:true`,所以它站的是 **Python SDK 那一侧**。也就是说,这个案例仓按 Python SDK 的口径写,如果服务端实际按 Go SDK 的口径校验,PUT 就会 403。
## 四、这个差异意味着什么
先说结论:**这不是「谁写错了」,而是 SDK 之间的实现分歧,落到线上就是随机的 403。**
设想一个真实场景:服务端按 `x-obs-` 头参与签名来校验,客户端按 Go SDK 的口径(不参与)去签,反过来也一样。无论服务端认哪一边,只要客户端的参与头集合和它算出来的签名不自洽,服务端重算出的签名就对不上,返回 403 `SignatureDoesNotMatch`。
更麻烦的是,这种错误在本地测不出来:如果你用 Python SDK 生成的签名去调接口,Python SDK 的口径恰好和服务端一致;但你换成手写实现、或者用另一个语言的 SDK,签名就变了。同一份代码在不同语言 SDK 之间迁移时静默失败,比算法写错更难查。
所以这里真正可迁移的经验是:**不要凭文档描述去推断签名规则,把官方 SDK 当成可运行的 oracle**。具体做法有三条:
第一,**用 SDK 自己的内部函数产出基准值**。上表里的四组签名就是用测试套件里的 `getV2StringToSign` 和 `v2Auth` 跑出来的,AK/SK 都是假值,不涉及任何真实凭据。
第二,**对同一组输入,多语言 SDK 必须给出同一个签名**。我这里正好有两个语言可以互校:Go 和 Python。如果两个 SDK 结果不一致,说明存在实现分歧,不是你抄错了。
第三,**待签名串比签名本身更重要**。签名是 Base64 的 HMAC,看不出哪里错了;但待签名串是明文的六段结构,逐行比对就能立刻定位到是哪一段不同。上面对比 PUT 用例时,一眼就能看出差异出现在第四段(CanonicalizedHeaders)。
## 五、一个可以直接抄的交叉验证脚本
下面这段不依赖任何真实凭据,可以直接跑,用来验证你的手写实现和官方 SDK 是否一致:
```python
# cross_check.py
import base64, hmac, hashlib
AK = "EXAMPLEAKID0000000000000000000000EX"
SK = "example-secret-key-material-not-a-real-credential"
def string_to_sign(method, content_md5, content_type, date, canon_headers, canon_resource):
return "\n".join([method, content_md5, content_type, date, canon_headers, canon_resource])
def auth_header(sts, sk=SK, ak=AK):
sig = base64.b64encode(hmac.new(sk.encode(), sts.encode(), hashlib.sha1).digest()).decode()
return f"OBS {ak}:{sig}"
sts = string_to_sign(
"PUT", "1B2M2Y8AsgTpgAmY7PhCfg==", "image/jpeg",
"Wed, 12 Feb 2025 10:00:00 GMT",
"x-obs-forbid-overwrite:true\n",
"/album-photos/album-photos/2025/img.jpg",
)
print(sts)
print(auth_header(sts))
```
把它跑出来的 Authorization 和上面 Python SDK 的 `L8PQny33/fea4+ezIocKvK1QWgc=` 比对,一致说明你的实现复刻的是 Python SDK 口径;如果和 Go SDK 的 `kE093Y/MiGJB9tCuERuV39cbUww=` 一致,说明复刻的是 Go SDK 口径。两者都不是「对」,只是选了不同的那一半——**这件事本身才是你该带走的结论**。
## 六、代价与不适用场景
- 这次核对的成本不低:拉两个 SDK 源码、给 Go SDK 写测试用例、调 Python SDK 的内部构造函数。如果你只是要调通一个接口,**先用官方 SDK 跑通再考虑手写**,不要一上来就手写签名。
- SDK 的内部函数(`getV2StringToSign`、`v2Auth`、`__make_canonical_string`)都是未导出或私有的,不保证跨版本稳定。我的 Go SDK 是浅克隆到 `src/obs` 后加了同名测试文件跑出来的,Python SDK 是把 `src` 加进 `sys.path` 直接导入。**这适合做一次性核对,不适合写进产品代码**——产品应该用 SDK 的公开 API。
- 本文只覆盖 **V2 签名**。OBS 也有 V4 签名(`Authorization: OBS4-HMAC-SHA256 ...`),它的待签名串结构完全不同(带 scope、signed headers 列表、UNSIGNED-PAYLOAD),上面所有结论都不适用于 V4。我没有实测 V4 的跨语言一致性,不要照搬。
- 案例仓里的手写签名实现本身是教学示例,README 的「安全与清理」一节明确写了「AK/SK 仍以明文保存在应用沙箱 preferences 中,仅用于教学调试」。**别把它当成生产可用的凭据处理方案**照抄进自己的产品。
- 我没有真实的 OBS 桶去验证服务端到底按哪种口径校验——上面所有签名都是用假 AK/SK 算出来的,用于比对客户端实现之间的差异。**服务端接受哪种口径,需要用真实桶实测确认**;这篇只证明了「两个官方客户端会给出不同答案」这个事实。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)