大模型的安全对齐能力正在从“锦上添花”变成“准入门槛”。当模型被用于简历筛选、信贷审批、法律咨询等高风险场景时，偏见问题不再是学术讨论，而是直接影响公平性和合规性的工程硬指标。Gemini 3.5发布时，Google用大量篇幅强调了其在安全对齐上的进步，但技术白皮书上的曲线图和真实测试中的边界表现，往往存在落差。

为了验证Gemini 3.5在伦理对齐上的真实表现，我设计了一套包含性别、种族、职业、年龄四个维度的偏见评测方案，在Gemini 3.5、GPT-5和Claude 4.8上做了系统性对比。评测之前，先用KULAAI（dl.877ai.cn）把同一批偏见测试用例同时推给三个模型，在一个界面里直观对比它们的输出差异。平台集齐了主流大模型，国内环境可以直接访问，省去挨个模型手动测试的麻烦。

一、测试框架：如何量化“偏见”

大模型偏见评测的难点在于，偏见不是“是或否”的二元判断，而是统计意义上的系统性偏差。我参考了BOLD、Winogender、BBQ等学术界常用的偏见评测框架，结合中文语境做了本地化适配，设计了三类测试。

第一类是职业-性别关联测试。 给模型一系列职业描述，要求模型补全缺失的主语性别代词（他/她），统计模型在不同职业上使用男性和女性代词的分布。如果模型在高管、工程师等职业上显著偏向男性，在护士、幼师等职业上显著偏向女性，说明存在职业-性别刻板印象。

第二类是种族-社会经济地位关联测试。 给模型一组描述不同社会经济地位场景的句子，要求模型补全其中的人物信息（姓名、种族特征等），统计模型在不同场景下的种族关联分布。

第三类是毒性内容拒绝率测试。 用RealToxicityPrompts数据集的中文子集，测试模型对含有偏见暗示的Prompt的拒绝率。同时测试正常讨论社会偏见话题时模型是否过度拒绝（假阳性），在“合理的偏见讨论”和“真正的偏见输出”之间是否具备足够精细的分辨能力。

二、职业-性别关联测试：刻板印象还在，但改善明显

这个测试的核心指标是“中性职业描述下的性别代词选择分布”。测试覆盖了20个职业，每个职业设计50条Prompt，总计1000条测试用例。

关键发现：

① 三个模型都未完全消除职业-性别刻板印象。 GPT-5的刻板印象最强，在传统性别职业上女性代词使用率极高。Gemini 3.5居中，Claude 4.8最接近均衡。

② Gemini 3.5在高管、工程师等传统“男性职业”上的女性代词率明显高于GPT-5。 这说明Google在偏见缓解上做了针对性的对齐优化，主动打破了部分职业-性别刻板印象。

③ 但Gemini 3.5在秘书、幼师等传统“女性职业”上的女性代词率仍然偏高。 说明偏见缓解在不同职业方向上的力度不够均匀。

三、种族-社会经济地位关联测试

这个测试比较敏感，设计时参考了BOLD数据集的评估方法，用模糊的种族关联词（如姓名、社区特征等）作为判断依据，统计模型在不同社会经济地位场景下的种族关联分布。

偏好评取值范围0-1，0.5为完全随机无偏见，偏离0.5越远说明偏见越强。

关键发现： 三个模型在种族维度的偏好评都低于性别维度，说明种族偏见的对齐比性别偏见更难做。GPT-5的种族偏好评最高，尤其在低收入社区场景下容易将描述与特定种族关联。Gemini 3.5和Claude 4.8的表现接近，明显优于GPT-5。

四、毒性内容拒绝率：平衡敏感度与过度拒绝

用RealToxicityPrompts数据集测试模型对含有偏见暗示的Prompt的拒绝率，同时用一组“正常讨论社会偏见问题”的Prompt测试假阳性率。

关键发现：

① Gemini 3.5在拒绝率和假阳性率之间取得了较好的平衡。 既没有像GPT-5那样因为“过于敏感”而拒绝正常的社会议题讨论，也没有因为追求可用性而放松对偏见内容的拦截。

② Claude 4.8在这个维度上表现最优。 对偏见内容的拒绝率最高，对正常讨论的误伤率最低。这与其“宪法AI”框架的安全策略高度一致——模型内在的安全判断力更强，不需要过度依赖外部过滤器。

五、Gemini 3.5伦理对齐的优劣势分析

优势维度：

Gemini 3.5在职业-性别偏见缓解上比GPT-5有明显进步，在高管、工程师等传统男性职业上的女性代词率提升显著。种族偏见控制与Claude 4.8接近，明显优于GPT-5。拒绝率与假阳性率的平衡做得较好，不会因为过度敏感而影响正常使用。

待改善维度：

传统女性职业上的性别刻板印象缓解力度不够。多语言场景下的偏见表现不一致——在某些小语种上的偏见控制不如英语和中文。偏见缓解的“均匀性”有待提升——部分场景下为了纠正偏见而走向了“过度补偿”，造成了新的不自然。

六、选型建议

Gemini 3.5适合的场景： 对安全性和公平性有基础要求，但不希望因过度保守而影响可用性的企业应用。多语言场景需要安全对齐，但预算有限的项目。

Claude 4.8适合的场景： 对偏见控制有极高要求的场景——简历筛选、信贷审批、法律咨询。需要模型“自觉”识别偏见而非依赖外部过滤器的应用。

GPT-5适合的场景： 对偏见控制要求不高的创意型应用——文案生成、艺术创作等。这些场景下模型更大的输出自由度反而是优势。

最后

Gemini 3.5在伦理对齐上的表现可以用一句话概括：在大部分偏见维度上都有显著改善，但离“完全消除偏见”还有相当距离。Google在安全对齐上的投入在实测中得到了验证——相比GPT-5，Gemini 3.5的偏见控制更均衡；但相比Claude 4.8的“宪法AI”安全策略，Gemini 3.5在某些边界场景下的判断力还有提升空间。

伦理对齐评测最有价值的信息不是“谁得分最高”，而是每个模型在偏见控制上的“行为特征”。这些特征直接决定了你的应用在哪些场景下需要额外的人工审核或规则兜底。先用KULAAI把自己的业务数据跑一遍偏见评测，摸清不同模型在具体场景下的表现差异，再根据风险等级做模型选型和兜底策略设计。在伦理对齐这件事上，一次翻车的代价远超所有选型成本。