让 AI 画“单车骑鹈鹕”,它却画了“鹈鹕骑单车”?揭秘大模型的“背题翻车”现场
前几天我给 AI 出了一道脑洞题:“用 SVG 代码画一辆【单车骑鹈鹕】。” 结果 AI 自信满满地交卷,画出来的却是——一只鹈鹕骑着单车。
明明把词反过来了,AI 为什么还会画错?难道它被训练得“过拟合”(读书读傻)了?
答案是:不仅是因为它“死记硬背”,还因为它有点“自作聪明”。 背后其实藏着大模型运作的三个底层小秘密。
1. 死记硬背的“刷题家”(过拟合)
在 AI 圈子里,“用 SVG 画一只鹈鹕骑单车”是一道非常出名的网红测试题(由知名开发者 Simon Willison 发明,相当于 AI 界的“五年高考三年模拟”必考题)。
为了在测评中拿高分,很多模型在训练时把这道题和标准答案“背”得滚瓜烂熟。当你输入单车、鹈鹕、骑、SVG这几个关键词时,就像一个背熟了押题卷的考生,看到熟悉的字眼直接开始默写标准答案,根本没仔细看你已经把题目改成了“单车骑鹈鹕”。
2. 自作聪明的“脑补王”(常识偏见)
AI 的本质是一个超级“猜词机器”,它说的每一句话、画的每一笔,都是在计算“人类世界里哪种情况出现概率最高”。
在它读过的几百亿篇人类文章里,全都是“人/动物骑车”,几乎没有“车骑动物”。当你要求它画“单车骑鹈鹕”时,它的大脑警报响了:“这不合常理,肯定是人类打错字了!”于是,它体贴地帮你进行了“自动纠错”,顺手画成了概率最高的“鹈鹕骑单车”。
3. 只看关键词的“粗心鬼”(词袋效应)
面对违反常理的怪句子时,AI 的注意力有时会偷懒。它不再去抠“谁是主语、谁是宾语”的语法结构,而是把你的话当成一个装满关键词的袋子——抓出里面的“鹈鹕”、“单车”和“骑”,然后按照最顺手的方式拼在一起交差。
怎么当场测出它是“背题”还是“脑补”?
想拆穿一个 AI 到底是背了题库,还是单纯脑子转不过弯,你只需要用这两个小测试抓包它:
- 换一道题库里没有的生僻题: 让它画 “微波炉骑树懒”。如果它能老老实实把微波炉画在树懒背上,唯独画不对“单车骑鹈鹕”,那就 100% 坐实了它是针对网红题刷题作弊(过拟合);如果它还是画成“树懒骑微波炉”,说明它只是单纯被常识限制了想象力。
- 把“骑”字拆成大白话: 别用“骑”这个容易触发肌肉记忆的词,改成纯位置描述:“画一只趴在地上的鹈鹕,在它的后背正上方,放着一辆自行车。” 如果都已经把话说到这个份上了,它还是把鹈鹕画在车座上,那这台 AI 脑子里的“鹈鹕骑车”模板,算是彻底焊死了。
下次再遇到 AI 答非所问,别怀疑自己表达有问题——它可能只是个刚背完押题卷、正急着默写的偏科生而已。
- 点赞
- 收藏
- 关注作者
评论(0)