AI Coding 工具极简测试,练练他们的真本事
在相同网络、相同时间段、相同prompt需求下,我们看看哪个AI Coding工具最能打。我们预备一个非常常用python小游戏需求,“开发一个python版贪吃蛇游戏,可玩性强,UI好看”;
首先派出字节的Trae,看看它战力如何?启用solo模式,在底部对话框输入“开发一个python版贪吃蛇游戏,可玩性强,UI好看”,启动时刻 08:49:50,结束时刻08:51:30,耗时约2分钟,中间无需任何人工干预,自动编写代码,自动导入依赖包,自动运行python游戏,直至游戏界面显示出来。


我们现在派出阿里Qoder,由于IDE版安装有点问题没时间解决,使用pycharm+qoder插件来进行测试,启动时刻 09:01:28,结束时刻09:02:41,耗时约1分钟,全程无需干预,自动生成代码、自动安装依赖包,自动运行游戏。


接下来派出Doer 测试版,由于目前只有插件版,因此使用 pycharm+插件方式进行测试,启动时刻 09:07:43,结束时刻09:08:15,耗时约1分钟,但没有正确出来游戏画面。从结果界面上看,似乎是遇到了几个问题,1)设置界面里的 auto-aprove 的菜单无法选中,导致需要人工点击文件创建等确认信息;2)无法自动运行command,因此没有自动导入依赖包和自动运行游戏,需要手工导入包,手工执行运行命令。手工导入和执行命令后,游戏运行成功。在Doer的下一个正式版中,应该会很快解决这些小问题。


从这一轮PK来看,除了Doer的auto aprove和command执行命令暂不具备外,三剑客似乎功力都差不多,接下来我们给个难一点的需求,“开发一个在中国非常流行的python离线版斗地主游戏,中文画面,UI好看,可交互强,可玩性高,1个用户玩家+2个NPC玩家”。
我们仍然先派出Trae solo模式出场,启动时刻09:20:05,结束时刻09:22:46,耗时约3分钟,全程无干预,自动运行出游戏画面。但游戏中文显示有问题,修复后,出牌逻辑也有问题,需要多对话几轮进行修复才能玩。

派出qoder,一把成功,基本可玩。由此可见qoder还是略胜一筹,由于qoder没有显示它用的是哪个模型,很有可能是使用了海外模型。

基于此次对比测试,可以总结一下AI Coding工具的几个特点:
1、一次成型,是未来趋势,用户只用提一句话需求,AI 工具能分解成详细的需求清单和开发计划,能自动编程,自动导入依赖包,自动执行各种工具命令,最后把结果呈现给用户;
2、实力还是取决于模型,虽然Trae在用户体验上做了很多优化点,但qoder使用的模型似乎厉害一点,最终结果,特别是在复杂任务的最终结果里,就会略胜一筹。这也说明当前模型发展还有很大的空间,各大厂家在基础模型的投入上还有竞争机会。
- 点赞
- 收藏
- 关注作者
评论(0)