【愚公系列】《扣子开发 AI Agent 智能体应用》024-实战案例:看图学英语智能助手

💎【行业认证·权威头衔】
✔ 华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家
✔ 开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主
✔ 技术生态共建先锋:横跨鸿蒙、云计算、AI等前沿领域的技术布道者
🏆【荣誉殿堂】
🎖 连续三年蝉联"华为云十佳博主"(2022-2024)
🎖 双冠加冕CSDN"年度博客之星TOP2"(2022&2023)
🎖 十余个技术社区年度杰出贡献奖得主
📚【知识宝库】
覆盖全栈技术矩阵:
◾ 编程语言:.NET/Java/Python/Go/Node…
◾ 移动生态:HarmonyOS/iOS/Android/小程序
◾ 前沿领域:物联网/网络安全/大数据/AI/元宇宙
◾ 游戏开发:Unity3D引擎深度解析
🚀前言
本章将通过实战演示,详细介绍如何借助扣子工作流这一强大的工具,让人工智能深度参与并自动完成从图片理解到画板排版的整个中英对照图文内容生成流程。
🚀一、实战案例:看图学英语智能助手
你是否想过,随手拍摄的生活照片能瞬间变成一份生动有趣的中英双语学习卡片?本章将带你实现这一创意,构建一个能自动理解图片、提取信息、翻译并精美排版的AI工作流。
🔎1.智能体开发设计思路
本案例旨在创建一个能将任意图片转化为中英对照学习材料的智能应用。其核心设计分为四个步骤(见图),形成一个完整的处理管线:
- 图片理解:解析用户上传的图片,用文字描述其内容。
- 信息提取:从描述中提炼出关键词并组成通顺的中文句子。
- 翻译模型:将提取的中文关键词和句子翻译成地道英文。
- 画板排版:将原图、中文与英文信息进行可视化排版,生成最终卡片。

🔎2.创建基础工作流
- 进入扣子平台“资源库”,点击“+资源”选择“工作流”。
- 在创建窗口中填写信息:
- 工作流名称:
snap_English(需使用英文、数字或下划线) - 工作流描述:
根据用户上传的图片进行中英对照输出
- 工作流名称:
- 创建后,你将进入工作流编辑界面,其中已包含“开始”和“结束”两个基础节点。

注:扣子平台迭代较快,界面可能微调,但核心功能逻辑不变,请根据实际版本灵活操作。
🔎3.配置“图片理解”节点
- 配置开始节点:点击“开始”节点,添加一个输入变量,如命名为
image_input,变量类型务必选择File下的Image。此变量用于接收用户上传的图片。

-
添加图片理解大模型:
- 点击“+添加节点”,选择“大模型”。
- 在插件商店中搜索并添加”豆包-视频理解“。

-
连接与配置:将开始节点与该插件节点连接。配置插件节点的
url参数,引用开始节点的image_input变量。

🔎4.配置“信息提取”节点
此节点负责从图片描述中结构化地提取信息。
-
添加大模型节点:新增一个“大模型”节点,命名为“信息提取”,并与上游插件节点连接。
-
模型与输入:模型可选择
DeepSeek-R1。其输入参数input应引用图片理解插件节点的输出(通常是response_for_model字段)。

-
关键:编写系统提示词 此处需通过精确的提示词,约束模型输出固定格式的JSON。
你是一个信息提取助手,你的任务是分析输入文本内容,提取关键信息并按格式生成相关的中文词语与句子。 任务说明: 1.仔细分析提供的文本内容 2.提取 4个关键词 3.使用这4个关键词创建一个中文句子 4.按照指定的 JSON 格式输出结果 示例输出: { “word1”:“小猫”, “word2”:“奔跑”, “word3”:“草地”, “word4”:“快乐的”, “line”:“一只快乐的小猫在草地上奔跑” } 要求: - 所选词汇必须与文本内容紧密相关 - 中文句子要自然流畅,包含这4个关键词 ##限制: - 只专注于分析文本内容,不涉及其他无关任务。 请根据提供的文本,按照上述格式输出分析结果。

- 配置输出:在该节点中,预先定义好输出变量
line,word1,word2,word3,word4,类型均为String。

🔎5.配置“翻译模型”节点
此节点将中文信息准确翻译为英文。
-
添加第二个大模型节点:新增一个大模型节点,命名为“翻译模型”,与“信息提取”节点连接。
-
模型与输入:模型可选择“豆包·通用-Pro”。添加5个输入参数,分别引用“信息提取”节点输出的
line,word1,word2,word3,word4。

-
关键:编写翻译提示词 提示词需指定输入输出格式,确保格式一致。
系统提示词示例:你是一个中英翻译助手。你的任务是将提供的 JSON 格式中文内容翻译成英文,保持 JSON 结构并使用指定的变量名。 任务说明: 1.分析输入的 JSON 中的中文内容 2.将每个关键词和句子翻译成地道的英文 3.使用指定的变量名输出翻译结果 4.保持 JSON 格式输出 示例输入: { “word1”:“小猫”, “word2”:“奔跑”, “word3”:“草地”, “word4”:“快乐的”, “line”:“一只快乐的小猫在草地上奔跑” } 示例输出: { “word1_translate”:“kitten”, “word2_translate”:“run", “word3_translate”:“lawn", “word4_translate” :“happy", “line_translate":“A happy kitten is running on the lawn." } 要求: - 翻译要准确、地道 - 保特英文句子的语法正确性 - 确保使用正确的变量名格式(word1_translate,word2_translate等) - 输出必须是规范的 JSON 格式 请根据输入的中文 JSON 内容,按照上述格式提供英文翻译。用户提示词示例:
{ “word1”:{{word1}}, “word2”:{{word2}}, “word3”:{{word3}}, “word4”:{{word4}}, “line”:{{line}} }

- 配置输出:定义5个输出变量:
line_translate,word1_translate,word2_translate,word3_translate,word4_translate。

🔎6.配置“画板”节点(图文排版)
这是生成最终可视化卡片的环节。
-
添加画板节点:从节点库中添加“画板”节点,与“翻译模型”节点连接。
-
添加与引用元素:
- 在画板节点的“元素设置”中,需要添加11个元素。
- 中文元素:
line,word1,word2,word3,word4,它们的值需引用“信息提取”节点的对应输出。 - 英文元素:
line_translate,word1_translate等,它们的值需引用“翻译模型”节点的对应输出。

-
设计排版:进入“画板编辑”界面。
- 首先,将图片元素(即用户上传的原图)拉伸铺满整个画板作为背景。
- 然后,添加一个半透明的色块(如蓝色渐变)覆盖在图片上方,作为文字的背景底板,以提升文字可读性。
- 最后,将对应的中英文词汇和句子成对排列在色块上,调整字体、大小和位置,确保排版美观清晰。

🔎7.配置“结束”节点
将画板节点与结束节点连接。在结束节点中,配置输出变量(如 output),引用画板节点的输出 data(此为生成图片的URL)。

🔎8.完整工作流测试与发布
- 全链路测试:点击“试运行”,上传一张图片(如包含猫、草地等元素的照片)。观察每个节点的执行状态,最终应获得一张排版精美的中英对照学习卡片。
- 发布工作流:测试无误后,点击“发布”,为工作流设定版本号,使其可被智能体调用。

🔎9.创建智能体封装工作流
为方便日常使用,可将工作流封装为对话式智能体。
- 创建智能体:在“项目开发”中新建智能体,如命名为“图片学英语助手”。
- 关联工作流:在智能体技能区域,添加已发布的
snap_English工作流。 - 设置提示词:在“人设与回复逻辑”中编写简单指令,如:“我是图片学英语助手,请上传图片,我将为你生成中英对照学习卡片。”
- 最终调试:在智能体预览窗直接上传图片,智能体会自动调用背后完整的工作流,并返回生成的图文卡片。

🔎10.总结
通过本章,掌握了构建一个多模态AI应用的完整流程:从图片理解到结构化信息提取,再到跨语言转换,最后通过可视化画板输出成果。这个案例生动展示了扣子平台将视觉、语言、设计多种AI能力串联成复杂解决方案的强大之处。你可以将此模式拓展到更多场景,如自动生成产品说明图、旅行明信片、社交媒体海报等,真正实现“AI即生产力”。
- 点赞
- 收藏
- 关注作者











评论(0)