KubeEdge-Ianvs v0.3.0版本:大模型与数据集发布,支持行业大模型、协同推理范式及智能体等算法

举报
云容器大未来 发表于 2025/05/16 09:35:31 2025/05/16
【摘要】 本文重点介绍 KubeEdge-Ianvs v0.3.0 版本中基于大模型的全新功能升级,包括:行业大模型基准测试、大模型协同推理范式、大模型自适应系列算法。

北京时间2025年4月10日,KubeEdge-Ianvs v0.3.0版本正式发布。在智能涌现的大模型时代,云边协同技术是保障实时性能、确保安全合规、承接定制化需求和资源高效利用的关键。本文探讨云边协同人工智能在大模型时代的边侧场景壁垒问题、云边协同架构问题及边侧需求多样化问题。kubeedge高清.png

面向这三大问题,文章重点介绍 KubeEdge-Ianvs v0.3.0 版本中基于大模型的全新功能升级,包括
  • 行业大模型基准测试。除支持一站式流程、多种数据格式及第三方工具等基础大模型评测能力外,开发对大模型进行政务领域、具身智能领域、代码领域及边缘系统领域的基准测试,开源对应2k+政务数据集 (Gov-aff)、2.5k+具身智能数据集 (Cloud-Robotics)、以及指标和测试工具;
  • 大模型协同推理范式。发布大模型云边协同推理范式及其查询路由、投机解码算法,发布多边协同推理范式,开源对应示例代码和使用文档;
  • 大模型自适应系列算法。开发了个性化智能体算法、多模态联合学习算法以及未知任务终身学习算法,开源对应示例代码和使用文档。

 

 一、背景:云边大模型基准测试三大问题  

随着大模型在各行业加速落地,实时性、定制化、安全合规及资源受限等实际需求不断涌现,越来越多的应用需要云边协同技术将强大的大模型能力延展到边缘侧。然而,大模型跨云边的测试、协同优化以及性能验证,往往缺乏统一标准和成熟工具,KubeEdge SIG AI 识别在开发与部署落地过程中的三大问题

  • 问题1场景壁垒问题。行业大模型大量应用于边侧特定领域,而现有基准测试通常围绕通用大语言模型、通用视觉大模型等开展,通用基准测试的测试集、测试指标乃至测试环境用于政务、具身、代码、边缘系统等特定行业领域往往出现巨大误差,对相关产品质量评估存在挑战。

  • 问题2云边协同架构问题。随着大模型推理业务场景的不断拓展,单一云端或静态边缘模型难以满足高时效、低成本和个性化的实际需求。虽然 KubeEdge SIG AI 历史项目中包含云边协同推理范式,但仅适用于视觉深度学习,在大模型尤其是自然语言大模型场景,云边各模块已不再适用。

  • 问题3边侧需求多样化问题。现有基准测试通常围绕通用大模型开展,但边侧场景往往存在边缘定制化、多种模态和开放世界未知任务等情况,对通用大模型的边侧适应性诉求及冲突愈发尖锐。

  

二、解决方案:围绕大模型全面升级  

为了解决上述挑战,KubeEdge-Ianvs v0.3.0  版本带来了三项关键升级

  • 方案1:行业大模型基准测试。支持大语言模型本地部署和公共 API 接口(如 OpenAI)测试,支持政务、具身、代码、边缘系统四大领域的行业大模型能力测试,开源对应测试集、指标和测试工具
  • 方案2:大模型协同推理范式。开发高效的大语言模型云边协同推理架构,集成查询路由、投机解码等前沿算法,推理加速20%+,显著降低推理资源消耗。支持多边联合推理范式,覆盖分布式推理场景
  • 方案3:发布自适应系列算法。新增个性化 LLM Agent、多模态联合学习、未知任务终身学习等算法模块。覆盖更多真实应用需求,助力大模型能力持续演进

👇🏻下面深入解读三大升级功能:

▍1. 行业大模型基准测试

(01).png

图1 KubeEdge-Ianvs大模型基准测试架构

如前述,传统基准测试是针对通用模型设计,其评测方法迁移到边侧垂直领域时,表现出测试集适配性不足、评价指标偏差显著且验证环境兼容性差等系统性缺陷,这已对行业专用模型的精准性能评估形成实质性障碍。对应地,KubeEdge-Ianvs v0.3 分别基于大模型及行业领域进行功能升级。

首先,KubeEdge-Ianvs v0.3 为本地和云端多类型大模型提供评测工具集,为后续高阶大模型评测奠定基础。在基础功能中,开发者和企业可快速获取模型跨场景真实能力数据,支撑大模型落地前的全流程验证与优化。

  • 提供一站式 Benchmark 接口:为不同类型的大模型基准测试提供统一接口,支持自定义 Prompt 模板、多样化推理场景(零样本、少样本、检索增强等)开箱即用,支持主客观评测、自动统计及评测报告自动生成。

  • 兼容多种数据格式与任务类型:支持主流 json/jsonl 格式的数据文件,摆脱传统 index 文件限制。适配自然语言、多模态、视觉等多领域测试数据。

  • 一体化集成第三方工具:对接开源测试工具 OpenCompass,涵盖百余主流标准 Benchmarks,支持主流公有云大模型 API 调用及本地模型测试。

进一步地,由于高阶大模型大量应用于边侧特定行业领域,KubeEdge-Ianvs 支持高阶大模型基准测试,包括政务、代码和边缘系统领域。

  • 政务领域基准测试:开源政务领域首个政务问答测试数据集(GovAff[1] )及对应套件(CGAUE[2]),测试数据集包含1600道选择题和1045道主观题,贴合各地政策问答,附设计文档[3]及期刊论文[4]

(02).png

图2 KubeEdge-Ianvs政务大模型基准测试CGAUE架构

  • 具身智能领域基准测试:开源具身智能领域测试数据集 (Cloud-Robotics)[5][6]及其对应套件[7]测试数据集包含30类对象2500+图像,套件则集成了基于 RFNet 等预训练大模型的多模态联合学习能力,附设计文档[8]及测试示例[7]

(03).png

图3 KubeEdge-Ianvs具身智能数据集Cloud-Robotics

  • 边缘系统领域基准测试:通过测量 CPU 负载和带宽消耗等关键指标,评估大模型在边缘设备上的性能,了解边缘部署的资源需求和局限性,附设计文档[9]、测试示例[10]及测试样本[11]

  • 代码领域基准测试:针对编程、问答、推理等多样化测试,评测结果可通过准确率、BLEU 等主流指标一站式输出,附设计文档[12]及测试示例[13]

▍2. 大模型协同推理范式

随着大模型推理业务向多元场景延伸,传统纯云架构与边缘部署模式暴露出推理时延冗余、分布式成本失控及服务个性化受限等典型矛盾。KubeEdge SIG AI 原有云边协同推理虽然在视觉深度学习领域实现了初步整合应用,但在处理大模型时,其核心框架组件出现功能适配断层,此类技术瓶颈正制约大模型在智能客服、工业质检等场景的端到端产业化部署。对应地,KubeEdge-Ianvs v0.3 版本发布大模型云边协同推理范式及多边协同推理范式。

(04).png

图4 大模型云边协同推理范式架构

大模型云边协同推理范式。Ianvs v0.3 引入先进的云-边协同推理范式,通过灵活分配推理任务,实现云端算力与边缘设备高效协作,适配各种网络条件和设备异构环境,广泛支持政务、工业物联网、智慧城市等多种垂直应用部署。详见设计文档[14]及示例[15]

  • 该范式引入查询路由机制,通过评估请求的复杂程度,自动判断是否应该在云端大型模型还是边端小型模型完成,查询路由 (Query-Routing)降低至少 50% 的首字时延,同时还能带来额外12.38% (相比 Qwen 自身) 和 8.23%(相比 gpt-4o-mini) 的绝对精度提升。

(05).png

图5 大模型云边协同推理-查询路由机制

  • 该范式支持 state-of-the-art 投机解码(Speculative Decoding)算法EAGLE (ICML’24),通过目标模型 (Target Model) 和草稿模型 (Draft Model) 协作,在不影响推理准确性的前提下,将大型 LLM 推理加速到2x以上,极大提升系统推理速度。详见设计文档[16]及示例[17]

(06).png

(07).png

图6 投机解码算法示例

  • 该范式支持多种推理引擎,支持 transformers, vLLM, EAGLE 等丰富的推理引擎,并可根据需要快速支持其他推理引擎。

  • 该范式还支持多样指标统计,包括对精度(Accuracy), 首字时延(Time-to-First-Token, TTFT),吞吐量(Throughput),Token 数等指标的监测记录。

(08).png

图7 多边协同推理范式架构

  • 多边协同推理范式。以行人追踪为例,利用 Graph Scheduling 与 ByteTrack 模型优化,实现多设备分布式联合推理,支持特殊场景下(如园区安防、工业生产线)AI 能力的端到端协同部署。详见设计文档[18]及示例[19]

(09).png

图8 多边协同推理示例

3. 大模型场景新算法支持

当前大模型基准评测仍然偏重于通用模型评估,未能有效覆盖边缘计算环境本地化需求,诸如边缘定制化、多种模态和开放世界未知任务等情况普遍存在。这些边缘原生需求与通用模型能力边界之间的矛盾正持续升级,凸显出云边协同通用模型算法及测试的理论缺失与实践空白。KubeEdge-Ianvs v0.3全面升级了大模型适配能力,集成多项创新算法,让 AI 真正“因场而变”,实现从基础推理到个性化、多模态与终身学习的全场景覆盖。

个性化大模型智能体算法。基于 Bloom 等主流大模型,结合用户自身数据与任务,实现边缘侧的任务个性化优化。支持单任务定制化训练,让每个终端都能拥有独特的 AI 助手,覆盖如客户交互、智能问答、定制自动化等场景。该算法可无缝对接云边协同推理框架,在保证隐私和响应速度的前提下,最大化个体或组织的智能服务体验。详见设计文档[20]及示例[21]

(10).png

(11).png

图9 个性化大模型智能体架构与示例

未知任务终身学习算法。面对快速变化的应用环境和任务需求,Ianvs 提供了基于预训练模型的“未知任务处理”与终身学习算法。能够自动适配新任务,实现模型的增量学习和知识迁移,让大模型在不断变化的现实世界中,持续保持领先的泛化能力和处理效率。详见设计文档[22]及示例[23]

(12).png

(13).png

图10 未知任务终身学习算法架构与示例

  

三、Release Note  

如果读者对于本次版本发布的更多细节感兴趣,欢迎查阅 KubeEdge Ianvs v0.3.0 Release Note[24]

后续 KubeEdge SIG AI 将发布系列文章,陆续具体介绍新版本升级的特性,欢迎各位读者继续关注社区动态及持续关注 KubeEdge-Ianvs,获取前沿开源数据集、基准测试和云边 AI 创新动态!

🔗 开源仓库 GitHub 地址:

https://github.com/kubeedge/ianvs


相关链接:

[1] The Chinese Government Affairs Dataset (GovAff) https://www.kaggle.com/datasets/kubeedgeianvs/the-government-affairs-dataset-govaff/
[2] 政务大模型基准测试套件 (Chinese Gov. Affairs Understanding Evaluation Benchmark, CGAUE)https://github.com/kubeedge/ianvs/tree/main/examples/government/singletask_learning_bench
[3] 政务大模型基准测试设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/llm-benchmarks/llm-benchmarks-zh.md
[4] 边侧大模型基准测试:政务大模型初探https://d.wanfangdata.com.cn/periodical/zdhbl202502037
[5] The Cloud-Robotics Datasethttps://www.kaggle.com/datasets/kubeedgeianvs/cloud-robotics#
[6] The Cloud-Robotics Dataset 数据集介绍https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Cloud-Robotics/Cloud-Robotics_zh.md
[7] 具身智能领域基准测试示例https://github.com/kubeedge/ianvs/tree/main/examples/Cloud_Robotics/singletask_learning_bench/Semantic_Segmentation
[8] 具身智能领域基准测试设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Cloud_robotics/single_task_learning.md
[9] 边侧系统基准测试设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/llm-benchmark-suite/llm-edge-benchmark-suite.md 
[10] 边侧系统基准测试示例:https://github.com/kubeedge/ianvs/tree/main/examples/llm-edge-benchmark-suite 
[11] 边侧系统基准测试样本https://github.com/kubeedge/ianvs/tree/main/examples/llm_simple_qa 
[12] 代码大模型基准测试设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Smart_Coding/Smart%20Coding%20benchmark%20suite%20Proposal.md 
[13] 代码大模型测试示例https://github.com/kubeedge/ianvs/tree/main/examples/smart_coding/smart_coding_learning_bench
[14] 大模型云边协同推理设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/joint-inference/cloud-edge-collaboration-inference-for-llm.md 
[15] 大模型云边协同推理示例https://github.com/kubeedge/ianvs/tree/main/examples/cloud-edge-collaborative-inference-for-llm
[16] 大模型云边协同推理-投机解码算法设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/joint-inference/cloud-edge-speculative-decoding-for-llm.md
[17] 大模型云边协同推理-投机解码示例:  https://github.com/kubeedge/ianvs/tree/main/examples/cloud-edge-collaborative-inference-for-llm
[18] 多边协同推理示例https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/multi-edge-inference/Heterogeneous%20Multi-Edge%20Collaborative%20Neural%20Network%20Inference%20for%20High%20Mobility%20Scenarios.md
[19] 多边协同推理示例https://github.com/kubeedge/ianvs/tree/main/examples/MOT17/multiedge_inference_bench/pedestrian_tracking 
[20] 个性化大模型智能体设计文档https://github.com/Frank-lilinjie/ianvs/blob/main/docs/proposals/algorithms/single-task-learning/Personalized%20LLM%20Agent%20based%20on%20KubeEdge-Ianvs%20Cloud-Edge%20Collaboration.md 
[21] 个性化大模型智能体示例https://github.com/kubeedge/ianvs/tree/main/examples/llm-agent/singletask_learning_bench
[22] 未知任务终身学习算法设计文档https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/lifelong-learning/Unknown_Task_Processing_Algorithm_based_on_Lifelong_Learning_of_Ianvs.md
[23] 未知任务终身学习算法示例https://github.com/kubeedge/ianvs/tree/main/examples/cityscapes/lifelong_learning_bench/unseen_task_processing-GANwithSelfTaughtLearning
[24] KubeEdge-Ianvs v0.3.0 Release Notehttps://github.com/kubeedge/ianvs/releases/tag/v0.3.0

【更多KubeEdge资讯推荐】玩转KubeEdge保姆级攻略——环境搭建篇


玩转KubeEdge保姆级攻略——环境搭建篇

《玩转KubeEdge保姆级攻略——环境搭建篇》课程主要介绍如何通过华为云服务快速搭建一套KubeEdge边缘计算开发平台及部署Sedna、EdgeMesh等KubeEdge生态组件。

课程免费学习链接:https://connect.huaweicloud.com/courses/learn/course-v1:HuaweiX+CBUCNXNX022+Self-paced/about

KubeEdge社区介绍:KubeEdge是业界首个云原生边缘计算框架、云原生计算基金会(CNCF)唯一毕业级边缘计算开源项目,社区已完成业界最大规模云原生边云协同高速公路项目(统一管理10万边缘节点/50万边缘应用)、业界首个云原生星地协同卫星、业界首个云原生车云协同汽车、业界首个云原生油田项目,开源业界首个分布式协同AI框架Sedna及业界首个边云协同终身学习范式,并在持续开拓创新中。

KubeEdge网站 :  https://kubeedge.io

GitHub地址 : https://github.com/kubeedge/kubeedge

Slack地址 : https://kubeedge.slack.com

邮件列表 : https://groups.google.com/forum/#!forum/kubeedge

每周社区例会 : https://zoom.us/j/4167237304

Twitter : https://twitter.com/KubeEdge

文档地址 : https://docs.kubeedge.io/en/latest/

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。