随着大模型在各行业加速落地，实时性、定制化、安全合规及资源受限等实际需求不断涌现，越来越多的应用需要云边协同技术将强大的大模型能力延展到边缘侧。然而，大模型跨云边的测试、协同优化以及性能验证，往往缺乏统一标准和成熟工具，KubeEdge SIG AI 识别在开发与部署落地过程中的三大问题：

• 问题1：场景壁垒问题。行业大模型大量应用于边侧特定领域，而现有基准测试通常围绕通用大语言模型、通用视觉大模型等开展，通用基准测试的测试集、测试指标乃至测试环境用于政务、具身、代码、边缘系统等特定行业领域往往出现巨大误差，对相关产品质量评估存在挑战。

• 问题2：云边协同架构问题。随着大模型推理业务场景的不断拓展，单一云端或静态边缘模型难以满足高时效、低成本和个性化的实际需求。虽然 KubeEdge SIG AI 历史项目中包含云边协同推理范式，但仅适用于视觉深度学习，在大模型尤其是自然语言大模型场景，云边各模块已不再适用。

• 问题3：边侧需求多样化问题。现有基准测试通常围绕通用大模型开展，但边侧场景往往存在边缘定制化、多种模态和开放世界未知任务等情况，对通用大模型的边侧适应性诉求及冲突愈发尖锐。

为了解决上述挑战，KubeEdge-Ianvs v0.3.0  版本带来了三项关键升级：

👇🏻下面深入解读三大升级功能：

▍1. 行业大模型基准测试

图1 KubeEdge-Ianvs大模型基准测试架构

如前述，传统基准测试是针对通用模型设计，其评测方法迁移到边侧垂直领域时，表现出测试集适配性不足、评价指标偏差显著且验证环境兼容性差等系统性缺陷，这已对行业专用模型的精准性能评估形成实质性障碍。对应地，KubeEdge-Ianvs v0.3 分别基于大模型及行业领域进行功能升级。

首先，KubeEdge-Ianvs v0.3 为本地和云端多类型大模型提供评测工具集，为后续高阶大模型评测奠定基础。在基础功能中，开发者和企业可快速获取模型跨场景真实能力数据，支撑大模型落地前的全流程验证与优化。

• 提供一站式 Benchmark 接口：为不同类型的大模型基准测试提供统一接口，支持自定义 Prompt 模板、多样化推理场景（零样本、少样本、检索增强等）开箱即用，支持主客观评测、自动统计及评测报告自动生成。

• 兼容多种数据格式与任务类型：支持主流 json/jsonl 格式的数据文件，摆脱传统 index 文件限制。适配自然语言、多模态、视觉等多领域测试数据。

• 一体化集成第三方工具：对接开源测试工具 OpenCompass，涵盖百余主流标准 Benchmarks，支持主流公有云大模型 API 调用及本地模型测试。

进一步地，由于高阶大模型大量应用于边侧特定行业领域，KubeEdge-Ianvs 支持高阶大模型基准测试，包括政务、代码和边缘系统领域。

• 政务领域基准测试：开源政务领域首个政务问答测试数据集（GovAff^[1] ）及对应套件（CGAUE^[2]），测试数据集包含1600道选择题和1045道主观题，贴合各地政策问答，附设计文档^[3]及期刊论文^[4]。

图2 KubeEdge-Ianvs政务大模型基准测试CGAUE架构

• 具身智能领域基准测试：开源具身智能领域测试数据集 (Cloud-Robotics)^[5][6]及其对应套件^[7]，测试数据集包含30类对象2500+图像，套件则集成了基于 RFNet 等预训练大模型的多模态联合学习能力，附设计文档^[8]及测试示例^[7]。

图3 KubeEdge-Ianvs具身智能数据集Cloud-Robotics

• 边缘系统领域基准测试：通过测量 CPU 负载和带宽消耗等关键指标，评估大模型在边缘设备上的性能，了解边缘部署的资源需求和局限性，附设计文档^[9]、测试示例^[10]及测试样本^[11]。

• 代码领域基准测试：针对编程、问答、推理等多样化测试，评测结果可通过准确率、BLEU 等主流指标一站式输出，附设计文档^[12]及测试示例^[13]。

▍2. 大模型协同推理范式

随着大模型推理业务向多元场景延伸，传统纯云架构与边缘部署模式暴露出推理时延冗余、分布式成本失控及服务个性化受限等典型矛盾。KubeEdge SIG AI 原有云边协同推理虽然在视觉深度学习领域实现了初步整合应用，但在处理大模型时，其核心框架组件出现功能适配断层，此类技术瓶颈正制约大模型在智能客服、工业质检等场景的端到端产业化部署。对应地，KubeEdge-Ianvs v0.3 版本发布大模型云边协同推理范式及多边协同推理范式。

图4 大模型云边协同推理范式架构

大模型云边协同推理范式。Ianvs v0.3 引入先进的云-边协同推理范式，通过灵活分配推理任务，实现云端算力与边缘设备高效协作，适配各种网络条件和设备异构环境，广泛支持政务、工业物联网、智慧城市等多种垂直应用部署。详见设计文档^[14]及示例^[15]。

• 该范式引入查询路由机制，通过评估请求的复杂程度，自动判断是否应该在云端大型模型还是边端小型模型完成，查询路由 (Query-Routing)降低至少 50% 的首字时延，同时还能带来额外12.38% (相比 Qwen 自身) 和 8.23%（相比 gpt-4o-mini) 的绝对精度提升。

图5 大模型云边协同推理-查询路由机制

• 该范式支持 state-of-the-art 投机解码（Speculative Decoding）算法EAGLE （ICML’24），通过目标模型 (Target Model) 和草稿模型 (Draft Model) 协作，在不影响推理准确性的前提下，将大型 LLM 推理加速到2x以上，极大提升系统推理速度。详见设计文档^[16]及示例^[17]。

图6 投机解码算法示例

• 该范式支持多种推理引擎，支持 transformers, vLLM, EAGLE 等丰富的推理引擎，并可根据需要快速支持其他推理引擎。

• 该范式还支持多样指标统计，包括对精度(Accuracy), 首字时延(Time-to-First-Token, TTFT)，吞吐量(Throughput)，Token 数等指标的监测记录。

图7 多边协同推理范式架构

• 多边协同推理范式。以行人追踪为例，利用 Graph Scheduling 与 ByteTrack 模型优化，实现多设备分布式联合推理，支持特殊场景下（如园区安防、工业生产线）AI 能力的端到端协同部署。详见设计文档^[18]及示例^[19]。

图8 多边协同推理示例

▍3. 大模型场景新算法支持

当前大模型基准评测仍然偏重于通用模型评估，未能有效覆盖边缘计算环境本地化需求，诸如边缘定制化、多种模态和开放世界未知任务等情况普遍存在。这些边缘原生需求与通用模型能力边界之间的矛盾正持续升级，凸显出云边协同通用模型算法及测试的理论缺失与实践空白。KubeEdge-Ianvs v0.3全面升级了大模型适配能力，集成多项创新算法，让 AI 真正“因场而变”，实现从基础推理到个性化、多模态与终身学习的全场景覆盖。

个性化大模型智能体算法。基于 Bloom 等主流大模型，结合用户自身数据与任务，实现边缘侧的任务个性化优化。支持单任务定制化训练，让每个终端都能拥有独特的 AI 助手，覆盖如客户交互、智能问答、定制自动化等场景。该算法可无缝对接云边协同推理框架，在保证隐私和响应速度的前提下，最大化个体或组织的智能服务体验。详见设计文档^[20]及示例^[21]。

图9 个性化大模型智能体架构与示例

未知任务终身学习算法。面对快速变化的应用环境和任务需求，Ianvs 提供了基于预训练模型的“未知任务处理”与终身学习算法。能够自动适配新任务，实现模型的增量学习和知识迁移，让大模型在不断变化的现实世界中，持续保持领先的泛化能力和处理效率。详见设计文档^[22]及示例^[23]。

图10 未知任务终身学习算法架构与示例

如果读者对于本次版本发布的更多细节感兴趣，欢迎查阅 KubeEdge Ianvs v0.3.0 Release Note^[24]。

后续 KubeEdge SIG AI 将发布系列文章，陆续具体介绍新版本升级的特性，欢迎各位读者继续关注社区动态及持续关注 KubeEdge-Ianvs，获取前沿开源数据集、基准测试和云边 AI 创新动态！

🔗 开源仓库 GitHub 地址：

https://github.com/kubeedge/ianvs

相关链接：

[1] The Chinese Government Affairs Dataset (GovAff) : https://www.kaggle.com/datasets/kubeedgeianvs/the-government-affairs-dataset-govaff/
[2] 政务大模型基准测试套件 (Chinese Gov. Affairs Understanding Evaluation Benchmark, CGAUE): https://github.com/kubeedge/ianvs/tree/main/examples/government/singletask_learning_bench
[3] 政务大模型基准测试设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/llm-benchmarks/llm-benchmarks-zh.md
[4] 边侧大模型基准测试:政务大模型初探: https://d.wanfangdata.com.cn/periodical/zdhbl202502037
[5] The Cloud-Robotics Dataset: https://www.kaggle.com/datasets/kubeedgeianvs/cloud-robotics#
[6] The Cloud-Robotics Dataset 数据集介绍: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Cloud-Robotics/Cloud-Robotics_zh.md
[7] 具身智能领域基准测试示例: https://github.com/kubeedge/ianvs/tree/main/examples/Cloud_Robotics/singletask_learning_bench/Semantic_Segmentation
[8] 具身智能领域基准测试设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Cloud_robotics/single_task_learning.md
[9] 边侧系统基准测试设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/llm-benchmark-suite/llm-edge-benchmark-suite.md 
[10] 边侧系统基准测试示例:: https://github.com/kubeedge/ianvs/tree/main/examples/llm-edge-benchmark-suite 
[11] 边侧系统基准测试样本: https://github.com/kubeedge/ianvs/tree/main/examples/llm_simple_qa 
[12] 代码大模型基准测试设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/scenarios/Smart_Coding/Smart%20Coding%20benchmark%20suite%20Proposal.md 
[13] 代码大模型测试示例: https://github.com/kubeedge/ianvs/tree/main/examples/smart_coding/smart_coding_learning_bench
[14] 大模型云边协同推理设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/joint-inference/cloud-edge-collaboration-inference-for-llm.md 
[15] 大模型云边协同推理示例: https://github.com/kubeedge/ianvs/tree/main/examples/cloud-edge-collaborative-inference-for-llm
[16] 大模型云边协同推理-投机解码算法设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/joint-inference/cloud-edge-speculative-decoding-for-llm.md
[17] 大模型云边协同推理-投机解码示例:  https://github.com/kubeedge/ianvs/tree/main/examples/cloud-edge-collaborative-inference-for-llm
[18] 多边协同推理示例: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/multi-edge-inference/Heterogeneous%20Multi-Edge%20Collaborative%20Neural%20Network%20Inference%20for%20High%20Mobility%20Scenarios.md
[19] 多边协同推理示例: https://github.com/kubeedge/ianvs/tree/main/examples/MOT17/multiedge_inference_bench/pedestrian_tracking 
[20] 个性化大模型智能体设计文档: https://github.com/Frank-lilinjie/ianvs/blob/main/docs/proposals/algorithms/single-task-learning/Personalized%20LLM%20Agent%20based%20on%20KubeEdge-Ianvs%20Cloud-Edge%20Collaboration.md 
[21] 个性化大模型智能体示例: https://github.com/kubeedge/ianvs/tree/main/examples/llm-agent/singletask_learning_bench
[22] 未知任务终身学习算法设计文档: https://github.com/kubeedge/ianvs/blob/main/docs/proposals/algorithms/lifelong-learning/Unknown_Task_Processing_Algorithm_based_on_Lifelong_Learning_of_Ianvs.md
[23] 未知任务终身学习算法示例: https://github.com/kubeedge/ianvs/tree/main/examples/cityscapes/lifelong_learning_bench/unseen_task_processing-GANwithSelfTaughtLearning
[24] KubeEdge-Ianvs v0.3.0 Release Note: https://github.com/kubeedge/ianvs/releases/tag/v0.3.0

【更多KubeEdge资讯推荐】玩转KubeEdge保姆级攻略——环境搭建篇

玩转KubeEdge保姆级攻略——环境搭建篇

《玩转KubeEdge保姆级攻略——环境搭建篇》课程主要介绍如何通过华为云服务快速搭建一套KubeEdge边缘计算开发平台及部署Sedna、EdgeMesh等KubeEdge生态组件。

课程免费学习链接：https://connect.huaweicloud.com/courses/learn/course-v1:HuaweiX+CBUCNXNX022+Self-paced/about

KubeEdge社区介绍：KubeEdge是业界首个云原生边缘计算框架、云原生计算基金会（CNCF）唯一毕业级边缘计算开源项目，社区已完成业界最大规模云原生边云协同高速公路项目（统一管理10万边缘节点/50万边缘应用）、业界首个云原生星地协同卫星、业界首个云原生车云协同汽车、业界首个云原生油田项目，开源业界首个分布式协同AI框架Sedna及业界首个边云协同终身学习范式，并在持续开拓创新中。

KubeEdge网站 :  https://kubeedge.io

GitHub地址 : https://github.com/kubeedge/kubeedge

Slack地址 : https://kubeedge.slack.com

邮件列表 : https://groups.google.com/forum/#!forum/kubeedge

每周社区例会 : https://zoom.us/j/4167237304

Twitter : https://twitter.com/KubeEdge

文档地址 : https://docs.kubeedge.io/en/latest/