摘要 本文介绍了基于 KubeEdge-Ianvs 分布式协同AI基准测试框架的大语言模型联邦微调系统。该系统针对企业应用大模型面临的算力门槛高、数据孤岛严重等挑战，通过联邦学习实现"数据不动模型动"的隐私保护训练模式。系统集成 LoRA 和 P-Tuning 两种参数高效微调技术，大幅降低通信成本和计算开销，支持 FedAvg 和 FedAvgM 聚合算法，并创新性地设计了 GPU 感知任务调度机制以避免显存溢出。

在 MedQuad 医疗问答数据集上的实验验证了不同 PEFT 方法与聚合算法组合的有效性，为垂直领域的联邦大模型应用提供了可行方案。本文还提供了详细的安装配置和使用教程，帮助用户快速上手联邦大模型微调实践。

代码请见：https://github.com/kubeedge/ianvs/tree/main/examples/federated-llm/fedllm-peft

近年来，以大语言模型（LLM）为代表的人工智能技术迅猛发展，ChatGPT、LLaMA、GLM 等模型在自然语言理解、代码生成、智能问答等任务中展现出卓越能力，推动各行业迈向智能化新阶段。这些模型不仅能够理解复杂的语义，还能进行创造性的内容生成，为各行各业带来了前所未有的智能化机遇。然而，企业在实际落地大语言模型过程中仍面临两大核心挑战，制约技术普及并可能加剧数字鸿沟。这些挑战不仅制约了技术的普及，更可能加剧数字鸿沟，让 AI 的红利难以惠及更广泛的群体。

📌 挑战一：算力门槛高，中小企业难以承担

大语言模型训练对算力需求巨大，通常需数十亿至千亿级参数，依赖大规模 GPU 集群持续运行数周乃至数月。据估算，训练一个类似 GPT-3 规模的模型，成本可能高达数百万美元。高昂的资源投入使大模型能力逐渐成为大型科技公司的专属优势。对于资源有限的中小企业而言，即便拥有宝贵的行业数据和应用场景，也往往因算力不足难以自主完成模型训练，限制了技术普惠与创新多样性。

📌 挑战二: 数据孤岛困境,高质量数据难以整合

高质量训练数据是大模型能力的核心基础。大语言模型的强大能力，很大程度上依赖于海量、多样化的训练数据。然而现实情况是，真正有价值的数据往往分散在不同的企业、机构和组织中，形成了一个个难以逾越的"数据孤岛"。这种数据分散的局面，源于多重因素：

• 隐私合规要求：医疗、金融等领域的敏感数据受到严格的法律保护，不能随意共享或传输

• 商业竞争壁垒：企业积累的私有数据往往是核心竞争力，难以对外开放

• 数据主权意识：各方对数据控制权的重视，使得数据集中面临信任难题

更为严峻的是，研究表明互联网上的公开数据可能即将耗尽。随着大模型训练需求的持续增长，如何在保护隐私的前提下，合理利用分散在各方的私有领域数据，已成为行业亟需解决的关键问题。

破局方向：联邦学习赋能大模型微调。面对这些挑战，联邦学习(Federated Learning)为我们开辟了一条创新路径。联邦学习作为一种隐私保护的协同机器学习范式，通过“数据不动模型动”的方式，使各参与方本地数据保留不动，仅交换模型参数或梯度信息，实现多方协同训练。这种技术范式带来的价值是多维度的：

• 在资源层面：联邦学习允许多个企业汇聚各自的算力资源，采用分布式的方式共同承担大模型训练的计算负担。一家企业可能无力独立训练大模型，但十家、百家企业的算力聚合，就能让 AI 能力的获取不再是大公司的专利。这种"众人拾柴火焰高"的协作模式，有望打破算力垄断，推动AI的普惠化发展。
• 在数据层面：联邦学习通过同态加密、安全多方计算、差分隐私等密码学和隐私保护技术，在保护各方数据隐私和安全的前提下，充分挖掘分散数据的集体智慧。各参与方既能贡献自己的数据价值，又无需担心隐私泄露，真正实现了"数据可用不可见"。
• 在合规层面：联邦学习天然契合数据保护法规的要求，为跨机构、跨地域的数据协作提供了合法合规的技术方案，让数据要素的价值释放有了坚实的制度保障。

联邦学习与大语言模型结合形成联邦大模型学习（FedLLM），进一步引入参数高效微调技术（如 LoRA、P-Tuning），显著降低通信与计算开销。这一技术融合不仅继承了联邦学习的隐私保护优势，还针对大模型的特点进行了创新性的优化设计。联邦大模型学习通过参数高效微调(如 LoRA、P-Tuning)等技术，大幅降低了通信成本和计算开销，使得在联邦场景下训练和微调大模型成为可能。这为企业提供了突破资源和数据瓶颈的可行方案，更开启了 AI 协作发展的新时代。该方案使中小企业能够与行业领先者协同构建领域大模型，医院之间可以在保护患者隐私的前提下，协作提升医疗 AI 的诊断能力；金融机构可以联合建立更精准的风控模型，而无需担心客户数据的泄露风险。

本项目基于 KubeEdge-Ianvs 分布式协同 AI 基准测试框架，设计并实现了一套完整的联邦大模型微调系统。该系统充分继承了 Ianvs 的模块化架构优势，并针对大语言模型的特点进行了专门优化，在保持原有 federated learning 范式完全向后兼容的前提下，构建了适用于大规模语言模型的联邦学习解决方案。

▍2.1 总体架构设计

整体架构采用分层设计理念，从底层到上层依次为测试环境管理层、测试用例控制层和故事管理层，如图1所示。测试环境管理层负责基准测试指标的定义与计算，新增支持 ROUGE-1、ROUGE-2、ROUGE-L、BLEU-4 等自然语言生成评估指标，同时提供数据预处理和分割工具，支持 JSONL 格式的大语言模型数据集处理，并实现联邦场景下的数据分区策略以模拟真实的数据分散情况。测试用例控制层基于现有的联邦学习范式扩展实现了全新的联邦大模型微调算法，标准化了联邦微调的完整训练和评估流程，采用模块化设计使得用户只需指定相关模型与聚合接口即可完成算法配置。故事管理层则为用户提供直观的排行榜视图和详细的测试报告，支持跨联邦轮次的 LLM 基准指标可视化，便于算法性能的横向对比和纵向追踪。

图1 整体架构设计

在核心技术方案上，系统针对大语言模型参数规模庞大、全量微调成本高昂的问题，集成了 LoRA 和 P-Tuning 两种主流的参数高效微调技术，如图2所示。 LoRA 通过在权重矩阵中插入低秩可训练适配器，仅需训练极少量额外参数（通常小于1%模型参数量），推理时无需合并即可保持原模型结构。P-Tuning 则在嵌入层学习连续的提示向量，仅修改输入表示，对不同任务具有良好的灵活性且参数量更小，适合资源受限场景。根据实验数据，LoRA 方式的通信成本与 P-Tuning-v2 的通信成本均小于1%，这种数量级的降低使得联邦大模型学习在实际生产环境中具备了可行性。

图2 算法设计方案

系统支持 FedAvg 和 FedAvgM 两种聚合算法供用户根据场景灵活选择。FedAvg 对客户端模型参数进行加权平均，权重通常基于各客户端的数据量，简单高效且适合同构场景。FedAvgM 则在服务器端引入动量机制，提供更稳定的收敛性能，在非独立同分布数据下表现更优。每轮训练中，仅 LoRA 适配器或 P-Tuning 提示向量在客户端与服务器间传输，原始 LLM 的主体参数始终冻结，既保护了模型知识产权，又极大降低了通信负担。

针对传统联邦学习多线程方法在大模型场景下容易导致 GPU 显存溢出的问题，系统创新性地设计了 GPU 感知任务调度机制。该机制将所有客户端训练任务放入全局任务队列，为每个可见 GPU 启动专属工作线程，线程通过 torch.cuda.set_device 绑定到特定设备后采用 FIFO 方式逐个处理客户端任务，训练完成后立即释放显存。这种设计确保每个 GPU 同时只加载一个 LoRA 增强模型，使得峰值显存使用量可预测且恒定，同时严格的 FIFO 顺序保证所有 GPU 得到均衡利用。实践证明，该调度器能够在单个节点的多 GPU 环境（如4×Nvidia A100）上稳定运行数十个7B参数级别的 LLM 客户端微调任务，避免 OOM 错误，实现了固定内存上限、负载均衡和线性扩展的设计目标。

系统的完整训练流程如图3所示。从初始化阶段开始，服务器加载预训练大模型（如ChatGLM-6B、LLaMA等）并初始化全局 LoRA 适配器或 P-Tuning 提示向量，配置联邦参数包括客户端数量、通信轮次和聚合策略等。进入迭代训练阶段后，每一轮都经历客户端采样、模型分发、本地训练、参数上传、安全聚合和性能评估等步骤。服务器从所有客户端中采样参与本轮训练的子集，将当前全局适配器或提示向量下发给选中的客户端，各客户端在私有数据上执行 PEFT 微调更新本地适配器参数，随后将训练后的适配器参数上传至服务器，服务器使用选定的聚合算法更新全局模型并在测试集上评估性能。当达到预设轮次或性能指标后停止训练，将最终的全局适配器与基础模型结合并部署到实际应用环境。整个流程中，原始训练数据始终保留在各客户端本地，仅交换模型参数，真正实现了"数据不动模型动"的隐私保护目标。

图3 任务时序图

▍2.2 案例分析

为了全面验证系统的有效性，我们在 MedQuad 医疗问答数据集上进行了深入的实验研究^[1]。实验采用 ChatGLM-6B 作为基础大语言模型，该模型包含60亿参数，在中文理解与生成任务上表现优异。硬件配置方面，单机4张 NVIDIA A100 GPU。联邦配置模拟4个客户端参与学习，训练总轮次设置为5轮。评估指标采用自然语言生成领域的标准体系，包括衡量单词级别重叠度的 ROUGE-1、衡量二元组重叠度的 ROUGE-2、基于最长公共子序列的 ROUGE-L，以及评估 n-gram 精确匹配度的 BLEU-4 指标。

图4 医疗联邦示例

图5 部分实验效果展示

从图4的排行榜可以看出，FedAvg-LoRA 组合取得了最佳性能，在所有评估指标上均位列第一，ROUGE-1 达到0.3283，ROUGE-2 为0.0965，ROUGE-L 为0.1907，BLEU-4 为0.0525。对比相同聚合算法下的不同微调方法，LoRA 始终优于 P-Tuning，以 FedAvg 为例，LoRA 方案在 ROUGE-1 指标上比 P-Tuning 高出13.5%，在 ROUGE-2 上优势更为明显，提升了34.2%。这种差异源于两种方法的本质区别：LoRA 通过在模型权重矩阵中注入低秩适配器能够更深入地调整模型内部表征，而 P-Tuning 仅在输入层学习连续提示，在医疗问答这类需要深度理解专业术语和复杂语义的任务中，LoRA 的优势得以充分体现。

聚合算法方面，FedAvg 与 FedAvgM 的对比结果揭示了有趣的交互作用：在 LoRA 场景下 FedAvg 显著优于 FedAvgM（ROUGE-1相差12.8%），但在 P-Tuning 场景下两者性能相当接近（差距仅为0.8%），这表明 FedAvgM 的动量机制在 LoRA 较大的参数空间中可能引入额外不稳定性，而在 P-Tuning 的低维参数空间中则能更好发挥平滑作用。实验结果为实践应用提供了明确指导：资源充足时推荐 FedAvg-LoRA 获得最佳性能，资源受限场景下 FedAvgM-P-Tuning 能够在保持稳定收敛的同时最小化通信开销，数据异构场景则建议优先尝试 FedAvgM 应对非独立同分布挑战。

值得注意的是，所有方案的 ROUGE-2 和 BLEU-4 指标相对较低，反映了医疗问答任务需要生成精确匹配的专业术语和复杂句式的固有难度，未来可探索引入领域知识增强、对比学习等技术进一步提升联邦大模型在垂直领域的表现。

通信成本分析揭示了 PEFT 方法的巨大优势。LoRA 方法仅需传输 3.6MB 的参数，占模型总参数的0.058%，这意味着在 10Mbps 的网络下单次通信仅需约3秒，相比全量微调通信成本降低了1724倍，极其适合带宽受限的边缘设备或跨地域联邦学习。P-Tuning-v2 虽然参数量为是 LoRA 的1.25倍。

在本章中，我们通过运行 Ianvs 联邦学习的 FedLLM-PEFT 样例向大家讲解基于 KubeEdge-Ianvs 实现大语言模型联邦微调的基本流程。Ianvs 安装流程以及联邦学习更详细的介绍可以参考：Ianvs官方文档^[2]。

▍3.1 准备环境

首先确保您的系统满足以下要求：

• Python 3.8.18

• PyTorch 2.4.1+cu118

• 兼容 CUDA 的 GPU（建议使用 Nvidia A100 80GB）

• 建议 32GB 以上内存

我们需要配置好联邦学习的数据集，先创建数据集的文件夹，注意如果你把数据集放到别的位置，本教程中的部分路径配置也要一并修改。

mkdir /data
cd /data
mkdir fedllm_datasets
cd fedllm_datasets

下载 MedQuad 医疗问答数据集：

# 从HuggingFace下载数据集
wget https://huggingface.co/datasets/keivalya/MedQuad-MedicalQnADataset/resolve/main/train.jsonl
wget https://huggingface.co/datasets/keivalya/MedQuad-MedicalQnADataset/resolve/main/test.jsonl

💭 注意：

下载原始 JSONL 文件后，需要创建测试拆分，并删除冗余的 qtype 字段。数据集格式应为每行一个 JSON 对象，至少包含 question 和 answer 两个字段：

{"question": "What is diabetes?", "answer": "Diabetes is a chronic disease..."}

配置好数据集后，我们需要安装 Ianvs 和相关依赖。首先克隆 Ianvs 仓库：

cd /ianvs/project
git clone https://github.com/kubeedge/ianvs.git
cd ianvs

安装系统依赖和 Ianvs 核心依赖：

# 安装Ianvs核心
sudo python setup.py install

# 安装PEFT相关依赖
pip install transformers==4.30.0
pip install peft==0.4.0
pip install datasets==2.12.0
pip install accelerate==0.20.3
pip install sentencepiece==0.1.99
pip install protobuf==3.20.3

我们使用 ChatGLM-6B 作为基础大语言模型，需要先下载模型权重：

cd /ianvs/project
mkdir models
cd models
 
# 从HuggingFace下载ChatGLM-6B模型
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b

▍3.2 配置文件修改

示例代码放在^[3]下，我们需要修改相关配置文件中的路径。首先配置算法参数，编辑 algorithm/algorithm.yaml：

# 修改模型路径
modules:
 -type: "basemodel"
    name: "model"
    url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/algorithm/model.py"
    hyperparameters:
      model_name: "/ianvs/project/models/chatglm-6b"
      save_dir: "/ianvs/project/fedllm_output"
      initial_model_url: "/ianvs/project/models/chatglm-6b"
      peft_method: "lora"# 可选"lora" 或"ptuning"
      batch_size: 1
      learning_rate: 0.0001
      local_epochs: 2
      
 -type: "aggregation"
    name: "FedAvg-PEFT"
    url:
    "/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/algorithm/FedAvg-PEFT.py"

然后配置测试环境，编辑 testenv/testenv.yaml：

# 修改数据集路径
dataset:
  train_data: "/data/fedllm_datasets/train.jsonl"
  test_data: "/data/fedllm_datasets/test.jsonl"

# 配置联邦学习参数
round: 5
gpu_num: 4
client_number: 4
if_mode_llm: true

# 配置评估指标路径
metrics:
  -name: "rouge1_metric"
   url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/testenv/rouge1_metric.py"
  -name: "rouge2_metric"
   url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/testenv/rouge2_metric.py"
  -name: "rougel_metric"
   url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/testenv/rougel_metric.py"
  -name: "bleu4_metric"
   url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/testenv/bleu4_metric.py"

最后配置基准测试作业，编辑 benchmarkingjob.yaml：

workspace: "/ianvs/project/fedllm_workspace"

testenv:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/testenv/testenv.yaml"

algorithm:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/algorithm/algorithm.yaml"

rank:
  sort_by: "rouge1_metric"
  visualization:
    mode: "select_all"

▍3.3 运行联邦微调

配置完成后，设置 Python 路径并运行基准测试：

# 设置Python路径
export PYTHONPATH=$PYTHONPATH:/ianvs/project/ianvs/examples/federated-llm/fedllm-peft
 
# 运行FedAvg-LoRA联邦微调
cd /ianvs/project/ianvs
ianvs -f examples/federated-llm/fedllm-peft/benchmarkingjob.yaml

▍3.4 尝试不同配置

如果想尝试不同的 PEFT 方法或聚合算法，只需修改 algorithm.yaml 中的相应参数：

# 使用P-Tuning代替LoRA：
peft_method: "ptuning"

# 使用FedAvgM代替FedAvg：
aggregation:
  name: "FedAvgM-PEFT"
  url:
"/ianvs/project/ianvs/examples/federated-llm/fedllm-peft/algorithm/FedAvgM-PEFT.py"
  hyperparameters:
    beta: 0.7
    server_lr: 1.0

▍3.5 查看结果

训练完成后，结果将保存在工作目录中，包括：

• 排行榜显示不同算法组合的性能对比

• 详细的评估指标（ROUGE-1、ROUGE-2、ROUGE-L、BLEU-4）

• 训练日志和模型检查点

您可以在/ianvs/project/fedllm_workspace目录下查看完整的实验报告和可视化结果。

相关链接

[1] MedQuad医疗问答数据集实验研究：HuggingFace- keivalya/MedQuad-MedicalQnADataset

[2] Ianvs官方文档：https://github.com/kubeedge/ianvs/blob/main/examples/federated-llm/fedllm-peft/README.md

[3] 配置文件示例代码：/ianvs/project/ianvs/examples/federated-llm/fedllm-peft

参考文献

[1] McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Aguera y Arcas, B. Communication-Efficient Learning of Deep Networks from Decentralized Data. In AISTATS, 2017
[2] Hsu, T.-M. H., Qi, H., & Brown, M. Measuring the Effects of Non-Identical Data Distribution for Federated Visual Classification. arXiv:1909.06335, 2019
[3] Fan, T., Kang, Y., Ma, G., Chen, W., Wei, W., Fan, L., & Yang, Q. FATE-LLM: A Industrial Grade Federated Learning Framework for Large Language Models. In Symposium on Advances and Open Problems in Large Language Models (LLM@IJCAI'23), 2023
[4] Liu, X., Ji, K., Fu, Y., et al. P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks. arXiv:2110.07602, 2021
[5] KubeEdge. Ianvs: Distributed Synergy AI Benchmarking Framework. GitHub repository: https://github.com/kubeedge/ianvs.

关注魔方公众号，获取更多前沿资讯

添加社区小助手k8s2222，进入技术交流群