verl的依赖

举报
kexiaodong 发表于 2025/07/23 09:06:02 2025/07/23
【摘要】 包名开发者 / 维护者主要用途GitHub 仓库地址accelerateHugging Face简化深度学习模型的分布式训练,支持多 GPU、TPU 等设备https://github.com/huggingface/acceleratecodetimingReal Python 团队轻量级 Python 计时器库,通过类、上下文管理器或装饰器为代码片段计时,用于性能测试和优化https:/...
包名 开发者 / 维护者 主要用途 GitHub 仓库地址
accelerate Hugging Face 简化深度学习模型的分布式训练,支持多 GPU、TPU 等设备 https://github.com/huggingface/accelerate
codetiming Real Python 团队 轻量级 Python 计时器库,通过类、上下文管理器或装饰器为代码片段计时,用于性能测试和优化 https://github.com/realpython/codetiming
datasets Hugging Face 数据集管理和处理工具,支持多种格式,与 Transformers 库无缝集成 https://github.com/huggingface/datasets
dill
增强型 Python 对象序列化库,支持比 pickle 更多类型(如函数、类、闭包等)的序列化 https://github.com/uqfoundation/dill
flash-attn Dao-AILab 快速注意力机制实现,通过优化内存访问和计算流程,提升 Transformer 模型在长序列上的训练和推理速度 https://github.com/Dao-AILab/flash-attention
hydra-core Facebook AI Research 配置管理工具,支持多层次配置合并、命令行覆盖、动态配置和实验管理,处理复杂应用配置 https://github.com/facebookresearch/hydra
liger-kernel LinkedIn 团队 大语言模型训练优化内核,通过内核融合和内存优化,提升多 GPU 训练效率并降低内存消耗 https://github.com/linkedin/liger-kernel
numpy
科学计算基础库,提供多维数组和矩阵运算支持,以及大量数学函数库 https://github.com/numpy/numpy
pandas NumFOCUS 基金会 数据分析核心工具,提供高效、灵活的数据结构,用于处理关系型或标记数据 https://github.com/pandas-dev/pandas
peft Hugging Face 团队 参数高效微调方法库,集成 Transformers、Diffusers 等框架,支持广泛的模型训练与推理场景 https://github.com/huggingface/peft
pyarrow Apache 大数据处理库,提供高效的数据存储、处理和传输功能,支持多种数据格式,适用于数据科学和机器学习 https://github.com/apache/arrow
pybind11
C++ 与 Python 绑定库 https://github.com/pybind/pybind11
pylatexenc
LaTeX 解析器,支持 LaTeX 与 Unicode 互转,可将 LaTeX 文档处理为结构化数据 https://github.com/phfaist/pylatexenc
pre-commit 社区维护 预提交钩子管理框架 https://github.com/pre-commit/pre-commit
ray Anyscale 分布式计算库,支持代码在多台机器上并行执行,提升机器学习、数据处理等场景的运行速度 https://github.com/ray-project/ray
tensordict
PyTorch 张量容器 https://github.com/pytorch/tensordict
torchdata
数据处理和加载库 https://github.com/pytorch/data
transformers Hugging Face NLP 预训练模型库,提供大量预训练模型(如 BERT、GPT)及工具,支持文本分类、生成等 NLP 任务 https://github.com/huggingface/transformers
wandb Weights & Biases 机器学习实验跟踪工具,自动记录超参数、训练损失等指标,生成交互式图表,便于模型监控和优化 https://github.com/wandb/client
packaging Python Packaging Authority 包版本管理工具 https://github.com/pypa/packaging
uvicorn
ASGI 服务器,用于运行异步 Web 应用程序,具有高性能、低资源消耗特点 https://github.com/encode/uvicorn
fastapi Sebastián Ramírez Web API 框架,基于类型提示,具有高性能、易开发、易维护特点 https://github.com/tiangolo/fastapi
latex2sympy2_extended LaTeX 转 Sympy 格式工具
math_verify 数学验证工具



【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。