| accelerate |
Hugging Face |
简化深度学习模型的分布式训练，支持多 GPU、TPU 等设备 |
https://github.com/huggingface/accelerate |
| codetiming |
Real Python 团队 |
轻量级 Python 计时器库，通过类、上下文管理器或装饰器为代码片段计时，用于性能测试和优化 |
https://github.com/realpython/codetiming |
| datasets |
Hugging Face |
数据集管理和处理工具，支持多种格式，与 Transformers 库无缝集成 |
https://github.com/huggingface/datasets |
| dill |
|
增强型 Python 对象序列化库，支持比 pickle 更多类型（如函数、类、闭包等）的序列化 |
https://github.com/uqfoundation/dill |
| flash-attn |
Dao-AILab |
快速注意力机制实现，通过优化内存访问和计算流程，提升 Transformer 模型在长序列上的训练和推理速度 |
https://github.com/Dao-AILab/flash-attention |
| hydra-core |
Facebook AI Research |
配置管理工具，支持多层次配置合并、命令行覆盖、动态配置和实验管理，处理复杂应用配置 |
https://github.com/facebookresearch/hydra |
| liger-kernel |
LinkedIn 团队 |
大语言模型训练优化内核，通过内核融合和内存优化，提升多 GPU 训练效率并降低内存消耗 |
https://github.com/linkedin/liger-kernel |
| numpy |
|
科学计算基础库，提供多维数组和矩阵运算支持，以及大量数学函数库 |
https://github.com/numpy/numpy |
| pandas |
NumFOCUS 基金会 |
数据分析核心工具，提供高效、灵活的数据结构，用于处理关系型或标记数据 |
https://github.com/pandas-dev/pandas |
| peft |
Hugging Face 团队 |
参数高效微调方法库，集成 Transformers、Diffusers 等框架，支持广泛的模型训练与推理场景 |
https://github.com/huggingface/peft |
| pyarrow |
Apache |
大数据处理库，提供高效的数据存储、处理和传输功能，支持多种数据格式，适用于数据科学和机器学习 |
https://github.com/apache/arrow |
| pybind11 |
|
C++ 与 Python 绑定库 |
https://github.com/pybind/pybind11 |
| pylatexenc |
|
LaTeX 解析器，支持 LaTeX 与 Unicode 互转，可将 LaTeX 文档处理为结构化数据 |
https://github.com/phfaist/pylatexenc |
| pre-commit |
社区维护 |
预提交钩子管理框架 |
https://github.com/pre-commit/pre-commit |
| ray |
Anyscale |
分布式计算库，支持代码在多台机器上并行执行，提升机器学习、数据处理等场景的运行速度 |
https://github.com/ray-project/ray |
| tensordict |
|
PyTorch 张量容器 |
https://github.com/pytorch/tensordict |
| torchdata |
|
数据处理和加载库 |
https://github.com/pytorch/data |
| transformers |
Hugging Face |
NLP 预训练模型库，提供大量预训练模型（如 BERT、GPT）及工具，支持文本分类、生成等 NLP 任务 |
https://github.com/huggingface/transformers |
| wandb |
Weights & Biases |
机器学习实验跟踪工具，自动记录超参数、训练损失等指标，生成交互式图表，便于模型监控和优化 |
https://github.com/wandb/client |
| packaging |
Python Packaging Authority |
包版本管理工具 |
https://github.com/pypa/packaging |
| uvicorn |
|
ASGI 服务器，用于运行异步 Web 应用程序，具有高性能、低资源消耗特点 |
https://github.com/encode/uvicorn |
| fastapi |
Sebastián Ramírez |
Web API 框架，基于类型提示，具有高性能、易开发、易维护特点 |
https://github.com/tiangolo/fastapi |
| latex2sympy2_extended |
|
LaTeX 转 Sympy 格式工具 |
|
| math_verify |
|
数学验证工具 |
|
评论（0）