聚焦AI大数据,Volcano社区开源之夏课题邀你挑战!
📮滴,学生卡!您已收到来自Volcano社区的开源之夏邀请~
Volcano是业界首个云原生批量计算社区,也是 CNCF 首个及唯一孵化级批量计算项目。Volcano主要用于 AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。社区已吸引5.8万+全球开发者,并获得3.8k+Star 和800+ Fork,参与贡献企业包括华为、AWS、百度、腾讯、博云、京东、小红书、第四范式、bilibili等。
🏷️社区地址:https://github.com/volcano-sh/volcano
目前,Volcano在人工智能、大数据、基因测序等海量数据计算和分析场景已得到广泛应用,完成对 Spark、Flink、Tensorflow、PyTorch、Argo、MindSpore、Paddlepaddle 、Kubeflow、MPI、Horovod、Mxnet、KubeGene、Ray 等众多主流计算框架的支持,并构建起完善的上下游生态。
Volcano社区已连续4年加入开源之夏,并在今年带来5项课题,欢迎高校同学选报,报名时间4月30日-6月4日。开源之夏是由中国科学院软件研究所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。
▍Volcano社区开源之夏2024课题
课题一:Volcano支持Pod Scheduling Readiness调度
项目编号:243ba0503
项目难度:基础/Basic
项目社区导师:常旭征
导师联系邮箱:cxz2536818783@gmail.com
项目简述:Pod 一旦创建就被认为已准备好进行调度。在 kube-scheduler 中,它会尽职尽责地寻找节点来放置所有待处理的 Pod。然而,在现实情况下,某些 Pod 可能会长时间处于“缺少必要资源”状态。这些 Pod 实际上以不必要的方式干扰调度程序(以及 Cluster AutoScaler 等下游组件),造成资源浪费等问题。Pod Scheduling Readiness是 kube-sheduler 的一项稳定功能。它通过设置Pod的schedulingGates字段来控制Pod的调度时机。Volcano也应该支持该功能,以增强调度功能,避免无意义的调度,提升调度效率,进行调度准入等。
参考:https://kubernetes.io/docs/concepts/scheduling-eviction/pod-scheduling-readiness/
项目链接:https://summer-ospp.ac.cn/org/prodetail/243ba0503?list=org&navpage=org
课题二:Volcano支持多集群AI任务调度中的队列容量管理能力
项目编号:243ba0505
项目难度:进阶/Advanced
项目社区导师:王龙辉(lowang-bh)
导师联系邮箱:lhui_wang@163.com
项目简述:随着AI大模型的迅速发展,单个K8s集群由于资源和性能瓶颈,已越来越不能满足大模型AI作业训练的需求,越来越多的用户使用多集群来管理和运行AI作业,Volcano正在支持多集群AI作业的任务调度,这其中涉及到多集群的作业管理、多租户任务公平调度,队列管理等系列需求。多集群编排系统Karmada已逐渐成为业界标准,Volcano需要基于Karmada现有的能力,构建多集群场景下的AI作业调度能力,弥补Karmada调度方面缺失的队列管理等能力,以解决多集群场景下AI作业任务调度、队列管理、多租户配额管理问题。
项目链接:https://summer-ospp.ac.cn/org/prodetail/243ba0505?list=org&navpage=org
课题三:Volcano支持弹性层级队列管理
项目编号:243ba0509
项目难度:进阶/Advanced
项目社区导师:李鑫
导师联系邮箱:hwdefcom@outlook.com
项目简述:在云原生AI任务调度场景下,公平调度和资源利用率是用户比较关注的问题,Volcano社区已经构建了弹性队列管理插件capacity,以支持细粒度的资源借入借出和队列管理,提升资源利用率,但在实际场景中,队列通常是层级的,对应公司团队的层级组织架构,为了更加符合实际的队列使用场景,进一步提升AI任务调度的资源利用率,Volcano需要在capacity的基础上支持层级队列管理能力。
项目链接:https://summer-ospp.ac.cn/org/prodetail/243ba0509?list=org&navpage=org
课题四:云原生批量计算项目Volcano UI & Monitor系统
项目编号:243ba0574
项目难度:基础/Basic
项目社区导师:王雷博
导师联系邮箱:wangleibo1@huawei.com
项目简述:作为首个云原生批量计算项目Volcano,提供了丰富的功能和优异的性能,帮助用户提升AI和大数据的性能以及提升整体资源利用率,然而对于很多用户来说,Volcano因为缺少前端UI以及监控,整体的使用成本以及学习曲线较高,尤其是对于集群管理员,无法通过UI对队列、作业进行管理以及无法直观的查看资源的总量、余量以及作业的进度等。
该项目将设计和实现一套Volcano项目的前端UI,该UI具体包含如下内容:
1. 集群资源信息查看
2. 队列管理
2.1 查看队列 ( reservation, min, max, allocated resource, job数量等)
2.2 配置队列(reservation,min, max)
3. 工作负载
3.1 查看Job状态
3.2 配置Job的关键属性
4. 配置调度器的调度策略
项目链接:https://summer-ospp.ac.cn/org/prodetail/243ba0574?list=org&navpage=org
课题五:Volcano 性能基准测试和压力测试
项目难度:243ba0576
项目难度:进阶/Advanced
项目社区导师:汪洋
导师联系邮箱:wysea1990@163.com
项目简述:Volcano开源项目提供了丰富的作业管理、队列管理、调度策略等功能,目前缺少一套公开的性能测试和压力基准测试。如果有一份性能基准测试报告,它将会帮助大数据用户以及HPC用户快速评估是否可以将他们的业务从传统软件迁移到Kubernetes和Volcano系统。同时也有利于新研发算法的有效性评估。
本课题目标是设计和实现一套性能测试的方法以及标准,然后进行充分的性能及压力测试,最终提供一份报告。
项目链接:https://summer-ospp.ac.cn/org/prodetail/243ba0576?list=org&navpage=org
▍如何报名开源之夏Volcano课题?
报名对象
-
本活动面向年满 18 周岁的高校在校学生。 -
暑期即将毕业的学生,只要申请时学生证处在有效期内,就可以报名活动。 -
中国籍学生参与活动时需提供身份证、学生证、教育部学籍在线验证报告(学信网)或在读证明。 -
外籍学生参与活动时需提供护照,同时提供录取通知书、学生卡、在读证明等文件用于证明学生身份。
▶ 与导师建立沟通
对Volcano社区开源之夏课题感兴趣的同学,可以通过本文上方导师邮箱或社区宣讲等方式,提前联系导师沟通课题要求,了解与锁定适合自己的项目;
▶ 准备项目申请材料提交申请
1. 查看学生指南(https://summer-ospp.ac.cn/help/student/)中的【项目申请模板】,并根据要求准备相关材料。
2.点击项目主页中的【加入备选】按钮,进入系统个人中心【我的项目】中点击【查看】按钮,上传简历及项目申请书;
3. 对所有项目申请书进行优先级排序,若同时被多个项目选中,则根据提交的项目排序,优先中选优先级高的项目;
4. 点击【排序并提交】按钮提交全部项目申请。
▶ 学生可以收获什么?
-
结识开源界小伙伴和技术大牛
-
获得社区导师的专业指导,与开源项目开发者深度交流
-
丰富项目实践经验,提升项目开发技能
-
为学习方向提供参考,为职业发展积累人脉
-
通过结项考核的学生将获得结项奖金和结项证书(基础难度税前8000元RMB,进阶难度税前12000元RMB),更有机会获选优秀学生
▍Volcano社区技术交流与联系
添加社区小助手k8s2222
回复Volcano开源之夏进入技术交流群
- 点赞
- 收藏
- 关注作者
评论(0)